知財求人 - 知財ポータルサイト「IP Force」
特開2023-75892画像処理システム、符号化装置、復号装置、画像処理方法、画像処理プログラム、符号化方法、符号化プログラム、復号方法、及び復号プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023075892
(43)【公開日】2023-05-31
(54)【発明の名称】画像処理システム、符号化装置、復号装置、画像処理方法、画像処理プログラム、符号化方法、符号化プログラム、復号方法、及び復号プログラム
(51)【国際特許分類】
H04N 19/102 20140101AFI20230524BHJP
H04N 19/136 20140101ALI20230524BHJP
H04N 19/176 20140101ALI20230524BHJP
H04N 19/85 20140101ALI20230524BHJP
【ＦＩ】
H04N19/102
H04N19/136
H04N19/176
H04N19/85
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022086768
(22)【出願日】2022-05-27
(31)【優先権主張番号】P 2021188806
(32)【優先日】2021-11-19
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】398034168
【氏名又は名称】株式会社アクセル
(74)【代理人】
【識別番号】100085660
【弁理士】
【氏名又は名称】鈴木 均
(74)【代理人】
【識別番号】100149892
【弁理士】
【氏名又は名称】小川 弥生
(74)【代理人】
【識別番号】100185672
【弁理士】
【氏名又は名称】池田 雅人
(72)【発明者】
【氏名】小島 悠貴
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA22
5C159MC11
5C159MC35
5C159ME01
5C159PP04
5C159TA41
5C159TB08
5C159TB10
5C159TC04
5C159TC42
5C159UA02
5C159UA05
5C159UA11
(57)【要約】
【課題】画像の圧縮符号化において、圧縮率を高めながらブロック境界のノイズを低減する。
【解決手段】符号化装置１０において、プリフィルタ部２１が、画像を分割した複数の画素ブロックに跨がって所定のプリフィルタリングを行い、周波数変換部２２が、プリフィルタ後の画素ブロックに対して階層型アダマール変換を行い、画素ブロックにおける直流成分及び交流成分を算出し、第１交流成分予測部２３が、算出した直流成分に基づいて交流成分を予測し、符号化部２５が、算出した交流成分と予測した交流成分との残差と、算出した直流成分と、を符号化して符号化データを生成する。
【選択図】図４
【解決手段】符号化装置１０において、プリフィルタ部２１が、画像を分割した複数の画素ブロックに跨がって所定のプリフィルタリングを行い、周波数変換部２２が、プリフィルタ後の画素ブロックに対して階層型アダマール変換を行い、画素ブロックにおける直流成分及び交流成分を算出し、第１交流成分予測部２３が、算出した直流成分に基づいて交流成分を予測し、符号化部２５が、算出した交流成分と予測した交流成分との残差と、算出した直流成分と、を符号化して符号化データを生成する。
【選択図】図４
【特許請求の範囲】
【請求項1】
画像の符号化と復号を行う画像処理システムにおいて、
画像を分割した２×２画素で構成される画素ブロックに対してアダマール変換を行い、直流成分及び交流成分を算出する周波数変換部と、
算出した直流成分に基づいて各画素ブロックの交流成分を予測する第１交流成分予測部と、
算出した交流成分と予測した交流成分との残差と、算出した直流成分とに基づく符号化データを生成する符号化部と、
前記符号化データを復号する復号部と、
復号した直流成分に基づいて交流成分を予測する第２交流成分予測部と、
予測した交流成分と復号した残差とに基づく交流成分と、復号した直流成分と、に対して逆アダマール変換を行い、画素ブロックを復元する周波数逆変換部と、を備え、
前記アダマール変換の前に、複数の画素ブロックに跨がって所定のプリフィルタリングを行うプリフィルタ部と、
前記逆アダマール変換の後に、復元した複数の画素ブロックに跨がって所定のポストフィルタリングを行うポストフィルタ部と、
を備えることを特徴とする画像処理システム。
画像を分割した２×２画素で構成される画素ブロックに対してアダマール変換を行い、直流成分及び交流成分を算出する周波数変換部と、
算出した直流成分に基づいて各画素ブロックの交流成分を予測する第１交流成分予測部と、
算出した交流成分と予測した交流成分との残差と、算出した直流成分とに基づく符号化データを生成する符号化部と、
前記符号化データを復号する復号部と、
復号した直流成分に基づいて交流成分を予測する第２交流成分予測部と、
予測した交流成分と復号した残差とに基づく交流成分と、復号した直流成分と、に対して逆アダマール変換を行い、画素ブロックを復元する周波数逆変換部と、を備え、
前記アダマール変換の前に、複数の画素ブロックに跨がって所定のプリフィルタリングを行うプリフィルタ部と、
前記逆アダマール変換の後に、復元した複数の画素ブロックに跨がって所定のポストフィルタリングを行うポストフィルタ部と、
を備えることを特徴とする画像処理システム。
【請求項2】
請求項１に記載の画像処理システムにおいて、
対象画素ブロックの両側に位置する第１画素ブロックと第２画素ブロックとの直流成分に基づいて前記対象画素ブロックの交流成分を予測し、
前記第１画素ブロックから前記第２画素ブロックにかけて直流成分が単調に変化する場合と、非単調に変化する場合と、において異なる方法で交流成分を予測する、
ことを特徴とする画像処理システム。
対象画素ブロックの両側に位置する第１画素ブロックと第２画素ブロックとの直流成分に基づいて前記対象画素ブロックの交流成分を予測し、
前記第１画素ブロックから前記第２画素ブロックにかけて直流成分が単調に変化する場合と、非単調に変化する場合と、において異なる方法で交流成分を予測する、
ことを特徴とする画像処理システム。
【請求項3】
請求項２に記載の画像処理システムにおいて、
前記第１画素ブロックと前記対象画素ブロックとの間の直流成分の差と、前記第２画素ブロックと前記対象画素ブロックとの間の直流成分の差と、が夫々大きい方の第１の差と小さい方の第２の差の何れかであり、前記第１の差が、前記第２の差の所定数倍以上である場合に、前記第１画素ブロックから前記第２画素ブロックにかけて直流成分が単調に変化しているとみなす、
ことを特徴とする画像処理システム。
前記第１画素ブロックと前記対象画素ブロックとの間の直流成分の差と、前記第２画素ブロックと前記対象画素ブロックとの間の直流成分の差と、が夫々大きい方の第１の差と小さい方の第２の差の何れかであり、前記第１の差が、前記第２の差の所定数倍以上である場合に、前記第１画素ブロックから前記第２画素ブロックにかけて直流成分が単調に変化しているとみなす、
ことを特徴とする画像処理システム。
【請求項4】
請求項１又は２に記載の画像処理システムにおいて、
前記第１画素ブロックから前記第２画素ブロックにかけて直流成分が非単調に変化する場合、前記第１画素ブロックと前記対象画素ブロックとの間の直流成分の差と、前記第２画素ブロックと前記対象画素ブロックとの間の直流成分の差と、は夫々大きい方の第１の差と小さい方の第２の差の何れかであり、前記第１の差と前記第２の差との差と、前記第２の差と、の何れかに基づいて交流成分を予測する、
ことを特徴とする画像処理システム。
前記第１画素ブロックから前記第２画素ブロックにかけて直流成分が非単調に変化する場合、前記第１画素ブロックと前記対象画素ブロックとの間の直流成分の差と、前記第２画素ブロックと前記対象画素ブロックとの間の直流成分の差と、は夫々大きい方の第１の差と小さい方の第２の差の何れかであり、前記第１の差と前記第２の差との差と、前記第２の差と、の何れかに基づいて交流成分を予測する、
ことを特徴とする画像処理システム。
【請求項5】
請求項１又は２に記載の画像処理システムにおいて、
前記第１画素ブロックから前記第２画素ブロックにかけて直流成分が非単調に変化する場合、前記第１画素ブロックと前記対象画素ブロックとの間の直流成分の差と、前記第２画素ブロックと前記対象画素ブロックとの間の直流成分の差と、は夫々大きい方の第１の差と小さい方の第２の差の何れかであり、前記第２の差に基づいて交流成分を予測する、
ことを特徴とする画像処理システム。
前記第１画素ブロックから前記第２画素ブロックにかけて直流成分が非単調に変化する場合、前記第１画素ブロックと前記対象画素ブロックとの間の直流成分の差と、前記第２画素ブロックと前記対象画素ブロックとの間の直流成分の差と、は夫々大きい方の第１の差と小さい方の第２の差の何れかであり、前記第２の差に基づいて交流成分を予測する、
ことを特徴とする画像処理システム。
【請求項6】
請求項１又は２に記載の画像処理システムにおいて、
前記第１画素ブロックから前記第２画素ブロックにかけて直流成分が非単調に変化する場合、前記第１画素ブロックと前記対象画素ブロックとの間の直流成分の差と、前記第２画素ブロックと前記対象画素ブロックとの間の直流成分の差と、は夫々大きい方の第１の差と小さい方の第２の差の何れかであり、前記第１の差と前記第２の差との差に基づく値と、前記第２の差と、のうち小さい方の値に基づいて交流成分を予測する、
ことを特徴とする画像処理システム。
前記第１画素ブロックから前記第２画素ブロックにかけて直流成分が非単調に変化する場合、前記第１画素ブロックと前記対象画素ブロックとの間の直流成分の差と、前記第２画素ブロックと前記対象画素ブロックとの間の直流成分の差と、は夫々大きい方の第１の差と小さい方の第２の差の何れかであり、前記第１の差と前記第２の差との差に基づく値と、前記第２の差と、のうち小さい方の値に基づいて交流成分を予測する、
ことを特徴とする画像処理システム。
【請求項7】
画像を符号化する符号化装置において、
画像を分割した２×２画素で構成される複数の画素ブロックに跨がって所定のプリフィルタリングを行うプリフィルタ部と、
プリフィルタ後の画素ブロックに対してアダマール変換を行い、直流成分及び交流成分を算出する周波数変換部と、
算出した直流成分に基づいて各画素ブロックの交流成分を予測する第１交流成分予測部と、
算出した交流成分と予測した交流成分との残差と、算出した直流成分とに基づく符号化データを生成する符号化部と、
を備えることを特徴とする符号化装置。
画像を分割した２×２画素で構成される複数の画素ブロックに跨がって所定のプリフィルタリングを行うプリフィルタ部と、
プリフィルタ後の画素ブロックに対してアダマール変換を行い、直流成分及び交流成分を算出する周波数変換部と、
算出した直流成分に基づいて各画素ブロックの交流成分を予測する第１交流成分予測部と、
算出した交流成分と予測した交流成分との残差と、算出した直流成分とに基づく符号化データを生成する符号化部と、
を備えることを特徴とする符号化装置。
【請求項8】
符号化された画像を復号する復号装置において、
符号化データから直流成分と残差を復号する復号部と、
復号した直流成分に基づいて交流成分を予測する第２交流成分予測部と、
予測した交流成分と復号した残差とに基づく交流成分と、復号した直流成分と、に対して逆アダマール変換を行い、２×２画素で構成される画素ブロックを復元する周波数逆変換部と、
復元した複数の画素ブロックに跨がって所定のポストフィルタリングを行うポストフィルタ部と、
を備えることを特徴とする復号装置。
符号化データから直流成分と残差を復号する復号部と、
復号した直流成分に基づいて交流成分を予測する第２交流成分予測部と、
予測した交流成分と復号した残差とに基づく交流成分と、復号した直流成分と、に対して逆アダマール変換を行い、２×２画素で構成される画素ブロックを復元する周波数逆変換部と、
復元した複数の画素ブロックに跨がって所定のポストフィルタリングを行うポストフィルタ部と、
を備えることを特徴とする復号装置。
【請求項9】
プロセッサによって実行される、画像の符号化と復号を行う画像処理方法において、
画像を分割した２×２画素で構成される複数の画素ブロックに跨がって所定のプリフィルタリングを行い、
プリフィルタ後の画素ブロックに対してアダマール変換を行い、直流成分及び交流成分を算出し、
算出した直流成分に基づいて各画素ブロックの交流成分を予測し、
算出した交流成分と予測した交流成分との残差と、算出した直流成分と、を符号化し、符号化データを生成し、
前記符号化データを復号し、
復号した直流成分に基づいて交流成分を予測し、
予測した交流成分と復号した残差とに基づく交流成分と、復号した直流成分と、に対して逆アダマール変換を行い、画素ブロックを復元し、
復元した複数の画素ブロックに跨がって所定のポストフィルタリングを行う、
ことを特徴とする画像処理方法。
画像を分割した２×２画素で構成される複数の画素ブロックに跨がって所定のプリフィルタリングを行い、
プリフィルタ後の画素ブロックに対してアダマール変換を行い、直流成分及び交流成分を算出し、
算出した直流成分に基づいて各画素ブロックの交流成分を予測し、
算出した交流成分と予測した交流成分との残差と、算出した直流成分と、を符号化し、符号化データを生成し、
前記符号化データを復号し、
復号した直流成分に基づいて交流成分を予測し、
予測した交流成分と復号した残差とに基づく交流成分と、復号した直流成分と、に対して逆アダマール変換を行い、画素ブロックを復元し、
復元した複数の画素ブロックに跨がって所定のポストフィルタリングを行う、
ことを特徴とする画像処理方法。
【請求項10】
画像の符号化と復号を行う画像処理方法をプロセッサに実行させる画像処理プログラムであって、
画像を分割した２×２画素で構成される複数の画素ブロックに跨がって所定のプリフィルタリングを行い、
プリフィルタ後の画素ブロックに対してアダマール変換を行い、画素ブロックにおける直流成分及び交流成分を算出し、
算出した直流成分に基づいて交流成分を予測し、
算出した交流成分と予測した交流成分との残差と、算出した直流成分と、を符号化し、符号化データを生成し、
前記符号化データを復号し、
復号した直流成分に基づいて交流成分を予測し、
予測した交流成分と復号した残差とに基づく交流成分と、復号した直流成分と、に対して逆アダマール変換を行い、画素ブロックを復元し、
復元した複数の画素ブロックに跨がって所定のポストフィルタリングを行う、
ことを特徴とする画像処理プログラム。
画像を分割した２×２画素で構成される複数の画素ブロックに跨がって所定のプリフィルタリングを行い、
プリフィルタ後の画素ブロックに対してアダマール変換を行い、画素ブロックにおける直流成分及び交流成分を算出し、
算出した直流成分に基づいて交流成分を予測し、
算出した交流成分と予測した交流成分との残差と、算出した直流成分と、を符号化し、符号化データを生成し、
前記符号化データを復号し、
復号した直流成分に基づいて交流成分を予測し、
予測した交流成分と復号した残差とに基づく交流成分と、復号した直流成分と、に対して逆アダマール変換を行い、画素ブロックを復元し、
復元した複数の画素ブロックに跨がって所定のポストフィルタリングを行う、
ことを特徴とする画像処理プログラム。
【請求項11】
プロセッサによって実行される、画像の符号化を行う符号化方法において、
画像を分割した２×２画素で構成される複数の画素ブロックに跨がって所定のプリフィルタリングを行い、
プリフィルタ後の画素ブロックに対してアダマール変換を行い、直流成分及び交流成分を算出し、
算出した直流成分に基づいて各画素ブロックの交流成分を予測し、
算出した交流成分と予測した交流成分との残差と、算出した直流成分とに基づく符号化データを生成する、
ことを特徴とする符号化方法。
画像を分割した２×２画素で構成される複数の画素ブロックに跨がって所定のプリフィルタリングを行い、
プリフィルタ後の画素ブロックに対してアダマール変換を行い、直流成分及び交流成分を算出し、
算出した直流成分に基づいて各画素ブロックの交流成分を予測し、
算出した交流成分と予測した交流成分との残差と、算出した直流成分とに基づく符号化データを生成する、
ことを特徴とする符号化方法。
【請求項12】
画像の符号化を行う画像処理方法をプロセッサに実行させる符号化プログラムであって、
画像を分割した２×２画素で構成される複数の画素ブロックに跨がって所定のプリフィルタリングを行い、
プリフィルタ後の画素ブロックに対してアダマール変換を行い、画素ブロックにおける直流成分及び交流成分を算出し、
算出した直流成分に基づいて交流成分を予測し、
算出した交流成分と予測した交流成分との残差と、算出した直流成分とに基づく符号化データを生成する、
ことを特徴とする符号化プログラム。
画像を分割した２×２画素で構成される複数の画素ブロックに跨がって所定のプリフィルタリングを行い、
プリフィルタ後の画素ブロックに対してアダマール変換を行い、画素ブロックにおける直流成分及び交流成分を算出し、
算出した直流成分に基づいて交流成分を予測し、
算出した交流成分と予測した交流成分との残差と、算出した直流成分とに基づく符号化データを生成する、
ことを特徴とする符号化プログラム。
【請求項13】
プロセッサによって実行される、符号化された画像を復号する復号方法において、
符号化データから直流成分と残差を復号し、
復号した直流成分に基づいて交流成分を予測し、
予測した交流成分と復号した残差とに基づく交流成分と、復号した直流成分と、に対して逆アダマール変換を行い、２×２画素で構成される画素ブロックを復元し、
復元した複数の画素ブロックに跨がって所定のポストフィルタリングを行う、
ことを特徴とする復号方法。
符号化データから直流成分と残差を復号し、
復号した直流成分に基づいて交流成分を予測し、
予測した交流成分と復号した残差とに基づく交流成分と、復号した直流成分と、に対して逆アダマール変換を行い、２×２画素で構成される画素ブロックを復元し、
復元した複数の画素ブロックに跨がって所定のポストフィルタリングを行う、
ことを特徴とする復号方法。
【請求項14】
符号化された画像を復号する復号方法をプロセッサに実行させる復号プログラムであって、
符号化データから直流成分と残差を復号し、
復号した直流成分に基づいて交流成分を予測し、
予測した交流成分と復号した残差とに基づく交流成分と、復号した直流成分と、に対して逆アダマール変換を行い、２×２画素で構成される画素ブロックを復元し、
復元した複数の画素ブロックに跨がって所定のポストフィルタリングを行う、
ことを特徴とする復号プログラム。
符号化データから直流成分と残差を復号し、
復号した直流成分に基づいて交流成分を予測し、
予測した交流成分と復号した残差とに基づく交流成分と、復号した直流成分と、に対して逆アダマール変換を行い、２×２画素で構成される画素ブロックを復元し、
復元した複数の画素ブロックに跨がって所定のポストフィルタリングを行う、
ことを特徴とする復号プログラム。
【請求項15】
画像の符号化と復号を行う画像処理システムにおいて、
画像を分割した画素ブロックに対してアダマール変換を行い、直流成分及び交流成分を算出する周波数変換部と、
算出した直流成分に基づいて各画素ブロックの交流成分を予測する第１交流成分予測部と、
算出した交流成分と予測した交流成分との残差と、算出した直流成分とに基づく符号化データを生成する符号化部と、
前記符号化データを復号する復号部と、
復号した直流成分に基づいて交流成分を予測する第２交流成分予測部と、
予測した交流成分と復号した残差とに基づく交流成分と、復号した直流成分と、に対して逆アダマール変換を行い、画素ブロックを復元する周波数逆変換部と、を備え、
前記アダマール変換の前に、複数の画素ブロックに跨がって所定のプリフィルタリングを行うプリフィルタ部と、
前記逆アダマール変換の後に、復元した複数の画素ブロックに跨がって所定のポストフィルタリングを行うポストフィルタ部と、
を備えることを特徴とする画像処理システム。
画像を分割した画素ブロックに対してアダマール変換を行い、直流成分及び交流成分を算出する周波数変換部と、
算出した直流成分に基づいて各画素ブロックの交流成分を予測する第１交流成分予測部と、
算出した交流成分と予測した交流成分との残差と、算出した直流成分とに基づく符号化データを生成する符号化部と、
前記符号化データを復号する復号部と、
復号した直流成分に基づいて交流成分を予測する第２交流成分予測部と、
予測した交流成分と復号した残差とに基づく交流成分と、復号した直流成分と、に対して逆アダマール変換を行い、画素ブロックを復元する周波数逆変換部と、を備え、
前記アダマール変換の前に、複数の画素ブロックに跨がって所定のプリフィルタリングを行うプリフィルタ部と、
前記逆アダマール変換の後に、復元した複数の画素ブロックに跨がって所定のポストフィルタリングを行うポストフィルタ部と、
を備えることを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理システム、符号化装置、復号装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【0002】
画像の圧縮符号化を行うための技術として、周波数変換と交流成分予測を併用することが知られている。対象画像を分割した画素ブロックに対し、周波数変換及び交流成分予測を行い、予測結果に対して符号化を行う。
周波数変換は、対象画像を画像周波数の成分情報に変換する処理である。一般的な画像では高周波帯域に比して低周波帯域の信号強度が強いという偏りをもつ。従って、画像における画素の輝度値を直接的に符号化するよりも周波数成分の情報に変換を行ってから符号化をしたほうが少ないデータで画像の情報を符号化できる。また、高周波帯域の情報は低周波帯域の情報よりも重要度が低いため、荒く量子化することでさらに効率的にデータを削減することができる。符号化時に周波数変換された対象画像を、復号時には周波数逆変換することで対象画像を復元できる。
周波数変換には、周波数成分をどのように定義するかという観点で様々な方式があり、画像圧縮に対する有効性も異なる。例えば特許文献１には階層的なアダマール変換が開示されている。アダマール変換は、ＪＰＥＧ等に採用されている離散コサイン変換（DCT：Discrete Cosine Transform）に比べてモスキートノイズの発生が少ない等の有効性がある。
周波数変換は、対象画像を画像周波数の成分情報に変換する処理である。一般的な画像では高周波帯域に比して低周波帯域の信号強度が強いという偏りをもつ。従って、画像における画素の輝度値を直接的に符号化するよりも周波数成分の情報に変換を行ってから符号化をしたほうが少ないデータで画像の情報を符号化できる。また、高周波帯域の情報は低周波帯域の情報よりも重要度が低いため、荒く量子化することでさらに効率的にデータを削減することができる。符号化時に周波数変換された対象画像を、復号時には周波数逆変換することで対象画像を復元できる。
周波数変換には、周波数成分をどのように定義するかという観点で様々な方式があり、画像圧縮に対する有効性も異なる。例えば特許文献１には階層的なアダマール変換が開示されている。アダマール変換は、ＪＰＥＧ等に採用されている離散コサイン変換（DCT：Discrete Cosine Transform）に比べてモスキートノイズの発生が少ない等の有効性がある。
【0003】
交流成分予測は、画素ブロック上の直流成分から対象ブロック上に存在する交流成分を予測する技術である。
特許文献１では、アダマール変換された低周波側成分（直流成分であり平均値）に交流成分予測を適用し、高周波側成分を予測する。高周波側成分を高い精度で予測し、予測される高周波側成分と実際の高周波成分との予測差分のみを符号化することによって符号量をさらに削減することができる。
関連する他の技術として、第１のアダマール変換手段と、レジスタ手段と、第２のアダマール変換手段とを備えるアダマール変換回路がある。第１のアダマール変換手段は、画像のマクロブロックに対し、異なる大きさのブロック単位でアダマール変換を行うアダマール変換回路において、第１のブロック単位でアダマール変換を行う。レジスタ手段は、第１のアダマール変換手段の変換結果を格納する。第２のアダマール変換手段は、レジスタ手段に格納された、第１のアダマール変換手段の変換結果を用いて、第１のブロックより大きい第２のブロック単位でアダマール変換を行う（例えば、特許文献２）。
特許文献１では、アダマール変換された低周波側成分（直流成分であり平均値）に交流成分予測を適用し、高周波側成分を予測する。高周波側成分を高い精度で予測し、予測される高周波側成分と実際の高周波成分との予測差分のみを符号化することによって符号量をさらに削減することができる。
関連する他の技術として、第１のアダマール変換手段と、レジスタ手段と、第２のアダマール変換手段とを備えるアダマール変換回路がある。第１のアダマール変換手段は、画像のマクロブロックに対し、異なる大きさのブロック単位でアダマール変換を行うアダマール変換回路において、第１のブロック単位でアダマール変換を行う。レジスタ手段は、第１のアダマール変換手段の変換結果を格納する。第２のアダマール変換手段は、レジスタ手段に格納された、第１のアダマール変換手段の変換結果を用いて、第１のブロックより大きい第２のブロック単位でアダマール変換を行う（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第３７７４２０１号
【特許文献2】特開２０１０－１２８９６８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に記載されるような、周波数変換及び交流成分予測を用いた対象画像の圧縮符号化では、周波数変換、交流成分予測及び符号化を、対象画像を分割したブロック単位で行うとき、低ビットレートではブロック境界が見えるなど視覚的な歪みが生じる不具合がある。
また、アダマール変換は次数が低いために周波数成分間の相関が多く残留しやすく冗長であるという問題がある。
本発明は、一側面として、画像の圧縮符号化において、圧縮率を高めながらブロック境界のノイズを低減することを目的とする。
また、アダマール変換は次数が低いために周波数成分間の相関が多く残留しやすく冗長であるという問題がある。
本発明は、一側面として、画像の圧縮符号化において、圧縮率を高めながらブロック境界のノイズを低減することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、画像の符号化と復号を行う画像処理システムにおいて、画像を分割した２×２画素で構成される画素ブロックに対してアダマール変換を行い、直流成分及び交流成分を算出する周波数変換部と、算出した直流成分に基づいて各画素ブロックの交流成分を予測する第１交流成分予測部と、算出した交流成分と予測した交流成分との残差と、算出した直流成分とに基づく符号化データを生成する符号化部と、前記符号化データを復号する復号部と、復号した直流成分に基づいて交流成分を予測する第２交流成分予測部と、予測した交流成分と復号した残差とに基づく交流成分と、復号した直流成分と、に対して逆アダマール変換を行い、画素ブロックを復元する周波数逆変換部と、を備え、前記アダマール変換の前に、複数の画素ブロックに跨がって所定のプリフィルタリングを行うプリフィルタ部と、前記逆アダマール変換の後に、復元した複数の画素ブロックに跨がって所定のポストフィルタリングを行うポストフィルタ部と、を備えることを特徴とする。
【発明の効果】
【0007】
本発明によれば、一側面として、画像の圧縮符号化において、圧縮率を高めながらブロック境界のノイズを低減することが出来る。
【図面の簡単な説明】
【0008】
【図1】本実施形態の画像処理システムの概略構成を示す図である。
【図2】エンコーダとしての画像処理装置の機能構成を説明する図である。
【図3】デコーダとしての画像処理装置の機能構成を説明する図である。
【図4】本実施形態の画像処理システムが行う処理の流れを示す図である。
【図5】本実施形態の画像処理システムが行う処理の要部を説明する図である。
【図6】アダマール変換を行う変換ブロックを示す図である。
【図7】プリフィルタリングを行うフィルタブロックを示す図である。
【図8】プリフィルタリングを説明する図である。
【図9】フィルタブロックに対するプリフィルタリングを示す図である。
【図10】プリフィルタリング後の変換ブロック内の画素を示す図である。
【図11】直流成分を用いた交流成分予測を説明する図である。
【図12】単調変化する直流成分による交流成分予測を説明する図である。
【図13】単調に変化しない直流成分を例示する図である。
【図14】画像曲面における画素輝度列の第１の例を示す図である。
【図16】画像曲面における画素輝度列の第２の例を示す図である。
【図18】係数が異なるプリフィルタを示す図である。
【図19】エンコーダが実行する処理を説明するフローチャートである。
【図20】デコーダが実行する処理を説明するフローチャートである。
【図21】静止画に対するコーデックの性能曲線を測定した結果を示す図（その１）である。
【図22】静止画に対するコーデックの性能曲線を測定した結果を示す図（その２）である。
【図23】コンピュータ装置の一実施例を示すブロック図である。
【発明を実施するための形態】
【0009】
以下に、図面を参照して本発明の実施の形態を詳細に説明する。
図１は、本実施形態の画像処理システムの概略構成を示す図である。
図１に示す画像処理システム１は、画像の圧縮（符号化）を行うエンコーダとして機能する画像処理装置１０と、画像の復元（復号）を行うデコーダとして機能する画像処理装置３０とを備える。
エンコーダは符号化装置ともいい、デコーダは復号装置ともいう。
エンコーダ１０は対象画像を圧縮符号化して符号化データを作成する。
デコーダ３０は、エンコーダ１０が作成した符号化データを復号することによって対象画像を復元して表示する。
エンコーダ１０、デコーダ３０は、後述するようにコンピュータ装置１００として構成することが出来るが、コンピュータ装置やその他アプライアンス製品に組み込む画像処理デバイス（モジュール）として構成してもよい。
エンコーダ１０は、画像を制作するコンピュータ装置等に組み込まれて、制作した画像をデコーダ３０でデコード可能な符号化データに変換する。
デコーダ３０は、画像を表示する機器、例えば遊技機やサイネージなどに組み込まれるＶＤＰ(Video Display Processor)として構成され、エンコーダ１０で作成した符号化データをデコードして液晶表示装置などに表示する。
図１は、本実施形態の画像処理システムの概略構成を示す図である。
図１に示す画像処理システム１は、画像の圧縮（符号化）を行うエンコーダとして機能する画像処理装置１０と、画像の復元（復号）を行うデコーダとして機能する画像処理装置３０とを備える。
エンコーダは符号化装置ともいい、デコーダは復号装置ともいう。
エンコーダ１０は対象画像を圧縮符号化して符号化データを作成する。
デコーダ３０は、エンコーダ１０が作成した符号化データを復号することによって対象画像を復元して表示する。
エンコーダ１０、デコーダ３０は、後述するようにコンピュータ装置１００として構成することが出来るが、コンピュータ装置やその他アプライアンス製品に組み込む画像処理デバイス（モジュール）として構成してもよい。
エンコーダ１０は、画像を制作するコンピュータ装置等に組み込まれて、制作した画像をデコーダ３０でデコード可能な符号化データに変換する。
デコーダ３０は、画像を表示する機器、例えば遊技機やサイネージなどに組み込まれるＶＤＰ(Video Display Processor)として構成され、エンコーダ１０で作成した符号化データをデコードして液晶表示装置などに表示する。
【0010】
図２は、エンコーダとしての画像処理装置の機能構成を説明する図である。
エンコーダ１０は、制御部１１と、記憶部１２と、通信部１３と、入力部１４と、を備える。
制御部１１は、受付部２０と、プリフィルタ部２１と、周波数変換部２２と、第１交流成分予測部２３と、残差算出部２４と、符号化部２５と、出力部２６と、を備える。
エンコーダ１０は、制御部１１と、記憶部１２と、通信部１３と、入力部１４と、を備える。
制御部１１は、受付部２０と、プリフィルタ部２１と、周波数変換部２２と、第１交流成分予測部２３と、残差算出部２４と、符号化部２５と、出力部２６と、を備える。
【0011】
受付部２０は、通信部１３や入力部１４を介したエンコードの対象となる画像を受け付ける。
受付部２０、プリフィルタ部２１、周波数変換部２２、第１交流成分予測部２３、残差算出部２４、符号化部２５、出力部２６の少なくとも一つがハードウェアで実現されてもよい。
出力部２６は、画像処理結果をエンコーダ１０の外部に出力する。
記憶部１２は、画像処理の演算で用いられる一時ファイルや一時データ、画像処理済みの出力データを格納することが出来る。
通信部１３は、エンコーダ１０をネットワークに接続し、外部装置との通信を可能にする。
受付部２０、プリフィルタ部２１、周波数変換部２２、第１交流成分予測部２３、残差算出部２４、符号化部２５、出力部２６の少なくとも一つがハードウェアで実現されてもよい。
出力部２６は、画像処理結果をエンコーダ１０の外部に出力する。
記憶部１２は、画像処理の演算で用いられる一時ファイルや一時データ、画像処理済みの出力データを格納することが出来る。
通信部１３は、エンコーダ１０をネットワークに接続し、外部装置との通信を可能にする。
【0012】
図３は、デコーダとしての画像処理装置の機能構成を説明する図である。
デコーダ３０は、制御部３１と、記憶部３２と、通信部３３と、入力部３４と、を備える。
制御部３１は、受付部４０と、ポストフィルタ部４１と、周波数逆変換部４２と、残差加算部４３と、第２交流成分予測部４４と、復号部４５と、出力部４６と、を備える。
受付部４０は、通信部３３や入力部３４を介したデコードの対象となる画像を受け付ける。
受付部４０、ポストフィルタ部４１、周波数逆変換部４２、残差加算部４３と、第２交流成分予測部４４と、復号部４５、出力部４６の少なくとも一つがハードウェアで実現されてもよい。
出力部４６は、画像処理結果をデコーダ３０の外部に出力する。
デコーダ３０がＶＤＰなどの画像処理デバイスである場合、出力部４６による出力は、デコードした画像の表示装置に対する表示であってもよい。
デコーダ３０は、制御部３１と、記憶部３２と、通信部３３と、入力部３４と、を備える。
制御部３１は、受付部４０と、ポストフィルタ部４１と、周波数逆変換部４２と、残差加算部４３と、第２交流成分予測部４４と、復号部４５と、出力部４６と、を備える。
受付部４０は、通信部３３や入力部３４を介したデコードの対象となる画像を受け付ける。
受付部４０、ポストフィルタ部４１、周波数逆変換部４２、残差加算部４３と、第２交流成分予測部４４と、復号部４５、出力部４６の少なくとも一つがハードウェアで実現されてもよい。
出力部４６は、画像処理結果をデコーダ３０の外部に出力する。
デコーダ３０がＶＤＰなどの画像処理デバイスである場合、出力部４６による出力は、デコードした画像の表示装置に対する表示であってもよい。
【0013】
記憶部３２は、画像処理の演算で用いられる一時ファイルや一時データ、画像処理済みの出力データを格納することが出来る。記憶部３２はまた、エンコーダ１０が作成したデコードの対象となる符号化データ（後述するブロック毎の直流成分、予測残差）を格納することが出来る。
通信部３３は、デコーダ３０をネットワークに接続し、外部装置との通信を可能にする。
通信部３３は、デコーダ３０をネットワークに接続し、外部装置との通信を可能にする。
【0014】
図４は、本実施形態の画像処理システムが行う処理の流れを示す図である。
図５は、本実施形態の画像処理システムが行う処理の要部を説明する図であり、（ａ）は、エンコーダの処理、（ｂ）はデコーダの処理を示している。
図２乃至図５を用いて、本実施形態の画像処理システムが備えるエンコーダ、デコーダが実行する処理を説明する。
エンコーダ１０において、プリフィルタ部２１は、対象画像に対して後述するプリフィルタリングを行う（Ｓ２１）。
周波数変換部２２は、プリフィルタ後の変換ブロックに対して後述するアダマール変換を行い、変換ブロックにおける直流成分μ、交流成分α、β、γを算出する（Ｓ２２）。以下では、周波数変換部２２が算出した交流成分を、算出交流成分と記載する場合がある。
アダマール変換、及び後述する逆アダマール変換自体は特許文献１に開示されるような従来知られるものと同じであるため、本実施形態において詳しい説明は行っていない。またアダマール変換、及び後述する逆アダマール変換といった場合、特許文献１の階層型アダマール変換と、それ以外の一般的に知られるアダマール変換の両方を含んでよい。
第１交流成分予測部２３は、対象となる変換ブロックの交流成分予測を行う。第１交流成分予測部２３は、対象となる変換ブロックの両隣のブロックの直流成分μに基づいて対象となる変換ブロックの交流成分の予測値α’、β’、γ’を予測する（Ｓ２３）。以下では、第１交流成分予測部２３が予測した交流成分を予測交流成分と記載する場合がある。
残差算出部２４は、算出交流成分α、β、γと予測交流成分値α’、β’、γ’との差分を夫々計算し、予測残差αｒ、βｒ、γｒを算出する（Ｓ２４）。
符号化部２５は、直流成分μ、予測残差αｒ、βｒ、γｒを符号化し、符号化データを生成する。符号化データは、デコーダ３０に供給される（Ｓ２５）。
図５は、本実施形態の画像処理システムが行う処理の要部を説明する図であり、（ａ）は、エンコーダの処理、（ｂ）はデコーダの処理を示している。
図２乃至図５を用いて、本実施形態の画像処理システムが備えるエンコーダ、デコーダが実行する処理を説明する。
エンコーダ１０において、プリフィルタ部２１は、対象画像に対して後述するプリフィルタリングを行う（Ｓ２１）。
周波数変換部２２は、プリフィルタ後の変換ブロックに対して後述するアダマール変換を行い、変換ブロックにおける直流成分μ、交流成分α、β、γを算出する（Ｓ２２）。以下では、周波数変換部２２が算出した交流成分を、算出交流成分と記載する場合がある。
アダマール変換、及び後述する逆アダマール変換自体は特許文献１に開示されるような従来知られるものと同じであるため、本実施形態において詳しい説明は行っていない。またアダマール変換、及び後述する逆アダマール変換といった場合、特許文献１の階層型アダマール変換と、それ以外の一般的に知られるアダマール変換の両方を含んでよい。
第１交流成分予測部２３は、対象となる変換ブロックの交流成分予測を行う。第１交流成分予測部２３は、対象となる変換ブロックの両隣のブロックの直流成分μに基づいて対象となる変換ブロックの交流成分の予測値α’、β’、γ’を予測する（Ｓ２３）。以下では、第１交流成分予測部２３が予測した交流成分を予測交流成分と記載する場合がある。
残差算出部２４は、算出交流成分α、β、γと予測交流成分値α’、β’、γ’との差分を夫々計算し、予測残差αｒ、βｒ、γｒを算出する（Ｓ２４）。
符号化部２５は、直流成分μ、予測残差αｒ、βｒ、γｒを符号化し、符号化データを生成する。符号化データは、デコーダ３０に供給される（Ｓ２５）。
【0015】
デコーダ３０において、復号部４５は、符号化データから直流成分μ、予測残差αｒ、βｒ、γｒを復号する（Ｓ４５）。
第２交流成分予測部４４は、対象となる変換ブロックの交流成分予測を行う。第２交流成分予測部４４は、対象となる変換ブロックの両隣のブロックについて復号した直流成分μに基づいて、当該ブロックの交流成分の予測値α’、β’、γ’を予測する（Ｓ４４）。以下では、第２交流成分予測部４４が予測した交流成分を予測交流成分と記載する場合がある。
残差加算部４３は、予測交流成分α’、β’、γ’に、予測残差αｒ、βｒ、γｒを夫々加算し、交流成分α、β、γを夫々算出する（Ｓ４３）。
周波数逆変換部４２は、直流成分μ、算出交流成分α、β、γに対して逆アダマール変換を行い、画素データ（変換ブロック）を復元する（Ｓ４２）。以下では、周波数逆変換部４２が算出した交流成分を、算出交流成分と記載する場合がある。
ポストフィルタ部４１は、画素データに対してポストフィルタリングを行う（Ｓ４１）。
第２交流成分予測部４４は、対象となる変換ブロックの交流成分予測を行う。第２交流成分予測部４４は、対象となる変換ブロックの両隣のブロックについて復号した直流成分μに基づいて、当該ブロックの交流成分の予測値α’、β’、γ’を予測する（Ｓ４４）。以下では、第２交流成分予測部４４が予測した交流成分を予測交流成分と記載する場合がある。
残差加算部４３は、予測交流成分α’、β’、γ’に、予測残差αｒ、βｒ、γｒを夫々加算し、交流成分α、β、γを夫々算出する（Ｓ４３）。
周波数逆変換部４２は、直流成分μ、算出交流成分α、β、γに対して逆アダマール変換を行い、画素データ（変換ブロック）を復元する（Ｓ４２）。以下では、周波数逆変換部４２が算出した交流成分を、算出交流成分と記載する場合がある。
ポストフィルタ部４１は、画素データに対してポストフィルタリングを行う（Ｓ４１）。
【0016】
上述したように、画像の圧縮符号化において、原画像を分割して周波数変換（アダマール変換）を行った変換ブロックに対して交流成分予測を行うことは周知である。しかし、このような方法には、変換ブロックの境界が見えるなどの視覚的な歪みが目立つ問題があった。またアダマール変換は次数が低いため周波数成分間の相関が多く残留しやすく冗長であるという問題もあった。
本実施形態においてエンコーダ１０は、視覚的な歪みに対処するために、重複変換（Lapped Transform)を行う。
重複変換は、周波数変換単位を重複する基底関数を用いる周波数変換の一種である。例えば、一般的なブロックＤＣＴ／ＩＤＣＴに時間領域プリフィルタ・ポストフィルタを組み合わせる重複変換が開示されている。重複変換によってブロックの境界が見える不具合を緩和することができる。
すなわちエンコーダ１０は、アダマール変換を行う前に、変換ブロックの境界に高周波成分を強調するフィルタを適用するプリフィルタリングを行う。またデコーダ３０は、逆アダマール変換を行った後、ブロック境界にプリフィルタリングの影響を打ち消すポストフィルタリングを行う。
また本実施形態では、交流成分予測を行う際には単調性／非単調性を考慮し、オーバーシュート・アンダーシュート対策を行う。
本実施形態においてエンコーダ１０は、視覚的な歪みに対処するために、重複変換（Lapped Transform)を行う。
重複変換は、周波数変換単位を重複する基底関数を用いる周波数変換の一種である。例えば、一般的なブロックＤＣＴ／ＩＤＣＴに時間領域プリフィルタ・ポストフィルタを組み合わせる重複変換が開示されている。重複変換によってブロックの境界が見える不具合を緩和することができる。
すなわちエンコーダ１０は、アダマール変換を行う前に、変換ブロックの境界に高周波成分を強調するフィルタを適用するプリフィルタリングを行う。またデコーダ３０は、逆アダマール変換を行った後、ブロック境界にプリフィルタリングの影響を打ち消すポストフィルタリングを行う。
また本実施形態では、交流成分予測を行う際には単調性／非単調性を考慮し、オーバーシュート・アンダーシュート対策を行う。
【0017】
以下に、本実施形態の画像処理装置が行う画像圧縮(符号化)・復元（復号）を説明する。
図６は、アダマール変換を行う変換ブロックを示す図である。
エンコーダ１０は、原画像（対象画像）に対して、アダマール変換を行う変換ブロックＴＢを定める。図６に示す対象画像５０に含まれる画素は、例えば、図中左上の画素（０，０）を原点とする座標系を構成する。例えば、画素（０，０）から横（右）方向に（０，１）、（０，２）、（０，３）・・・と画素が続き、画素（０，０）から縦（下）方向に（１，０）、（２，０）、（３，０）・・・と画素が続く。
図６は、アダマール変換を行う変換ブロックを示す図である。
エンコーダ１０は、原画像（対象画像）に対して、アダマール変換を行う変換ブロックＴＢを定める。図６に示す対象画像５０に含まれる画素は、例えば、図中左上の画素（０，０）を原点とする座標系を構成する。例えば、画素（０，０）から横（右）方向に（０，１）、（０，２）、（０，３）・・・と画素が続き、画素（０，０）から縦（下）方向に（１，０）、（２，０）、（３，０）・・・と画素が続く。
【0018】
エンコーダ１０は、対象画像５０において、例えば２×２画素（サイズ２）のアダマール変換のための変換ブロックＴＢ１、ＴＢ２、ＴＢ３・・・を定める。
エンコーダ１０は、変換ブロックＴＢ１、ＴＢ２、ＴＢ３・・・を単位として、対象画像５０に対するアダマール変換を行う。
変換ブロックＴＢ１、ＴＢ２、ＴＢ３・・・に夫々含まれる画素数は４である。例えば変換ブロックＴＢ１には（０，０）、（０，１）、（１，０），（１，１）の４画素が含まれる。
変換ブロックを２×２画素（サイズ２）で構成するとき、対象画像５０の縦・横の何れか又は両方の画素数が奇数である場合には変換ブロックが対象画像５０をはみ出す場合がある。その場合は、対象画像５０からはみ出した位置の変換ブロックの画素を、その位置に隣接する対象画像５０内の画素の輝度値などの適当な画素値で補う。
エンコーダ１０は、変換ブロックＴＢ１、ＴＢ２、ＴＢ３・・・を単位として、対象画像５０に対するアダマール変換を行う。
変換ブロックＴＢ１、ＴＢ２、ＴＢ３・・・に夫々含まれる画素数は４である。例えば変換ブロックＴＢ１には（０，０）、（０，１）、（１，０），（１，１）の４画素が含まれる。
変換ブロックを２×２画素（サイズ２）で構成するとき、対象画像５０の縦・横の何れか又は両方の画素数が奇数である場合には変換ブロックが対象画像５０をはみ出す場合がある。その場合は、対象画像５０からはみ出した位置の変換ブロックの画素を、その位置に隣接する対象画像５０内の画素の輝度値などの適当な画素値で補う。
【0019】
［プリフィルタリング］
図７は、プリフィルタリングを行うフィルタブロックを示す図である。
エンコーダ１０は、変換ブロックＴＢ１、ＴＢ２、ＴＢ３・・・の境界をまたぐフィルタブロックＦＢを定める。
エンコーダ１０は、フィルタブロックＦＢに後述のプリフィルタを追加する。プリフィルタは、変換ブロックＴＢの境界における高周波成分を強調するためのフィルタである。
具体的には、エンコーダ１０は、変換ブロックＴＢ１、ＴＢ２、ＴＢ３・・・の境界に２×２画素のフィルタブロックＦＢ１、ＦＢ２、ＦＢ３・・・を互い違いに定める。変換ブロックと同様にフィルタブロックも４つの画素を含む。よって、フィルタブロックＦＢ１、ＦＢ２、ＦＢ３・・・が対象画像５０をはみだす場合がある。その場合は、対象画像５０からはみ出した位置のフィルタブロックの画素を、その位置に隣接する対象画像５０内の画素の輝度値などの適当な画素値で補う。
図７は、プリフィルタリングを行うフィルタブロックを示す図である。
エンコーダ１０は、変換ブロックＴＢ１、ＴＢ２、ＴＢ３・・・の境界をまたぐフィルタブロックＦＢを定める。
エンコーダ１０は、フィルタブロックＦＢに後述のプリフィルタを追加する。プリフィルタは、変換ブロックＴＢの境界における高周波成分を強調するためのフィルタである。
具体的には、エンコーダ１０は、変換ブロックＴＢ１、ＴＢ２、ＴＢ３・・・の境界に２×２画素のフィルタブロックＦＢ１、ＦＢ２、ＦＢ３・・・を互い違いに定める。変換ブロックと同様にフィルタブロックも４つの画素を含む。よって、フィルタブロックＦＢ１、ＦＢ２、ＦＢ３・・・が対象画像５０をはみだす場合がある。その場合は、対象画像５０からはみ出した位置のフィルタブロックの画素を、その位置に隣接する対象画像５０内の画素の輝度値などの適当な画素値で補う。
【0020】
図８は、プリフィルタリングを説明する図である。
フィルタブロックＦＢは２×２画素よりなるが、例として１次元上に並ぶ２つの画素ｐ－１、ｐ１を例としてプリフィルタリングを説明する。
図８に示すように、画素ｐ－１、ｐ１に対して以下に示す演算によってフィルタリングを適用して画素ｐ－１、ｐ１に重み付けをし、フィルタ後の画素ｐ’－１、ｐ’１を計算する。
ここで、λ∈［１，２］である。
プリフィルタは、変換ブロックＴＢの境界における高周波成分を強調するためのフィルタである。λは、プリフィルタにおいて高周波を強調する強度を定める係数である。
フィルタブロックＦＢは２×２画素よりなるが、例として１次元上に並ぶ２つの画素ｐ－１、ｐ１を例としてプリフィルタリングを説明する。
図８に示すように、画素ｐ－１、ｐ１に対して以下に示す演算によってフィルタリングを適用して画素ｐ－１、ｐ１に重み付けをし、フィルタ後の画素ｐ’－１、ｐ’１を計算する。
プリフィルタは、変換ブロックＴＢの境界における高周波成分を強調するためのフィルタである。λは、プリフィルタにおいて高周波を強調する強度を定める係数である。
【0021】
図９は、フィルタブロックに対するプリフィルタリングを示す図である。
エンコーダ１０は、フィルタブロックＦＢ内の４画素に対してブロック単位でプリフィルタリングを適用する。このときエンコーダ１０は、図８で説明したプリフィルタリングを２次元的に（縦横方向に）行う。
エンコーダ１０は、ブロック単位での２次元的なプリフィルタリングを、プリフィルタとしての変換行列（プリフィルタ）Ｆを用いて行う。エンコーダ１０は、図９のフィルタブロックの４画素（ｐ－１，－１、ｐ－１，－１、ｐ１，－１、ｐ１，１）に、プリフィルタＦを適用し、
を計算する。
プリフィルタＦは、
である。
このようなプリフィルタＦは、２×２の４画素に対して、上記１次元用のフィルタ
を縦方向に適用したあと、横方向に適用することと同じ結果をもたらす二次元用のフィルタである。
１次元用のフィルタを横方向に適用したあと、縦方向に適用しても同じプリフィルタＦが得られる。
上記プリフィルタＦは、左右の行列を乗算することにより、
と表すことも出来る。
プリフィルタＦにおける値λは、上記に説明したように高周波強調の強度を定める係数であり、下記に説明する理由によりλ＝５／４とすることが望ましい。
エンコーダ１０は、フィルタブロックＦＢ内の４画素に対してブロック単位でプリフィルタリングを適用する。このときエンコーダ１０は、図８で説明したプリフィルタリングを２次元的に（縦横方向に）行う。
エンコーダ１０は、ブロック単位での２次元的なプリフィルタリングを、プリフィルタとしての変換行列（プリフィルタ）Ｆを用いて行う。エンコーダ１０は、図９のフィルタブロックの４画素（ｐ－１，－１、ｐ－１，－１、ｐ１，－１、ｐ１，１）に、プリフィルタＦを適用し、
プリフィルタＦは、
このようなプリフィルタＦは、２×２の４画素に対して、上記１次元用のフィルタ
１次元用のフィルタを横方向に適用したあと、縦方向に適用しても同じプリフィルタＦが得られる。
上記プリフィルタＦは、左右の行列を乗算することにより、
プリフィルタＦにおける値λは、上記に説明したように高周波強調の強度を定める係数であり、下記に説明する理由によりλ＝５／４とすることが望ましい。
【0022】
プリフィルタＦを変形してアダマール変換を利用する等価な計算を行っても良い。
プリフィルタＦは、アダマール行列
と、逆アダマール行列
を使って、
と変形することができる。
従って、フィルタブロックＦＢに含まれる４画素に対するプリフィルタリングを、
（１）アダマール変換
（２）高周波成分α、βをλ倍、高周波成分γをλ２倍
（３）逆アダマール変換
というアダマール変換を利用した等価な計算によって行うことが出来る。
従って、プリフィルタリングのための論理回路やプログラムモジュールを別途用意しなくても、アダマール変換、逆アダマール変換を実行可能な論理回路やプログラムモジュールを用いてプリフィルタリングを実行出来る。後述のポストフィルタについても同じである。
プリフィルタＦは、アダマール行列
従って、フィルタブロックＦＢに含まれる４画素に対するプリフィルタリングを、
（１）アダマール変換
（２）高周波成分α、βをλ倍、高周波成分γをλ２倍
（３）逆アダマール変換
というアダマール変換を利用した等価な計算によって行うことが出来る。
従って、プリフィルタリングのための論理回路やプログラムモジュールを別途用意しなくても、アダマール変換、逆アダマール変換を実行可能な論理回路やプログラムモジュールを用いてプリフィルタリングを実行出来る。後述のポストフィルタについても同じである。
【0023】
［アダマール変換］
エンコーダ１０は、フィルタブロックＦＢに対するプリフィルタリングの後、変換ブロックＴＢ内の４画素に対してアダマール変換を行う。
図１０は、プリフィルタリング後の変換ブロック内の画素を示す図である。
以下の説明では、プリフィルタリング後の変換ブロックを単に「フィルタ済ブロック」と記載する場合がある。
フィルタ済ブロックＦＴＢは、変換ブロックＴＢと同じ２×２画素（サイズ２）であり４画素を含む。
ここでは、一例としてフィルタ済ブロックＦＴＢ内の画素をａ－１，－１、ａ－１，１、ａ１，－１、ａ１，１として説明する。
エンコーダ１０は、フィルタ済ブロックＦＴＢに、下記のようにアダマール行列
を適用したアダマール変換
を行い、μ、α、β、γを得る。
アダマール変換を行ったフィルタ済ブロックＦＴＢを、変換後フィルタ済ブロックと記載する場合がある。
μは、変換後フィルタ済ブロックにおける直流成分（低周波成分）である。画素ブロックの直流成分は、画素ブロックに含まれる全画素の画素値（輝度値）の平均値である。α、β、γは、夫々変換後フィルタ済ブロックにおける、横方向交流成分、縦方向交流成分、斜め方向交流成分である。
エンコーダ１０は、フィルタブロックＦＢに対するプリフィルタリングの後、変換ブロックＴＢ内の４画素に対してアダマール変換を行う。
図１０は、プリフィルタリング後の変換ブロック内の画素を示す図である。
以下の説明では、プリフィルタリング後の変換ブロックを単に「フィルタ済ブロック」と記載する場合がある。
フィルタ済ブロックＦＴＢは、変換ブロックＴＢと同じ２×２画素（サイズ２）であり４画素を含む。
ここでは、一例としてフィルタ済ブロックＦＴＢ内の画素をａ－１，－１、ａ－１，１、ａ１，－１、ａ１，１として説明する。
エンコーダ１０は、フィルタ済ブロックＦＴＢに、下記のようにアダマール行列
アダマール変換を行ったフィルタ済ブロックＦＴＢを、変換後フィルタ済ブロックと記載する場合がある。
μは、変換後フィルタ済ブロックにおける直流成分（低周波成分）である。画素ブロックの直流成分は、画素ブロックに含まれる全画素の画素値（輝度値）の平均値である。α、β、γは、夫々変換後フィルタ済ブロックにおける、横方向交流成分、縦方向交流成分、斜め方向交流成分である。
【0024】
［交流成分予測］
アダマール変換によって周波数成分μ、α、β、γを算出した後、エンコーダ１０は、直流成分μを用いて交流成分予測を行う。交流成分予測では、エンコーダ１０は、フィルタ済ブロックＦＴＢにおける横方向交流成分α、縦方向交流成分β、斜め方向交流成分γを予測する。
アダマール変換によって周波数成分μ、α、β、γを算出した後、エンコーダ１０は、直流成分μを用いて交流成分予測を行う。交流成分予測では、エンコーダ１０は、フィルタ済ブロックＦＴＢにおける横方向交流成分α、縦方向交流成分β、斜め方向交流成分γを予測する。
【0025】
下記に説明するが、エンコーダ１０が直流成分μを用いて交流成分予測を行うときに、直流成分μの単調性／非単調性の考慮、交流成分の予測値の絶対値の制限などのうち少なくとも一つを行ってもよい。
エンコーダ１０は、より広域の直流成分μを参照したり、隣の変換ブロックの交流成分予測で得られた値を逐次的に利用したりしても良い。
後述するが、交流成分予測に用いる直流成分μは量子化等の歪みを加えてデコーダで実際に得られる値を用いても良いし、歪みを加えなくても良い。
エンコーダ１０は、より広域の直流成分μを参照したり、隣の変換ブロックの交流成分予測で得られた値を逐次的に利用したりしても良い。
後述するが、交流成分予測に用いる直流成分μは量子化等の歪みを加えてデコーダで実際に得られる値を用いても良いし、歪みを加えなくても良い。
【0026】
図１１は、直流成分を用いた交流成分予測を説明する図である。
一例として、横方向交流成分αの予測を説明する。
全てのフィルタ済ブロックについてアダマール変換を行って直流成分μを計算した状態であることが前提となる。
図１１には、フィルタ済ブロックＦＴＢ１と、フィルタ済ブロックＦＴＢ１の左右隣のフィルタ済ブロックＦＴＢ２、フィルタ済ブロックＦＴＢ３が表示されている。
フィルタ済ブロックＦＴＢ１について計算した直流成分をμ０、フィルタ済ブロックＦＴＢ２について計算した直流成分μ－１、フィルタ済ブロックＦＴＢ３について計算した直流成分をμ１とする。
図１１において、隣り合うフィルタ済ブロックＦＴＢ１～ＦＴＢ３の直流成分μ－１、μ０、μ１は単調に変化しているものとする。
一例として、横方向交流成分αの予測を説明する。
全てのフィルタ済ブロックについてアダマール変換を行って直流成分μを計算した状態であることが前提となる。
図１１には、フィルタ済ブロックＦＴＢ１と、フィルタ済ブロックＦＴＢ１の左右隣のフィルタ済ブロックＦＴＢ２、フィルタ済ブロックＦＴＢ３が表示されている。
フィルタ済ブロックＦＴＢ１について計算した直流成分をμ０、フィルタ済ブロックＦＴＢ２について計算した直流成分μ－１、フィルタ済ブロックＦＴＢ３について計算した直流成分をμ１とする。
図１１において、隣り合うフィルタ済ブロックＦＴＢ１～ＦＴＢ３の直流成分μ－１、μ０、μ１は単調に変化しているものとする。
【0027】
図１２は、単調変化する直流成分による交流成分予測を説明する図である。
エンコーダ１０は、フィルタ済ブロックＦＴＢ１の横方向交流成分α０に対する予測値α’０の演算を行う。
隣接するフィルタ済ブロックの直流成分が単調に変化する場合、予測値α’０の演算は、フィルタ済ブロックＦＴＢ１の両隣のフィルタ済ブロックＦＴＢ２、ＦＴＢ３の直流成分μ－１、μ１に基づく輝度勾配μ１－μ－１を利用した演算
によって行うことが出来る。予測値α’０は図１２に示す範囲ｘ１に示され、便宜上、
と表示されている。
特に図１２では、隣り合うフィルタ済ブロックの直流成分μ－１、μ０、μ１は一定の変化割合で変化しており、その場合には上記の式によって完全に予測をすることが出来る。ランプ状（線形）の入力がされたとき、予測値
はα０と完全に一致する。
エンコーダ１０は、フィルタ済ブロックＦＴＢ１の横方向交流成分α０に対する予測値α’０の演算を行う。
隣接するフィルタ済ブロックの直流成分が単調に変化する場合、予測値α’０の演算は、フィルタ済ブロックＦＴＢ１の両隣のフィルタ済ブロックＦＴＢ２、ＦＴＢ３の直流成分μ－１、μ１に基づく輝度勾配μ１－μ－１を利用した演算
特に図１２では、隣り合うフィルタ済ブロックの直流成分μ－１、μ０、μ１は一定の変化割合で変化しており、その場合には上記の式によって完全に予測をすることが出来る。ランプ状（線形）の入力がされたとき、予測値
【0028】
ランプ状（線形）の入力がされたとき、プリフィルタリングを特に考慮すると交流成分αの予測値α’０は
によって得られる。
（２－λ）は、プリフィルタリングの結果を反映するための補正係数である。λは、上記のプリフィルタＦにおけるλである。
プリフィルタＦのλの変化に応じて交流成分αの予測値α’０は変化し、予測値α’０は図１２中の範囲ｘ２で表される。
λ＝１である場合は、プリフィルタリングを考慮しない場合に等しく、図１２中の範囲ｘ１で示される
となる。
λを１から大きくするに応じて補正係数（２－λ）の値が小さくなり、それに伴い範囲ｘ２で表される交流成分が徐々に小さくなる。λ＝２となるとα’０＝０となって交流成分が完全に消滅する。
（２－λ）は、プリフィルタリングの結果を反映するための補正係数である。λは、上記のプリフィルタＦにおけるλである。
プリフィルタＦのλの変化に応じて交流成分αの予測値α’０は変化し、予測値α’０は図１２中の範囲ｘ２で表される。
λ＝１である場合は、プリフィルタリングを考慮しない場合に等しく、図１２中の範囲ｘ１で示される
λを１から大きくするに応じて補正係数（２－λ）の値が小さくなり、それに伴い範囲ｘ２で表される交流成分が徐々に小さくなる。λ＝２となるとα’０＝０となって交流成分が完全に消滅する。
【0029】
また、本実施形態において、予測値の絶対値｜α’0｜が、
θ＝ｍｉｎ（｜μ１－μ０｜，｜μ０－μ－１｜）
を上回る場合、制限された予測値ｓｉｇｎ（α’０）θを代わりに用いることで予測過剰を防ぐことができる。
上記において、制限された予測値ｓｉｇｎ（α’０）θに（２－λ）をかけた値としてもよい。
ｍｉｎ（）は複数の入力のうち小さい方を出力として選択する関数であり、ｓｉｇｎ（）は入力が負である場合に－１を、入力が正である場合に１を出力する符号関数である。
すなわち、予測値α’0の大きさが、μ１とμ０の間の変化量と、μ０とμ－１変化量と、の小さい方の値を上回る場合、上記の小さい方の値に予測値α’0の大きさを抑える。これによって、両隣のフィルタ済ブロックの直流成分μ同士の差分よりも極端に異なる交流成分の予測値α’0が予測されること（予測過剰）を抑える。
θ＝ｍｉｎ（｜μ１－μ０｜，｜μ０－μ－１｜）
を上回る場合、制限された予測値ｓｉｇｎ（α’０）θを代わりに用いることで予測過剰を防ぐことができる。
上記において、制限された予測値ｓｉｇｎ（α’０）θに（２－λ）をかけた値としてもよい。
ｍｉｎ（）は複数の入力のうち小さい方を出力として選択する関数であり、ｓｉｇｎ（）は入力が負である場合に－１を、入力が正である場合に１を出力する符号関数である。
すなわち、予測値α’0の大きさが、μ１とμ０の間の変化量と、μ０とμ－１変化量と、の小さい方の値を上回る場合、上記の小さい方の値に予測値α’0の大きさを抑える。これによって、両隣のフィルタ済ブロックの直流成分μ同士の差分よりも極端に異なる交流成分の予測値α’0が予測されること（予測過剰）を抑える。
【0030】
直流成分μ－１、μ０、μ１が一定の変化割合で変化していなくとも、単調に変化していれば、
隣り合うフィルタ済ブロックＦＴＢ１～ＦＴＢ３の直流成分μ－１、μ０、μ１は単調に変化していない場合には、予測値をゼロとすることが出来る。
あるいは、以下に説明する図１２とは別方式の交流成分予測を行う。
【0031】
【0032】
図１４は、画像曲面における画素輝度列の第１の例を示す図である。
図１４の画像曲面における画素輝度列に設定した各変換ブロックに対してアダマール変換を行うと、図１５に示す直流成分μが単調に変化しないフィルタ済ブロックが得られる。
図１４の画素輝度列（画素値の並び）に対してプリフィルタリングを行うと、線６０で示す輝度列となる。変換ブロックの境界で輝度が大きく変化する部分でプリフィルタリングを行った部分では、フィルタ済ブロックＦＴＢ１、ＦＴＢ２内でオーバーシュートとアンダーシュートによるリンギングが夫々生じた状態となる。
図１４の画像曲面における画素輝度列に設定した各変換ブロックに対してアダマール変換を行うと、図１５に示す直流成分μが単調に変化しないフィルタ済ブロックが得られる。
図１４の画素輝度列（画素値の並び）に対してプリフィルタリングを行うと、線６０で示す輝度列となる。変換ブロックの境界で輝度が大きく変化する部分でプリフィルタリングを行った部分では、フィルタ済ブロックＦＴＢ１、ＦＴＢ２内でオーバーシュートとアンダーシュートによるリンギングが夫々生じた状態となる。
【0033】
図１５は、図１４の場合における交流成分予測方法を説明する図である。
図１４の輝度列にサイズ２のアダマール変換を行った結果、各フィルタ済ブロックＦＴＢに対して図１５に示すような直流成分が得られる。
図１５において、フィルタ済ブロックＦＴＢ１の交流成分を予測する。
予測対象のフィルタ済ブロックＦＴＢ１に対する直流成分の差が大きいフィルタ済ブロックＦＴＢ２と、フィルタ済ブロックＦＴＢ１との直流成分の差をΔ＋とする。
また、フィルタ済ブロックＦＴＢ１に対する直流成分の差が小さいフィルタ済ブロックＦＴＢ３と、フィルタ済ブロックＦＴＢ１との直流成分の差をΔ－とする。
このとき、Δ＋側のオーバーシュート量を計算すると
となり、これを交流成分αの一つの予測値α’0として用いることができる。
一方でΔ－側は、μ１と同じ輝度が続くことを仮定することで、ｐ２＝Δ－もまた、一つの予測値α’0として用いることができる。
図１４の輝度列にサイズ２のアダマール変換を行った結果、各フィルタ済ブロックＦＴＢに対して図１５に示すような直流成分が得られる。
図１５において、フィルタ済ブロックＦＴＢ１の交流成分を予測する。
予測対象のフィルタ済ブロックＦＴＢ１に対する直流成分の差が大きいフィルタ済ブロックＦＴＢ２と、フィルタ済ブロックＦＴＢ１との直流成分の差をΔ＋とする。
また、フィルタ済ブロックＦＴＢ１に対する直流成分の差が小さいフィルタ済ブロックＦＴＢ３と、フィルタ済ブロックＦＴＢ１との直流成分の差をΔ－とする。
このとき、Δ＋側のオーバーシュート量を計算すると
一方でΔ－側は、μ１と同じ輝度が続くことを仮定することで、ｐ２＝Δ－もまた、一つの予測値α’0として用いることができる。
【0034】
図１６は、画像曲面における画素輝度列の第２の例を示す図である。
図１６の画像曲面における画素輝度列に設定した各変換ブロックに対してアダマール変換を行うと、図１７に示す直流成分μが単調に変化しないフィルタ済ブロックが得られる。
図１６の画素輝度列（画素値の並び）に対してプリフィルタリングを行うと、線６１で示す輝度列となる。変換ブロックの境界で輝度が大きく変化する部分でプリフィルタリングを行った部分では、フィルタ済ブロックＦＴＢ１、ＦＴＢ２内でオーバーシュートとアンダーシュートによるリンギングが夫々生じた状態となる。
図１６の画像曲面における画素輝度列に設定した各変換ブロックに対してアダマール変換を行うと、図１７に示す直流成分μが単調に変化しないフィルタ済ブロックが得られる。
図１６の画素輝度列（画素値の並び）に対してプリフィルタリングを行うと、線６１で示す輝度列となる。変換ブロックの境界で輝度が大きく変化する部分でプリフィルタリングを行った部分では、フィルタ済ブロックＦＴＢ１、ＦＴＢ２内でオーバーシュートとアンダーシュートによるリンギングが夫々生じた状態となる。
【0035】
図１７は、図１６の場合における交流成分予測方法を説明する図である。
図１６の輝度列にサイズ２のアダマール変換を行った結果、各フィルタ済ブロックＦＴＢに対して図１７に示すような直流成分が得られる。
図１５と同様に、エンコーダ１０は、フィルタ済ブロックＦＴＢ１の交流成分を予測する。予測対象のフィルタ済ブロックＦＴＢ１に対する直流成分の差が大きいフィルタ済ブロックＦＴＢ２と、フィルタ済ブロックＦＴＢ１との直流成分の差をΔ＋とする。
またフィルタ済ブロックＦＴＢ１に対する直流成分の差が小さいフィルタ済ブロックＦＴＢ３と、フィルタ済ブロックＦＴＢ１との直流成分の差をΔ－とする。
大きな直流成分の差Δ＋と小さな直流成分の差Δ－との差分に基づくオーバーシュート量を計算すると、
となり、これを交流成分αの一つの予測値α’0として用いることができる。
図１６の輝度列にサイズ２のアダマール変換を行った結果、各フィルタ済ブロックＦＴＢに対して図１７に示すような直流成分が得られる。
図１５と同様に、エンコーダ１０は、フィルタ済ブロックＦＴＢ１の交流成分を予測する。予測対象のフィルタ済ブロックＦＴＢ１に対する直流成分の差が大きいフィルタ済ブロックＦＴＢ２と、フィルタ済ブロックＦＴＢ１との直流成分の差をΔ＋とする。
またフィルタ済ブロックＦＴＢ１に対する直流成分の差が小さいフィルタ済ブロックＦＴＢ３と、フィルタ済ブロックＦＴＢ１との直流成分の差をΔ－とする。
大きな直流成分の差Δ＋と小さな直流成分の差Δ－との差分に基づくオーバーシュート量を計算すると、
【0036】
ところで、輝度列が図１４のような状態となっているのか、図１６のような状態となっているのか、判別をすることは容易ではない。
そこでエンコーダ１０は、隣接するフィルタ済ブロックの輝度列がどのような場合であっても、ｐ１、ｐ２、ｐ３のうちの小さい値を選ぶことにより大きく外れた交流成分の値を予測しないようにする。
ｐ１＞ｐ３になることは分かっているため、エンコーダ１０は、図１５で説明したｐ２と、図１７で説明したｐ３の何れか小さい値を用いる。
エンコーダ１０は、
すなわち、
とすることによって、正確な交流成分の予測値α’を得ることができる。
そこでエンコーダ１０は、隣接するフィルタ済ブロックの輝度列がどのような場合であっても、ｐ１、ｐ２、ｐ３のうちの小さい値を選ぶことにより大きく外れた交流成分の値を予測しないようにする。
ｐ１＞ｐ３になることは分かっているため、エンコーダ１０は、図１５で説明したｐ２と、図１７で説明したｐ３の何れか小さい値を用いる。
エンコーダ１０は、
【0037】
図１３乃至図１７では、隣接するフィルタ済ブロックの直流成分μ－１、μ０、μ１のうちμ０が最大になる場合を説明してきた。それに対して、μ０が最小となるケースでは、符号を反転し、
によって交流成分の予測値α’を得ることができる。
この場合のλの値もλ＝５／４とすることが望ましい。
この場合のλの値もλ＝５／４とすることが望ましい。
【0038】
α’０＝α０
とすることが考えられる。
α以外の交流成分β、γについても、αと同じ方法で予測を行うことが出来る。
交流成分予測方式は一例であり、さらに遠くの変換ブロックを参照するなど他の予測方式を用いても構わない。
【0039】
［予測残差の算出と符号化］
エンコーダ１０は、上記の交流成分予測による予測交流成分α’、β’、γ’と、アダマール変換による算出交流成分α、β、γと、の予測残差αｒ、βｒ、γｒを、フィルタ済ブロック毎に以下の式によって夫々算出する。
αｒ＝α－α’
βｒ＝β－β’
γｒ＝γ－γ’
エンコーダ１０は、アダマール変換で算出したフィルタ済ブロック毎の直流成分μと予測残差αｒ、βｒ、γｒとを含め、最終的に｛μ，αｒ，βｒ，γｒ｝を符号化して対象画像の符号化データを完成する。
エンコーダ１０は、上記の交流成分予測による予測交流成分α’、β’、γ’と、アダマール変換による算出交流成分α、β、γと、の予測残差αｒ、βｒ、γｒを、フィルタ済ブロック毎に以下の式によって夫々算出する。
αｒ＝α－α’
βｒ＝β－β’
γｒ＝γ－γ’
エンコーダ１０は、アダマール変換で算出したフィルタ済ブロック毎の直流成分μと予測残差αｒ、βｒ、γｒとを含め、最終的に｛μ，αｒ，βｒ，γｒ｝を符号化して対象画像の符号化データを完成する。
【0040】
符号量を削減するために｛μ，αｒ，βｒ，γｒ｝を適当な量子幅で量子化してもよい。デッドゾーンを採用するなど、量子化幅は一様でなくても構わない。ハフマン符号化や算術符号化等で最終的な符号を決定する。
予測残差αｒ、βｒ、γｒにおける正負符号の出現頻度は同じであると期待される。従って、正負符号を固定長の符号１ビットで符号化するとエントロピー符号化の処理や符号長が短くなりシステムが小さくなり、ハフマン符号長などの統計の記述も少なく済み好適である。その場合、零の出現頻度が高いことも期待されるため、零に対して正負の符号を割り当てないことで、符号量を削減することもできる。これらの統計的な仮定が期待できない特殊なケース等では正負符号を固定符号で記述することや、零の正負符号の割り当てないことをせずとも良い。
予測残差αｒ、βｒ、γｒにおける正負符号の出現頻度は同じであると期待される。従って、正負符号を固定長の符号１ビットで符号化するとエントロピー符号化の処理や符号長が短くなりシステムが小さくなり、ハフマン符号長などの統計の記述も少なく済み好適である。その場合、零の出現頻度が高いことも期待されるため、零に対して正負の符号を割り当てないことで、符号量を削減することもできる。これらの統計的な仮定が期待できない特殊なケース等では正負符号を固定符号で記述することや、零の正負符号の割り当てないことをせずとも良い。
【0041】
交流成分予測に用いる直流成分μは量子化による歪みを受けた値を用いてもよい。この場合、デコーダ３０は量子化歪みを受ける前の直流成分μを再現することが出来ない。従って、エンコーダ３０における直流成分μを用いた交流成分の予測値をデコーダ３０で完全に再現することは不可能である。
それに対して、直流成分μに対しデコーダで再現される歪みと同じ歪みを与えておけばエンコーダ１０とデコーダ３０で予測値は一致する。これによって、交流成分の予測残差の精度が上がりデコーダで再現される交流成分の精度を向上させることが出来る。
それに対して、直流成分μに対しデコーダで再現される歪みと同じ歪みを与えておけばエンコーダ１０とデコーダ３０で予測値は一致する。これによって、交流成分の予測残差の精度が上がりデコーダで再現される交流成分の精度を向上させることが出来る。
【0042】
｛μ，αｒ，βｒ，γｒ｝に含まれるフィルタ済ブロックの直流成分μについては、別の方法で符号化をすることが出来る。
直流成分は変換ブロックの画素値の平均値であり、直流成分を変換ブロックＴＢに含まれる各画素の輝度値とみなすことが出来る。
エンコーダ１０は、変換ブロックＴＢに対する上記のプリフィルタリング、アダマール変換、交流成分予測を繰り返し実行する。そして、これらの処理で得られたフィルタ済ブロックの直流成分、交流成分、交流成分予測値を、上記の説明における直流成分μの代わりに符号化することも出来る（階層的符号化）。
この場合に交流成分予測を行うために利用する直流成分としてデコーダで得られる（再現出来る）値を用いるには、直流成分μのみプリフィルタリングとアダマール変換を繰り返し行い、デコーダでは最終的に到達した階層から順にデコード値を再現していく必要がある。
直流成分は変換ブロックの画素値の平均値であり、直流成分を変換ブロックＴＢに含まれる各画素の輝度値とみなすことが出来る。
エンコーダ１０は、変換ブロックＴＢに対する上記のプリフィルタリング、アダマール変換、交流成分予測を繰り返し実行する。そして、これらの処理で得られたフィルタ済ブロックの直流成分、交流成分、交流成分予測値を、上記の説明における直流成分μの代わりに符号化することも出来る（階層的符号化）。
この場合に交流成分予測を行うために利用する直流成分としてデコーダで得られる（再現出来る）値を用いるには、直流成分μのみプリフィルタリングとアダマール変換を繰り返し行い、デコーダでは最終的に到達した階層から順にデコード値を再現していく必要がある。
【0043】
階層的符号化を行う場合、深い層から浅い層に推移するに従って交流成分が順次減少する。従って量子化などで交流成分が零になった場合、浅い層でも交流成分が零とすると効率的である。そのため、浅い層に交流成分が存在するかどうかのシンボルを設けて符号化することで、仮に浅い層に交流成分が無い場合に交流成分を符号化する必要が無く符号量を削減することができる。
【0044】
直流成分に対して繰り返して階層的に符号化を行う場合も直流成分が最後まで残り、これを符号化する必要がある。輝度の平均値である直流成分はなだらかに変化することが期待されるため、差分パルス符号変調（DPCM：Differential Pulse-Code Modulation）などで予測残差を符号化すると効率が良い。例えば、上や左等の隣の画素の差分をとったり、上と左の画素の平均値等で予測したりすることが出来る。予測残差は、交流成分の予測残差αｒ、βｒ、γｒの場合と同様に、量子化やその際のデッドゾーン、予測された例に挙げたような方式の予測を採用して残差を符号化する場合、正と負の出現頻度が同一になることが期待される。交流成分の予測残差と同様に、正負符号は１ビットの固定符号で符号化し、零の符号部は割り当てないなどとすることが出来る。
【0045】
以上がエンコーダ１０による対象画像の符号化の説明である。デコーダ３０は、エンコーダ１０によって生成された対象画像の符号化データを、上記の説明とは逆の手順で復元する。
［復号］
デコーダ３０は、符号化データに含まれる符号化済みの直流成分μを復号し、復号された直流成分μを得る。
階層的に符号化されている場合、まず一番深い層のμを復号する。ＤＰＣＭ等で予測差分を符号化している場合には、デコーダ３０側でもエンコーダ１０側と全く同じ予測を行い、予測値に予測差分を加算することで直流成分μが復元される。
［復号］
デコーダ３０は、符号化データに含まれる符号化済みの直流成分μを復号し、復号された直流成分μを得る。
階層的に符号化されている場合、まず一番深い層のμを復号する。ＤＰＣＭ等で予測差分を符号化している場合には、デコーダ３０側でもエンコーダ１０側と全く同じ予測を行い、予測値に予測差分を加算することで直流成分μが復元される。
【0046】
［交流成分予測］
デコーダ３０は、復号された直流成分μを用いて交流成分予測を行う。
デコーダ３０による交流成分予測の方法は、上記に説明したエンコーダ１０による交流成分予測と同じであってよい。
さらにデコーダ３０は、交流成分予測の予測値α’、β’、γ’に、符号化データに含まれる符号化済みの予測残差αｒ、βｒ、γｒを加算することで交流成分α、β、γを以下の式によって夫々算出（復元）する。
αｒ＋α’＝α
βｒ＋β’＝β
γｒ＋γ’＝γ
［周波数逆変換］
デコーダ３０は、周波数成分μ、α、β、γに対し逆アダマール変換を行って画素データを復元する。各周波数成分μ、α、β、γに対し逆アダマール変換を行う。
デコーダ３０は、復号された直流成分μを用いて交流成分予測を行う。
デコーダ３０による交流成分予測の方法は、上記に説明したエンコーダ１０による交流成分予測と同じであってよい。
さらにデコーダ３０は、交流成分予測の予測値α’、β’、γ’に、符号化データに含まれる符号化済みの予測残差αｒ、βｒ、γｒを加算することで交流成分α、β、γを以下の式によって夫々算出（復元）する。
αｒ＋α’＝α
βｒ＋β’＝β
γｒ＋γ’＝γ
［周波数逆変換］
デコーダ３０は、周波数成分μ、α、β、γに対し逆アダマール変換を行って画素データを復元する。各周波数成分μ、α、β、γに対し逆アダマール変換を行う。
【0047】
［ポストフィルタリング］
デコーダ３０は、復元した画素データにポストフィルタＦ－１を追加してポストフィルタリングを行い、画素値を復元する。
ポストフィルタＦ－１の適用位置は、エンコーダにおけるフィルタブロックに相当するブロックであり、このブロック単位で適用する。
ポストフィルタＦ－１はプリフィルタＦの逆変換であり、プリフィルタＦとは逆の特性を有する。従って、デコーダ３０は、ポストフィルタリングによって、エンコーダによるプリフィルタの影響を打消して、画像を復元することが出来る。
ポストフィルタＦ－１は、
であり、プリフィルタＦの逆行列となっている。
上記ポストフィルタＦ－１は、左右の行列を乗算した結果、
と表すことも出来る。
デコーダ３０は、復元した画素データにポストフィルタＦ－１を追加してポストフィルタリングを行い、画素値を復元する。
ポストフィルタＦ－１の適用位置は、エンコーダにおけるフィルタブロックに相当するブロックであり、このブロック単位で適用する。
ポストフィルタＦ－１はプリフィルタＦの逆変換であり、プリフィルタＦとは逆の特性を有する。従って、デコーダ３０は、ポストフィルタリングによって、エンコーダによるプリフィルタの影響を打消して、画像を復元することが出来る。
ポストフィルタＦ－１は、
上記ポストフィルタＦ－１は、左右の行列を乗算した結果、
【0048】
ポストフィルタＦ－１は、プリフィルタＦと同様に、アダマール行列と逆アダマール行列を使って
と変形することが出来るため、アダマール変換を利用して計算を行うことも出来る。
【0049】
ポストフィルタリングでは、ポストフィルタＦ－１によって直接的に演算を行っても、Ｆ－１を変形してアダマール変換を利用しても良い。
ポストフィルタＦ－１は加重平均の一種であり、高周波成分を減衰させる効果があるため、変換ブロックの境界でブロックノイズが生じても、平滑化をして影響を軽減できる。
ポストフィルタリングによる画素値復元後、さらに浅い階層が存在する場合には、復元されたデータをμと見なして繰り返し処理を行うことで最終的な画像を得る。
上記の説明は静止画の圧縮に関するものであるが、動画像圧縮の一要素としても活用しても良い。
上記の説明において、エンコーダ１０によるプリフィルタリングやアダマール変換、交流成分予測は、夫々別のステップとして説明した。しかし、これに限らず、エンコーダ１０において、これらを合成した同等の計算ができる係数列やウェーブレットを用いて実装しても良い。
デコーダ３０による交流成分予測、逆アダマール変換、ポストフィルタリングについても同様であり、デコーダ３０において、これらを合成した同等の計算ができる係数列やウェーブレットを用いて実装しても良い。
ポストフィルタＦ－１は加重平均の一種であり、高周波成分を減衰させる効果があるため、変換ブロックの境界でブロックノイズが生じても、平滑化をして影響を軽減できる。
ポストフィルタリングによる画素値復元後、さらに浅い階層が存在する場合には、復元されたデータをμと見なして繰り返し処理を行うことで最終的な画像を得る。
上記の説明は静止画の圧縮に関するものであるが、動画像圧縮の一要素としても活用しても良い。
上記の説明において、エンコーダ１０によるプリフィルタリングやアダマール変換、交流成分予測は、夫々別のステップとして説明した。しかし、これに限らず、エンコーダ１０において、これらを合成した同等の計算ができる係数列やウェーブレットを用いて実装しても良い。
デコーダ３０による交流成分予測、逆アダマール変換、ポストフィルタリングについても同様であり、デコーダ３０において、これらを合成した同等の計算ができる係数列やウェーブレットを用いて実装しても良い。
【0050】
図１８は、係数が異なるプリフィルタを示す図である。
図１８に示す周波数特性曲線は、特にプリフィルタ（ハイパスフィルタ）Ｈ０の周波数応答を示す。プリフィルタＨ０において、λ＝５／４とした場合、フィルタの係数をλ＝１とした場合に比べてλの作用により高周波領域が強調されている。さらにλ＝２の場合には、上記にも触れたが、交流成分予測の補正係数（上記したλ－２）が０となり、すべての線形成分
は低域に変換され、高域の符号量の減少が期待できる。しかし、１≦λ≦５／４の制約を超えると、直流以外の特定周波数領域（高周波領域）が強調されすぎるという問題がある。図１８のグラフによれば、プリフィルタにおけるλの値が１以上であって上限５／４、すなわち１≦λ≦５／４を満たすことが最適である。
図１８に示す周波数特性曲線は、特にプリフィルタ（ハイパスフィルタ）Ｈ０の周波数応答を示す。プリフィルタＨ０において、λ＝５／４とした場合、フィルタの係数をλ＝１とした場合に比べてλの作用により高周波領域が強調されている。さらにλ＝２の場合には、上記にも触れたが、交流成分予測の補正係数（上記したλ－２）が０となり、すべての線形成分
【0051】
なお、本実施形態では、エンコーダ１０、デコーダ３０で行う周波数変換として特にサイズ２のアダマール変換及び逆アダマール変換を用いているが、サイズが２よりも大きいアダマール変換、ＤＣＴ、及びフーリエ変換など他の周波数変換を用いてもよい。
例えば、変換ブロックＴＢを４×４画素（サイズ４）で構成したサイズ４のアダマール変換を用いる場合には、４×４画素のフィルタブロックＦＢを変換ブロックＴＢと互い違いに配置する。一例として、フィルタブロックＦＢは、変換ブロックＴＢの中心に４つのフィルタブロックＦＢの角が位置する様に配置されてもよい。
エンコーダ１０は、変換ブロックＴＢの境界における高周波成分を強調するようにフィルタの係数λを設定したプリフィルタＦを用いてプリフィルタリングを実行する。エンコーダ１０は、プリフィルタリング後の変換ブロック内の画素を用いたサイズ４のアダマール変換を実行する。また、エンコーダ１０は、各交流成分について交流成分予測を行う。さらに、エンコーダ１０は、アダマール変換で得られた算出交流成分（α、β、γ）と、交流成分予測で得られた予測交流成分値（α’、β’、γ’）とを用いて、各交流成分の予測残差（αｒ、βｒ、γｒ）を求める。そして、エンコーダ１０は、直流成分μと予測残差とを符号化する。
デコーダ３０は、符号化された直流成分μと予測残差とを復号する。デコーダ３０は、直流成分μを用いて交流成分予測をする。デコーダ３０は、交流成分予測で得られた予測交流成分値と予測残差とを用いて算出交流成分を得る。また、デコーダ３０は、アダマール変換の結果に対して逆アダマール変換を実行する。そして、デコーダ３０は、逆アダマール変換により復元した画素データに対して、エンコーダ１０によるプリフィルタリングの影響を打ち消すようにフィルタの係数λを設定したポストフィルタＦ－１を用いてポストフィルタリングを実行する。
例えば、変換ブロックＴＢを４×４画素（サイズ４）で構成したサイズ４のアダマール変換を用いる場合には、４×４画素のフィルタブロックＦＢを変換ブロックＴＢと互い違いに配置する。一例として、フィルタブロックＦＢは、変換ブロックＴＢの中心に４つのフィルタブロックＦＢの角が位置する様に配置されてもよい。
エンコーダ１０は、変換ブロックＴＢの境界における高周波成分を強調するようにフィルタの係数λを設定したプリフィルタＦを用いてプリフィルタリングを実行する。エンコーダ１０は、プリフィルタリング後の変換ブロック内の画素を用いたサイズ４のアダマール変換を実行する。また、エンコーダ１０は、各交流成分について交流成分予測を行う。さらに、エンコーダ１０は、アダマール変換で得られた算出交流成分（α、β、γ）と、交流成分予測で得られた予測交流成分値（α’、β’、γ’）とを用いて、各交流成分の予測残差（αｒ、βｒ、γｒ）を求める。そして、エンコーダ１０は、直流成分μと予測残差とを符号化する。
デコーダ３０は、符号化された直流成分μと予測残差とを復号する。デコーダ３０は、直流成分μを用いて交流成分予測をする。デコーダ３０は、交流成分予測で得られた予測交流成分値と予測残差とを用いて算出交流成分を得る。また、デコーダ３０は、アダマール変換の結果に対して逆アダマール変換を実行する。そして、デコーダ３０は、逆アダマール変換により復元した画素データに対して、エンコーダ１０によるプリフィルタリングの影響を打ち消すようにフィルタの係数λを設定したポストフィルタＦ－１を用いてポストフィルタリングを実行する。
【0052】
サイズ４のアダマール変換自体は、特許文献２に開示されるような従来知られるものと同じであるため、本実施形態において詳しい説明は行っていない。サイズ４の逆アダマール変換は、サイズ４のアダマール変換の逆の処理をすればよい。
また、変換ブロックを８×８画素（サイズ８）とした場合には、サイズ４のアダマール変換を用いる場合の処理において、４×４を８×８に読み替えた処理をすればよい。
サイズ４のアダマール変換、及びその他の周波数変換を用いる場合であっても、交流成分予測において、本実施形態で説明した単調性／非単調性を考慮した予測を行い、オーバーシュート・アンダーシュート対策をしてもよい。また、サイズ４のアダマール変換、及びその他の周波数変換を用いる場合であっても、本実施形態においてサイズ２のアダマール変換を例に説明した各種処理を、適宜適用してもよい。
また、変換ブロックを８×８画素（サイズ８）とした場合には、サイズ４のアダマール変換を用いる場合の処理において、４×４を８×８に読み替えた処理をすればよい。
サイズ４のアダマール変換、及びその他の周波数変換を用いる場合であっても、交流成分予測において、本実施形態で説明した単調性／非単調性を考慮した予測を行い、オーバーシュート・アンダーシュート対策をしてもよい。また、サイズ４のアダマール変換、及びその他の周波数変換を用いる場合であっても、本実施形態においてサイズ２のアダマール変換を例に説明した各種処理を、適宜適用してもよい。
【0053】
しかし以下の理由から、サイズ２のアダマール変換を用いることが好適である。すなわち、サイズ２のアダマール変換は次数が低く、直流成分に高周波成分の情報が多く残っているため、直流成分を用いた交流成分予測の予測精度が高い。したがって、アダマール変換に交流成分予測を用いることで、高周波成分の情報を効果的に削減して圧縮率を高めることが出来る。
交流成分予測を用いるとリンギング歪みが発生するが、交流成分予測値に対する閾値処理を用いてその歪みを緩和することが可能である。これに対して、次数が高い他の周波数変換では、直流成分を用いた交流成分予測の精度が低いため交流成分予測の効果が小さい。それに加え、次数の高さに起因して発生するリンギング歪みは除去が困難である。
以上のとおり、他の周波数変換を用いることには、交流成分予測の効果が小さいこと、及び除去が困難なリンギング歪みを発生させるという問題があり、そのような問題がないアダマール変換を用いることがより好適である。
交流成分予測を用いるとリンギング歪みが発生するが、交流成分予測値に対する閾値処理を用いてその歪みを緩和することが可能である。これに対して、次数が高い他の周波数変換では、直流成分を用いた交流成分予測の精度が低いため交流成分予測の効果が小さい。それに加え、次数の高さに起因して発生するリンギング歪みは除去が困難である。
以上のとおり、他の周波数変換を用いることには、交流成分予測の効果が小さいこと、及び除去が困難なリンギング歪みを発生させるという問題があり、そのような問題がないアダマール変換を用いることがより好適である。
【0054】
図１９は、エンコーダが実行する符号化処理を説明するフローチャートである。
エンコーダ１０（プリフィルタ部２１）は、ステップＳ１０１において、対象画像に対してプリフィルタリングを行う。
エンコーダ１０（周波数変換部２２）は、ステップＳ１０２において、プリフィルタ後の変換ブロックに対して後述するアダマール変換を行い、変換ブロックにおける直流成分μ、交流成分α、β、γを算出する。
エンコーダ１０（第１交流成分予測部２３）は、ステップＳ１０３において、対象となる変換ブロックの交流成分を予測する。エンコーダ１０は、対象となる変換ブロックの両隣のブロックの直流成分μに基づいて対象となる変換ブロックの交流成分予測を行い、交流成分α’、β’、γ’を予測する。
エンコーダ１０（残差算出部２４）は、ステップＳ１０４において、算出交流成分α、β、γと予測交流成分値α’、β’、γ’との差分を夫々計算し、予測残差αｒ、βｒ、γｒを算出する。
エンコーダ１０（符号化部２５）は、ステップＳ１０５において、直流成分μ、予測残差αｒ、βｒ、γｒを符号化し、符号化データを生成する。
エンコーダ１０（プリフィルタ部２１）は、ステップＳ１０１において、対象画像に対してプリフィルタリングを行う。
エンコーダ１０（周波数変換部２２）は、ステップＳ１０２において、プリフィルタ後の変換ブロックに対して後述するアダマール変換を行い、変換ブロックにおける直流成分μ、交流成分α、β、γを算出する。
エンコーダ１０（第１交流成分予測部２３）は、ステップＳ１０３において、対象となる変換ブロックの交流成分を予測する。エンコーダ１０は、対象となる変換ブロックの両隣のブロックの直流成分μに基づいて対象となる変換ブロックの交流成分予測を行い、交流成分α’、β’、γ’を予測する。
エンコーダ１０（残差算出部２４）は、ステップＳ１０４において、算出交流成分α、β、γと予測交流成分値α’、β’、γ’との差分を夫々計算し、予測残差αｒ、βｒ、γｒを算出する。
エンコーダ１０（符号化部２５）は、ステップＳ１０５において、直流成分μ、予測残差αｒ、βｒ、γｒを符号化し、符号化データを生成する。
【0055】
図２０は、デコーダが実行する復号処理を説明するフローチャートである。
デコーダ３０（復号部４５）は、ステップＳ２０１において、符号化データから直流成分μ、予測残差αｒ、βｒ、γｒを復号する。
デコーダ３０（第２交流成分予測部４４）は、ステップＳ２０２において、対象となる変換ブロックの交流成分を予測する。デコーダ３０は、対象となる変換ブロックの両隣のブロックの直流成分μに基づいて対象となる変換ブロックの交流成分予測を行い、交流成分α’、β’、γ’を予測する。
デコーダ３０（残差加算部４３）は、ステップＳ２０３において、予測交流成分α’、β’、γ’に、予測残差αｒ、βｒ、γｒを夫々加算し、交流成分α、β、γを夫々算出する。
デコーダ３０（周波数逆変換部４２）は、ステップＳ２０４において、直流成分μ、算出交流成分α、β、γに対して逆アダマール変換を行い、画素データ（変換ブロック）を復元する。
デコーダ３０（ポストフィルタ部４１）は、ステップＳ２０５において、画素データに対してポストフィルタリングを行う。
デコーダ３０（復号部４５）は、ステップＳ２０１において、符号化データから直流成分μ、予測残差αｒ、βｒ、γｒを復号する。
デコーダ３０（第２交流成分予測部４４）は、ステップＳ２０２において、対象となる変換ブロックの交流成分を予測する。デコーダ３０は、対象となる変換ブロックの両隣のブロックの直流成分μに基づいて対象となる変換ブロックの交流成分予測を行い、交流成分α’、β’、γ’を予測する。
デコーダ３０（残差加算部４３）は、ステップＳ２０３において、予測交流成分α’、β’、γ’に、予測残差αｒ、βｒ、γｒを夫々加算し、交流成分α、β、γを夫々算出する。
デコーダ３０（周波数逆変換部４２）は、ステップＳ２０４において、直流成分μ、算出交流成分α、β、γに対して逆アダマール変換を行い、画素データ（変換ブロック）を復元する。
デコーダ３０（ポストフィルタ部４１）は、ステップＳ２０５において、画素データに対してポストフィルタリングを行う。
【0056】
図２１、図２２は、コーデックの静止画に対する性能曲線の測定例を示す図である。
図２１、図２２は、夫々１枚の画像に対してパラメータを変えて圧縮した実験結果を示している。図中縦軸はＰＳＮＲであり、値が大きいほど歪みが少なく性能が優れていることを示す。また図中横軸は圧縮率であり、値が小さいほど元データに対して少ない符号量でデータを記述でき、性能が優れていることを示す。
総じてグラフの左上にデータがプロットされているほど優れたコーデックである。（ａ）に示すｈａｃｐのグラフは本実施形態に係る実験結果、（ｂ）に示すｒａｃｐのグラフは、従来のアダマール変換及び交流成分予測に係る実験結果、（ｃ）に示すグラフｊ２ｋ（ｆｌｏａｔ）は、ＪＰＥＧ２０００（ｆｌｏａｔモード）の実験結果に係る実験結果を示している。図２１、図２２に示すように、本実施形態の方法によれば、従来方式や既存のコーデックに比べて優れた結果が得られた。
本実施形態によれば、少ない符号量によって圧縮率を高めながら画像を高品質に符号化可能な周波数変換を実現することが出来た。
図２１、図２２は、夫々１枚の画像に対してパラメータを変えて圧縮した実験結果を示している。図中縦軸はＰＳＮＲであり、値が大きいほど歪みが少なく性能が優れていることを示す。また図中横軸は圧縮率であり、値が小さいほど元データに対して少ない符号量でデータを記述でき、性能が優れていることを示す。
総じてグラフの左上にデータがプロットされているほど優れたコーデックである。（ａ）に示すｈａｃｐのグラフは本実施形態に係る実験結果、（ｂ）に示すｒａｃｐのグラフは、従来のアダマール変換及び交流成分予測に係る実験結果、（ｃ）に示すグラフｊ２ｋ（ｆｌｏａｔ）は、ＪＰＥＧ２０００（ｆｌｏａｔモード）の実験結果に係る実験結果を示している。図２１、図２２に示すように、本実施形態の方法によれば、従来方式や既存のコーデックに比べて優れた結果が得られた。
本実施形態によれば、少ない符号量によって圧縮率を高めながら画像を高品質に符号化可能な周波数変換を実現することが出来た。
【0057】
図２３は、コンピュータ装置の一実施例を示すブロック図である。
図２３を参照して、コンピュータ装置１００の構成について説明する。
コンピュータ装置１００は、例えば、各種情報を処理する画像処理装置である。そして、コンピュータ装置１００は、制御回路１０１と、記憶装置１０２と、読書装置１０３と、記録媒体１０４と、通信インターフェイス１０５と、入出力インターフェイス１０６と、入力装置１０７と、表示装置１０８とを含む。また、通信インターフェイス１０５は、ネットワーク２００と接続される。そして、各構成要素は、バス１１０により接続される。
画像処理装置１０、画像処理装置３０は、コンピュータ装置１００に記載の構成要素の一部又は全てを適宜選択して構成することができる。
図２３を参照して、コンピュータ装置１００の構成について説明する。
コンピュータ装置１００は、例えば、各種情報を処理する画像処理装置である。そして、コンピュータ装置１００は、制御回路１０１と、記憶装置１０２と、読書装置１０３と、記録媒体１０４と、通信インターフェイス１０５と、入出力インターフェイス１０６と、入力装置１０７と、表示装置１０８とを含む。また、通信インターフェイス１０５は、ネットワーク２００と接続される。そして、各構成要素は、バス１１０により接続される。
画像処理装置１０、画像処理装置３０は、コンピュータ装置１００に記載の構成要素の一部又は全てを適宜選択して構成することができる。
【0058】
制御回路１０１は、コンピュータ装置１００全体の制御をする。制御回路１０１は、例えば、Central Processing Unit（ＣＰＵ）、Field Programmable Gate Array（ＦＰＧＡ）、Application Specific Integrated Circuit（ＡＳＩＣ）及びProgrammable Logic Device（ＰＬＤ）などのプロセッサである。制御回路１０１は、例えば、図２における制御部１０、図３における制御部３０として機能する。
【0059】
記憶装置１０２は、各種データを記憶する。そして、記憶装置１０２は、例えば、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）などのメモリや、Hard Disk（ＨＤ）、Solid State Drive（ＳＳＤ）などである。記憶装置１０２は、制御回路１０１を、図２における制御部１０、図３における制御部３０として機能させる画像処理プログラムを記憶してもよい。記憶装置１０２は、例えば、図２における記憶部１２、図３における記憶部３２として機能する。
【0060】
画像処理装置１０、画像処理装置３０は、画像処理を行うとき、記憶装置１０２に記憶されたプログラムをＲＡＭに読み出す。
画像処理装置１０は、ＲＡＭに読み出されたプログラムを制御回路１０１で実行することにより、受付処理、プリフィルタ処理、周波数変換処理、交流成分予測処理、残差算出処理、符号化処理、出力処理の何れか１以上を含む処理を実行する。
画像処理装置３０は、ＲＡＭに読み出されたプログラムを制御回路１０１で実行することにより、受付処理、ポストフィルタ処理、周波数逆変換処理、交流成分予測処理、残差加算処理、復号処理、出力処理の何れか１以上を含む処理を実行する。
なお、プログラムは、制御回路１０１が通信インターフェイス１０５を介してアクセス可能であれば、ネットワーク２００上のサーバが有する記憶装置に記憶されていても良い。
画像処理装置１０は、ＲＡＭに読み出されたプログラムを制御回路１０１で実行することにより、受付処理、プリフィルタ処理、周波数変換処理、交流成分予測処理、残差算出処理、符号化処理、出力処理の何れか１以上を含む処理を実行する。
画像処理装置３０は、ＲＡＭに読み出されたプログラムを制御回路１０１で実行することにより、受付処理、ポストフィルタ処理、周波数逆変換処理、交流成分予測処理、残差加算処理、復号処理、出力処理の何れか１以上を含む処理を実行する。
なお、プログラムは、制御回路１０１が通信インターフェイス１０５を介してアクセス可能であれば、ネットワーク２００上のサーバが有する記憶装置に記憶されていても良い。
【0061】
読書装置１０３は、制御回路１０１に制御され、着脱可能な記録媒体１０４のデータのリード／ライトを行なう。
記録媒体１０４は、各種データを保存する。記録媒体１０４は、例えば、画像処理プログラムを記憶する。記録媒体１０４は、例えば、Secure Digital（ＳＤ）メモリーカード、Floppy Disk（ＦＤ）、Compact Disc（ＣＤ）、Digital Versatile Disk（ＤＶＤ）、Blu-ray（登録商標） Disk（ＢＤ）、及びフラッシュメモリなどの不揮発性メモリ（非一時的記録媒体）である。
記録媒体１０４は、各種データを保存する。記録媒体１０４は、例えば、画像処理プログラムを記憶する。記録媒体１０４は、例えば、Secure Digital（ＳＤ）メモリーカード、Floppy Disk（ＦＤ）、Compact Disc（ＣＤ）、Digital Versatile Disk（ＤＶＤ）、Blu-ray（登録商標） Disk（ＢＤ）、及びフラッシュメモリなどの不揮発性メモリ（非一時的記録媒体）である。
【0062】
通信インターフェイス１０５は、ネットワーク２００を介してコンピュータ装置１００と他の装置とを通信可能に接続する。通信インターフェイス１０５は、例えば、図２における通信部１３、図３における通信部３３として機能する。
入出力インターフェイス１０６は、例えば、各種入力装置と着脱可能に接続するインターフェイスである。入出力インターフェイス１０６と接続される入力装置１０７には、例えば、キーボード、及びマウスなどがある。入出力インターフェイス１０６は、接続された各種入力装置とコンピュータ装置１００とを通信可能に接続する。そして、入出力インターフェイス１０６は、接続された各種入力装置から入力された信号を、バス１１０を介して制御回路１０１に出力する。また、入出力インターフェイス１０６は、制御回路１０１から出力された信号を、バス１１０を介して入出力装置に出力する。入出力インターフェイス１０６は、例えば、図２における入力部１４、図３における入力部３４として機能する。
入出力インターフェイス１０６は、例えば、各種入力装置と着脱可能に接続するインターフェイスである。入出力インターフェイス１０６と接続される入力装置１０７には、例えば、キーボード、及びマウスなどがある。入出力インターフェイス１０６は、接続された各種入力装置とコンピュータ装置１００とを通信可能に接続する。そして、入出力インターフェイス１０６は、接続された各種入力装置から入力された信号を、バス１１０を介して制御回路１０１に出力する。また、入出力インターフェイス１０６は、制御回路１０１から出力された信号を、バス１１０を介して入出力装置に出力する。入出力インターフェイス１０６は、例えば、図２における入力部１４、図３における入力部３４として機能する。
【0063】
表示装置１０８は、各種情報を表示する。表示装置１０８は、例えば、例えばＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、およびＯＥＬＤ（Organic Electroluminescence Display）などである。ネットワーク２００は、例えば、ＬＡＮ、無線通信、Ｐ２Ｐネットワーク、又はインターネットなどであり、コンピュータ装置１００と他の装置を通信接続する。
なお、本実施形態は、以上に述べた実施形態に限定されるものではなく、本実施形態の要旨を逸脱しない範囲内で種々の構成又は実施形態を取ることができる。
なお、本実施形態は、以上に述べた実施形態に限定されるものではなく、本実施形態の要旨を逸脱しない範囲内で種々の構成又は実施形態を取ることができる。
【符号の説明】
【0064】
１ 画像処理システム、１０ 画像処理装置（エンコーダ）、３０ 画像処理装置（デコーダ）、１００ コンピュータ装置、１０１ 制御回路、１０２ 記憶装置、１０３ 読書装置、１０４ 記録媒体、１０５ 通信インターフェイス、１０６ 入出力インターフェイス、１０７ 入力装置、１０８ 表示装置、１１０ バス、２００ ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】