IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社アクセルの特許一覧

特開2024-5850画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム
<>
  • 特開-画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム 図1
  • 特開-画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム 図2
  • 特開-画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム 図3
  • 特開-画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム 図4
  • 特開-画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム 図5
  • 特開-画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム 図6
  • 特開-画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム 図7
  • 特開-画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム 図8
  • 特開-画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024005850
(43)【公開日】2024-01-17
(54)【発明の名称】画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム
(51)【国際特許分類】
   H04N 19/61 20140101AFI20240110BHJP
   H04N 19/50 20140101ALI20240110BHJP
   H04N 1/41 20060101ALI20240110BHJP
【FI】
H04N19/61
H04N19/50
H04N1/41
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022106264
(22)【出願日】2022-06-30
(71)【出願人】
【識別番号】398034168
【氏名又は名称】株式会社アクセル
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】小島 悠貴
【テーマコード(参考)】
5C159
5C178
【Fターム(参考)】
5C159LC09
5C159MA21
5C159MA22
5C159MC32
5C159MC34
5C159MC35
5C159TB08
5C159TC03
5C159TC04
5C159TC42
5C159TD01
5C159TD06
5C159TD07
5C159TD15
5C159UA02
5C159UA05
5C178AC07
5C178BC66
5C178BC90
5C178CC55
5C178DC79
5C178EC51
(57)【要約】
【課題】画像の輝度値の予測精度を高めることができるようにする。
【解決手段】エンコーダ10において、所定の画像中のブロックについての特徴情報と、特徴情報に対応するブロックに対する輝度の交流成分の予測残差を調整する予測調整量を特定可能な予測調整量特定情報と、を対応付けて記憶する予測調整量テーブル21と、対象画像中の対象ブロックについての特徴情報を特定する特徴情報特定部15と、特徴情報特定部15により特定された特徴情報に対応する予測調整量を予測調整量テーブル21の予測調整量特定情報から特定する調整量特定部16と、を備えるようにし、特徴情報は、ブロックと隣接する複数のブロックの一部分である部分ブロックとの輝度の直流成分に関する関係を示すパターンである。
【選択図】図1
【特許請求の範囲】
【請求項1】
所定の画像中のブロックについての特徴情報と、特徴情報に対応するブロックに対する輝度の交流成分の予測残差を調整する予測調整量を特定可能な予測調整量特定情報と、を対応付けて記憶する調整量記憶部と、
対象画像中の対象ブロックについての特徴情報を特定する特徴情報特定部と、
前記特徴情報特定部により特定された特徴情報に対応する予測調整量を前記調整量記憶部の前記予測調整量特定情報から特定する調整量特定部と、
を備え、
前記特徴情報は、前記ブロックと、隣接する複数のブロック内の一部分である部分ブロックとの輝度の直流成分に関する関係を示すパターンである
画像処理装置。
【請求項2】
所定の画像中のブロックについての特徴情報と、特徴情報に対応するブロックに対する斜め方向の輝度の交流成分の予測残差を調整する予測調整量を特定可能な予測調整量特定情報と、を対応付けて記憶する調整量記憶部と、
対象画像中の対象ブロックについての特徴情報を特定する特徴情報特定部と、
前記特徴情報特定部により特定された特徴情報に対応する予測調整量を前記調整量記憶部の前記予測調整量特定情報から特定する調整量特定部と、
を備え、
前記特徴情報は、前記ブロックと、前記ブロックの縦方向及び横方向の隣接する4つのブロックと、の輝度の直流成分に関する関係を示すパターンである
画像処理装置。
【請求項3】
前記特徴情報は、前記ブロックと、前記4つのブロックのそれぞれの一部分である部分ブロックとの輝度の直流成分に関する関係を示すパターンである
請求項2に記載の画像処理装置。
【請求項4】
前記特徴情報特定部は、前記部分ブロックの輝度の直流成分の値を把握できている場合には、その直流成分の値を用いて前記パターンの要素を算出し、前記部分ブロックの輝度の直流成分の値を把握できていない場合には、前記部分ブロックを含むブロックと、その周囲のブロックとに基づいて前記部分ブロックの直流成分の値を推定し、推定した値を用いて前記パターンの要素を算出する
請求項1又は請求項3に記載の画像処理装置。
【請求項5】
前記対象ブロックに対する交流成分から、前記対象ブロックの周囲のブロックの直流成分に基づく前記対象ブロックにおける予測値と、前記調整量特定部により特定された前記予測調整量とを減算することにより、前記対象ブロックにおける予測残差を算出する予測残差算出部
をさらに備える
請求項1又は請求項2に記載の画像処理装置。
【請求項6】
前記予測残差に基づいて、前記対象ブロックに対応する特徴情報に対応付けられた前記予測調整量特定情報を更新する調整量更新部
をさらに備える
請求項5に記載の画像処理装置。
【請求項7】
前記予測調整量特定情報は、前記特徴情報に対応するブロックの出現数及び前記特徴情報に対応するブロックについて算出された予測残差の合計を含み、
前記調整量更新部は、前記対象ブロックに対応する特徴情報に対応付けられた前記ブロックの出現数に1を加算するとともに、算出された前記予測残差を、前記対象ブロックに対応する特徴情報に対応付けられた前記ブロックの前記予測残差の合計に加算し、
前記調整量特定部は、前記予測残差の合計を前記ブロックの出現数で除算することにより、前記予測調整量を算出する
請求項6に記載の画像処理装置。
【請求項8】
前記調整量特定部により特定された前記予測調整量に基づいて、前記対象ブロックの交流成分を算出する交流成分算出部と、
算出された交流成分に基づいて前記対象ブロックに含まれる子ブロックの輝度値を算出する輝度値算出部と、
をさらに備える
請求項1又は請求項2に記載の画像処理装置。
【請求項9】
画像処理装置による画像処理方法であって、
所定の画像中のブロックについての特徴情報と、特徴情報に対応するブロックに対する輝度の交流成分の予測残差を調整する予測調整量と、を対応付けて調整量記憶部に記憶し、
対象画像中の対象ブロックについての特徴情報を特定し、
特定した前記特徴情報に対応する予測調整量を前記調整量記憶部から特定し、
前記特徴情報は、前記ブロックと、隣接する複数のブロックにおける一部分である部分ブロックとの輝度の直流成分に関する関係を示すパターンである
画像処理方法。
【請求項10】
画像処理装置を構成するコンピュータに実行させる画像処理プログラムであって、
前記コンピュータに、
所定の画像中のブロックについての特徴情報と、特徴情報に対応するブロックに対する輝度の交流成分の予測残差を調整する予測調整量と、を対応付けて調整量記憶部に記憶させ、
対象画像中の対象ブロックについての特徴情報を特定させ、
特定された前記特徴情報に対応する予測調整量を前記調整量記憶部から特定させ、
前記特徴情報は、前記ブロックと、隣接する複数のブロックにおける一部分である部分ブロックとの輝度の直流成分に関する関係を示すパターンである
画像処理プログラム。
【請求項11】
対象画像の圧縮データを生成するエンコーダと、前記対象画像の前記圧縮データを伸張するデコーダとを備える画像処理システムであって、
前記エンコーダは、
所定の画像中のブロックについての特徴情報と、特徴情報に対応するブロックに対する輝度の交流成分の予測残差を調整する予測調整量を特定可能な予測調整量特定情報と、を対応付けて記憶する第1調整量記憶部と、
対象画像中の対象ブロックについての特徴情報を特定する第1特徴情報特定部と、
前記第1特徴情報特定部により特定された特徴情報に対応する予測調整量を前記第1調整量記憶部の前記予測調整量特定情報から特定する第1調整量特定部と、
前記対象ブロックに対する交流成分から、前記対象ブロックの周囲のブロックの直流成分に基づく前記対象ブロックにおける予測値と、前記第1調整量特定部により特定された前記予測調整量とを減算することにより、前記対象ブロックにおける予測残差を算出する予測残差算出部と、
前記対象画像中の最上位の対象ブロックの輝度の直流成分と、各対象ブロックの交流成分に対する予測残差とを含むデータを圧縮データとして出力する圧縮データ出力部とを備え、
前記デコーダは、
前記圧縮データを入力する圧縮データ入力部と、
所定の画像中のブロックについての特徴情報と、特徴情報に対応する前記ブロックに対する輝度の交流成分の予測残差を調整する予測調整量を特定可能な予測調整量特定情報と、を対応付けて記憶する第2調整量記憶部と、
前記圧縮データに基づいて、対象画像中の対象ブロックについての特徴情報を特定する第2特徴情報特定部と、
前記第2特徴情報特定部により特定された特徴情報に対応する予測調整量を前記第2調整量記憶部の前記予測調整量特定情報から特定する第2調整量特定部と、
前記対象ブロックの交流成分に対する予測残差と、前記対象ブロックの前記交流成分に対する予測値と、前記第2調整量特定部により特定された前記予測調整量とを加算することにより、前記対象ブロックの交流成分を算出する交流成分算出部と、
算出された前記交流成分に基づいて前記対象ブロックに含まれる子ブロックの輝度値を算出する輝度値算出部と、
を備え、
前記特徴情報は、前記ブロックと隣接する複数のブロックにおける一部分である部分ブロックとの輝度の直流成分に関する関係を示すパターンである
画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、静止画像や動画像等の画像を処理する画像処理装置等に関する。
【背景技術】
【0002】
従来、画像データの容量を抑えるために画像圧縮処理が行われている。例えば、画像圧縮処理の要素技術として、交流成分予測が知られている。
【0003】
交流分析予測は、画像平面上に設定されたブロックのうち、対象ブロックおよびその周辺ブロックの直流成分を参照することにより対象ブロック上の交流成分を予測する処理である。交流分析予測により予測された交流成分は、対象ブロック上に存在する子ブロックの生成に用いることができる。これについては、例えば、非特許文献1に記載されている。
【0004】
交流成分予測を用いた動画圧縮においては、対象ブロックの直流成分と、その交流成分と交流成分予測によって得られた差分成分とを符号化する。
【0005】
また、交流成分予測に関連する技術として、特許文献1には、水平方向・垂直方向以外の直交する交流成分についても予測することで予測精度を高める技術が開示されている。
【0006】
また、大域的な情報から予測誤差を補正することでさらに予測精度を高める技術として、特許文献2には、画像の輪郭部分のオーバーシュートやアンダーシュートの影響を低減することができる技術が開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2011-239191号公報
【特許文献2】特開2021-72510号公報
【非特許文献】
【0008】
【非特許文献1】徳永 隆治、フラクタルと画像処理-差分力学系の基礎と応用、コロナ社、2002
【発明の概要】
【発明が解決しようとする課題】
【0009】
画像圧縮処理においては、画像の圧縮率を向上することが要請されており、いかに画像の輝度値の予測精度を向上させるかが重要である。
【0010】
本発明は、上記事情に鑑みなされたものであり、その目的は、画像の輝度値の予測精度を向上する技術を提供することにある。
【課題を解決するための手段】
【0011】
上記目的を達成するため、第1の観点に係る画像処理装置は、所定の画像中のブロックについての特徴情報と、特徴情報に対応するブロックに対する輝度の交流成分の予測残差を調整する予測調整量を特定可能な予測調整量特定情報と、を対応付けて記憶する調整量記憶部と、対象画像中の対象ブロックについての特徴情報を特定する特徴情報特定部と、前記特徴情報特定部により特定された特徴情報に対応する予測調整量を前記調整量記憶部の前記予測調整量特定情報から特定する調整量特定部と、を備え、前記特徴情報は、前記ブロックと、隣接する複数のブロックにおける一部分である部分ブロックと、の輝度の直流成分に関する関係を示すパターンである。
【発明の効果】
【0012】
本発明によれば、画像の輝度値の予測精度を向上することができる。
【図面の簡単な説明】
【0013】
図1図1は、一実施形態に係る画像処理システムの全体構成図である。
図2図2は、一実施形態に係るブロック及び子ブロックを説明する図である。
図3図3は、一実施形態に係るブロック及びブロックの直流成分の表記を説明する図である。
図4図4は、一実施形態に係る対象ブロックの特徴情報を説明する図である。
図5図5は、一実施形態に係る予測調整量テーブルの構成図である。
図6図6は、一実施形態に係る対象ブロックの特徴情報の算出を説明する図である。
図7図7は、一実施形態に係るエンコード処理のフローチャートである。
図8図8は、一実施形態に係るデコード処理のフローチャートである。
図9図9は、一実施形態に係るコンピュータ装置の構成図である。
【発明を実施するための形態】
【0014】
実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0015】
まず、一実施形態に係る画像処理システムについて説明する。
【0016】
図1は、一実施形態に係る画像処理システムの全体構成図である。
【0017】
画像処理システム1は、画像処理装置の一例としてのエンコーダ10と、画像処理装置の一例としてのデコーダ30とを備える。エンコーダ10とデコーダ30とは、ネットワーク50を介して接続されている。ネットワーク50は、例えば、Local Area Netowork(LAN)や、Wide Area Network(WAN)等である。
【0018】
エンコーダ10は、対象画像入力部11と、DC変換部12と、アダマール変換部13と、交流成分予測部14と、特徴情報特定部15と、調整量特定部16と、予測残差算出部17と、符号化部18と、調整量更新部19と、圧縮データ出力部20と、予測調整量テーブル21とを有する。
【0019】
対象画像入力部11は、圧縮対象の画像(対象画像)を入力する。対象画像は、例えば、静止画像であってもよく、動画像の1フレームの画像であってもよい。対象画像は、エンコーダ10内の補助記憶装置106(図9参照)から取得するようにしてもよく、或いは、図示しない撮像装置から取得するようにしてもよい。
【0020】
DC変換部12は、対象画像の各画素の輝度値に基づいて、対象画像中の処理対象とするブロック(対象ブロック)における直流成分を生成する。対象ブロックとしては、例えば、最上位階層(第1階層)のブロックは、16画素×16画素である。第1階層よりも下の階層のブロックについては、第2階層のブロックは、8画素×8画素であり、第3階層のブロックは、4画素×4画素であり、第4階層のブロックは、2画素×2画素である。対象ブロックにおける直流成分は、例えば、対象ブロックに含まれる画素の輝度値の平均値である。以下の処理においては、対象画像中のブロックについて対象ブロックとされる順番は、予め決まった順番に従っているものとする。本実施形態では、画像中の、左上から横方向のブロックが順次対象ブロックとされ、横方向の全てのブロックを対象ブロックとした後に一段下のブロックについて同様に順次対象ブロックとするようにしている。なお、対象ブロックの順番は、これに限られず、デコーダ30側との間で共通に認識できる順番であればよい。また、DC変換部12は、対象ブロックを構成する複数の子ブロックについての各画素の輝度値に基づいて、各子ブロックの直流成分を算出する。
【0021】
ここで、各ブロックと子ブロックとの関係と、本明細書でのブロックと、そのブロックの直流成分との表記について説明する。
【0022】
図2は、一実施形態に係るブロック及び子ブロックを説明する図である。
【0023】
ここで、ブロック60は、例えば、4等分された子ブロック61を有する。ここで、ブロック60における右上の子ブロック61の直流成分(画素の輝度平均)をδ++とし、右下の子ブロック61の直流成分をδ+-とし、左上の子ブロック61の直流成分をδ-+とし、左下の子ブロックの直流成分をδ--とする。
【0024】
図3は、一実施形態に係るブロック及びブロックの直流成分の表記を説明する図である。
【0025】
本明細書においては、対象ブロックをB[0,0]とし、対象ブロックの周囲のブロックを図3に示すようにB[a、b]のように記載する。また、B[a,b]のブロックの直流成分、すなわち、B[a,b]に含まれる画素の輝度平均をD[a、b]のように表記する。例えば、対象ブロック(B[0,0])の直流成分を、D[0,0]とし、対象ブロックの右隣のブロック(対象右ブロック)をB[1,0]とし、その直流成分をD[1,0]とし、対象ブロックの左隣のブロック(対象左ブロック)をB[-1,0]とし、その直流成分をD[-1,0]とし、対象ブロックの直上のブロック(対象上ブロック)をB[0,1]とし、その直流成分をD[0,1]とし、対象ブロックの直下のブロック(対象下ブロック)をB[0,-1]とし、その直流成分をD[0,-1]とする。
【0026】
図1の説明に戻り、アダマール変換部13は、対象ブロックの横方向の交流成分αと、縦方向の交流成分βと、斜め方向の交流成分γと、直流成分δとを算出するアダマール変換を行う。なお、直流成分δは、対象ブロックの直流成分と同一であるので、計算により算出する必要はない。
【0027】
ここで、対象ブロックの交流成分α、交流成分β、交流成分γ、直流成分δは、対象ブロックの子ブロックの直流成分により、以下の式(1)~(4)に示すように表すことができる。
【0028】
交流成分α=(δ+++δ+--δ-+-δ--)/4 ・・・(1)
交流成分β=(δ++-δ+-+δ-+-δ--)/4 ・・・(2)
交流成分γ=(δ++-δ+--δ-++δ--)/4 ・・・(3)
直流成分δ=(δ+++δ+-+δ-++δ--)/4 ・・・(4)
なお、直流成分δは、対象ブロックB[0,0]の直流成分D[0,0]である。
【0029】
交流成分予測部14は、交流成分予測に従って対象ブロックについての交流成分の予測値を算出する。交流成分予測部14は、例えば、交流成分αについては、対象ブロックB[0,0]の右側のブロック(対象右ブロック)B[1,0]と、対象ブロックB[0,0]の左側のブロック(対象左ブロック)B[-1,0]との直流成分から対象ブロックの交流成分の予測値を求める。
【0030】
例えば、交流成分αについての予測値α’は、以下の式(5)に示すように表すことができる。
【0031】
予測値α’=(D[1,0]-D[-1,0])/8 ・・・(5)
【0032】
なお、交流成分予測部14による交流成分の予測値の予測方法は、ほかの方法であってもよい。なお、対象右ブロック又は対象左ブロックが存在しない場合には、対象右ブロックの直流成分又は対象左ブロックの直流成分に代えて、対象ブロックB[0,0]のD[0,0]又は、すべて黒の画素で構成されている場合の直流成分を用いてもよい。また、交流成分βに対する予測値β’を算出する処理は、交流成分αに対する処理における座標系を90度回転させた状態で同様な処理を行うようにすればよい。
【0033】
また、交流成分予測部14は、例えば、交流成分γについては、対象ブロックB[0,0]の斜め隣りに位置する4つのブロック(B[1,1]、B[-1,1]、B[1,-1]、B[-1,-1])の直流成分から交流成分γの予測値を求める。
【0034】
例えば、交流成分γについての予測値γ’は、以下の式(6)に示すように表すことができる。
【0035】
予測値γ’=(δ--,B[0,1]-δ+-,B[0,1]+δ++,B[-1,0]-δ+-,B[-1,0]-2×δ-++δ+++δ--)/4 ・・・(6)
ここで、δ--,B[a,b]、δ+-,B[a,b]、δ++,B[a,b]、δ+-,B[a,b]は、それぞれブロックB[a,b]における対応する位置の子ブロックの直流成分を示している。
【0036】
なお、交流成分予測部14による交流成分γの予測値の予測方法は、ほかの方法であってもよい。
【0037】
特徴情報特定部15は、第1特徴情報特定部の一例であり、対象ブロックについての特徴情報を特定する。本実施形態では、対象ブロックの交流成分αについての特徴情報は、対象ブロックの直流成分と、対象ブロックB[0,0]に隣接する複数のブロックに含まれる一部の子ブロック(部分ブロック)の直流成分との差に基づいて特定されている。
【0038】
図4は、一実施形態に係る対象ブロックの特徴情報を説明する図である。
【0039】
本実施形態では、特徴情報特定部15は、対象ブロックの交流成分αについての特徴情報を、対象ブロックB[0,0]の直流成分D[0,0]と、対象ブロックB[0、0]に隣接する3つのブロック(B[-1,0]、B[1,0]、B[0,-1])の部分ブロック(例えば、B[-1,0]、B[1,0]、B[0,-1]のそれぞれにおけるB[0,0]と隣接する2つの子ブロック)の直流成分(d[-1,0]、d[1,0]、d[0,-1])との差に基づいて、特定している。
【0040】
具体的には、交流成分αについての特徴情報(x,y,z)は、式(7)に示すことができる。
(x,y,z)=(ε(d[-1,0]),ε(d[1,0]),ε(d[0,-1])) ・・・(7)
ここで、ε(x)=Q(x-D[0,0])であり、e(x)におけるxは変数、Qは、量子化を行う関数である。
【0041】
関数Qは、例えば、輝度を8ビットの256段階で表現する画像においては、以下の式(8)に示す関数としてもよい。
Q(x)= -3 (x/32≦-2.5の場合)
3 (x・32≧2.5の場合)
Round(x/32) (上記以外の場合)・・・(8)
ここで、xは、変数であり、Roundは、小数点以下を四捨五入する関数である。
【0042】
なお、特徴情報について関数Qを用いて量子化を行ってデータ量を低減するようにしているが、量子化を行わないようにしてもよい。
【0043】
また、部分ブロックの直流成分については、部分ブロックに含まれる子ブロックの直流成分を平均することで求められる。
具体的には、d[-1,0]については、以下の式(9)に基づいて算出することができる。
d[-1,0]=(δ++,B[-1,0]+δ+-,B[-1,0])/2 ・・・(9)
【0044】
なお、部分ブロックの直流成分を、対象ブロックと、部分ブロックを含むブロック(隣接ブロック)と、隣接ブロックの対象ブロックと反対側のブロックとの直流成分に基づいて推定してもよい。具体的には、d[1,0]については、以下の式(10)に基づいて算出することができる。
d[1,0]=(D[0,0]-D[2,0])/8+D[1,0] ・・・(10)
【0045】
この特徴情報(x,y,z)は、予測調整量テーブル21において、特徴情報の対象ブロックに対応する情報を管理するためのインデックスとして用いられる。この特徴情報は、対象ブロックと、隣接する複数のブロックの一部分である部分ブロックとの輝度の直流成分に関する関係を示すパターンであり、この特徴情報が同じであれば、対象ブロック同士が同一又は類似していることを意味している。このようなインデックスに対応する予測調整量を管理して用いることにより、後述する予測残差を小さくすることができる。また、特徴情報を、ブロックと、周囲のブロックの部分ブロックとの輝度に基づくパターンとしているので、より詳細にブロックを特徴情報により分類して管理することができる。
【0046】
交流成分βに対する特徴情報については、交流成分αに対する処理における座標系を90度回転させた状態で同様な処理を行うようにすればよい。
【0047】
また、特徴情報特定部15は、対象ブロックの交流成分γについての特徴情報を、対象ブロックB[0,0]の直流成分D[0,0]と、対象ブロックB[0、0]の縦方向及び横方向に隣接する4つのブロック(B[-1,0]、B[1,0]、B[0,-1]、B[0,1])の部分ブロック(B[-1,0]、B[1,0]、B[0,-1]、B[0,1]のそれぞれにおけるB[0,0]と隣接する2つの子ブロック)の直流成分(d[-1,0]、d[1,0]、d[0,-1]、d[0,1])との差に基づいて、特定している。
【0048】
具体的には、交流成分γについての特徴情報(x,y,z,w)は、式(11)に示すことができる。なお、画像における交流成分γは、2次元的な双曲放物面の成分となるので特徴情報を4次元としている。
(x,y,z,w)=(ε(d[-1,0]),ε(d[1,0]),ε(d[0,-1]),ε(d[0,1])) ・・・(11)
【0049】
予測調整量テーブル21は、対象ブロックの特徴情報ごとに予測調整量を特定可能な情報(予測調整量可能情報)を管理している。
【0050】
図5は、一実施形態に係る予測調整量テーブルの構成図である。
【0051】
本実施形態では、予測調整量テーブル21は、対象ブロックの交流成分α,β用の予測調整量テーブル22と、対象ブロックの交流成分γ用の予測調整量テーブル23とを含む。
【0052】
予測調整量テーブル22は、対象ブロックの交流成分α,β用の特徴情報ごとの予測調整量特定情報のエントリを管理する。予測調整量テーブル22のエントリは、特徴情報22aと、パターン出現数22bと、予測残差合計22cとのフィールドを含む。特徴情報22aには、交流成分α,βについての特徴情報(x,y,z)が格納される。パターン出現数22bには、エントリの特徴情報に対応するパターンが出現した回数(n)が格納される。予測残差合計22cには、エントリに対応するパターンに対応する予測残差の合計(ψ)が格納される。本実施形態においては、予測残差の合計を出現回数で除算した予測残差の平均を、予測調整量としている。予測調整量テーブル22は、例えば、1つの静止画像に対して、又は、動画中の1つのキーフレームに対応する画像に対して1つ生成される。なお、予測調整量テーブル22を、動画中の隣接する複数の画像で共用してもよく、また、類似する画像間で共用してもよい。
【0053】
予測調整量テーブル23は、対象ブロックの交流成分γ用の特徴情報ごとの予測調整量特定情報のエントリを管理する。予測調整量テーブル23のエントリは、特徴情報23aと、パターン出現数23bと、予測残差合計23cとのフィールドを含む。特徴情報23aには、交流成分γについての特徴情報(x,y,z,w)が格納される。パターン出現数23bには、エントリの特徴情報に対応するパターンが出現した回数(m)が格納される。予測残差合計23cには、エントリに対応するパターンに対応する予測残差の合計(φ)が格納される。本実施形態においては、予測残差の合計を出現回数で除算した予測残差の平均を、予測調整量としている。予測調整量テーブル23は、例えば、1つの静止画像に対して、又は、動画中の1つのキーフレームに対応する画像に対して1つ生成される。なお、予測調整量テーブル23を、動画中の隣接する複数の画像で共用してもよく、また、類似する画像間で共用してもよい。
【0054】
図1の説明に戻り、調整量特定部16は、第1調整量特定部の一例であり、特徴情報特定部15において特定された特徴情報に対応する予測調整量を特定する。具体的には、調整量特定部16は、交流成分α,βについての特徴情報(x,y,z)に対応する予測調整量テーブル22のエントリを特定し、このエントリの予測残差合計ψをパターン出現数nで除算することにより、予測調整量を特定する。この予測調整量は、同じ特徴情報となるパターンについての予測残差の平均値である。このように特徴情報により、予測調整量を特定するようにしたので、特徴量の共通する対象ブロックについて、予測調整量を適切に特定することができる。本実施形態では、交流成分α,βについての特徴情報に対応する予測調整量を特定する場合においては、同一の予測調整量テーブル22を用いるようにしている。このように、同一の予測調整量テーブル22を用いるのは、画像中に或る部分画像を90度回転させた部分画像が存在する可能性があり、これらについては、同一の性質を有しているからである。これにより、予測調整量テーブル22の記憶に必要なメモリ量を低減することができるとともに、予測残差の情報をお互いに共用できるため予測調整量をより高精度に設定できるという効果が期待される。
【0055】
また、調整量特定部16は、交流成分γについての特徴情報(x,y,z,w)に対応する予測調整量テーブル23のエントリを特定し、このエントリの予測残差合計φをパターン出現数mで除算することにより、予測調整量を特定する。この予測調整量は、同じ特徴情報となるパターンについての予測残差の平均値である。このように特徴情報により、予測調整量を特定するようにしたので、特徴量の共通する対象ブロックについて、予測調整量を適切に特定することができる。
【0056】
また、本実施形態では、階層の異なる対象ブロックについての特徴情報に対応する予測調整量を特定する場合においても、同一の予測調整量テーブル21(22,23)を用いるようにしている。このように、同一の予測調整量テーブル21を用いるのは、画像はフラクタルである(自己相似性を有する)ことがあり、異なるサイズの対象ブロックであっても、同一の性質を有している可能性があるからである。これにより、予測調整量テーブル21の記憶に必要なメモリ量を低減することができるとともに、予測残差の情報をお互いに共用できるため予測調整量をより高精度に設定できるという効果が期待される。
【0057】
予測残差算出部17は、対象ブロックに対する各交流成分についての予測残差eを算出する。本実施形態では、交流成分α、β、γに対する予測残差eα、eβ、eγは、以下の式(12)、(13)、(14)で算出している。なお、交流成分βに対する予測残差eβを算出する処理は、交流成分αに対する予測残差eαを算出する処理における座標系を90度回転させた状態で同様な処理を行うようにすればよい。
予測残差eα=α―α’-ψ(x,y,z)/n(x,y,z) ・・・(12)
予測残差eβ=β―β’-ψ(x,y,z)/n(x,y,z) ・・・(13)
予測残差eγ=γ―γ’-φ(x,y,z,w)/m(x,y,z,w)
・・・(14)
ここで、ψ(x,y,z)は、特徴情報が(x,y,z)の対象ブロックに対する予測残差合計ψを示し、n(x,y,z)は、特徴情報が(x,y,z)の対象ブロックに対するパターン出現数nを示し、φ(x,y,z,w)は、特徴情報が(x,y,z,w)の対象ブロックに対する予測残差合計φを示し、m(x,y,z,w)は、特徴情報が(x,y,z,w)の対象ブロックに対するパターン出現数mを示しいる。
【0058】
符号化部18は、予測残差算出部17により算出された予測残差eα、eβ、eγに対して、例えば、量子化等の非可逆変換を行い、更に、ハフマン符号化や算術符号化といったエントロピ符号化を施すことにより、対象ブロックに対する圧縮データを生成する。また、符号化部18は、最上位の各ブロックの直流成分Dについて公知の圧縮技術により圧縮データを生成する。
【0059】
調整量更新部19は、予測残差算出部17により算出された予測残差eα、eβに基づいて、予測調整量テーブル22の予測調整量特定情報を更新する。具体的には、調整量更新部19は、以下の式(15)、(16)に示すように予測調整量テーブル22の予測残差合計ψ及びパターン出現数nを更新する。
ψn+1(x,y,z)=ψ(x,y,z)+e ・・・(15)
n+1(x,y,z)=n(x,y,z)+1 ・・・(16)
ここで、n+1は、更新後を示し、は、更新前を示し、eは、eα又はeβを示す。
【0060】
また、本実施形態では、調整量更新部19は、画像における空間的な対称性の関係に従って、予測調整量テーブル22の対象ブロックのパターンと空間的な対称性の関係を有する他のパターンの予測調整量特定情報も更新するようにしている。画像中においては、左右対称の部分画像が存在する可能性があり、特に、Computer Graphics(CG)等の画像においては、同一の部品を使用して左右対称となる部分が多く存在する可能性が高く、このような場合には、各部分に対応する予測調整量をより高精度に設定することができるようになる。
【0061】
特徴情報(x,y,z)のパターンと、左右反転させた関係を有する左右反転パターン(y,x,z)については、式(17),(18)に示すように予測調整量テーブル22の予測残差合計ψ及びパターン出現数nを更新する。
【0062】
ψn+1(y,x,z)=ψ(y,x,z)-e ・・・(17)
n+1(y,x,z)=n(y,x,z)+1 ・・・(18)
【0063】
また、特徴情報(x,y,z)のパターンと、正負反転させた関係を有する正負反転パターン(-x,-y,-z)については、式(19),(20)に示すように予測調整量テーブル22の予測残差合計ψ及びパターン出現数nを更新する。
【0064】
ψn+1(-x,-y,-z)=-ψ(-x,-y,-z)-e ・・・(19)
n+1(-x,-y,-z)=n(-x,-y,-z)+1 ・・・(20)
【0065】
また、特徴情報(x,y,z)のパターンと、左右及び正負を反転させた関係を有する左右正負反転パターン(-y,-x,-z)については、式(21),(22)に示すように予測調整量テーブル22の予測残差合計ψ及びパターン出現数nを更新する。
【0066】
ψn+1(-y,-x,-z)=-ψ(-y,-x,-z)+e ・・・(21)
n+1(-y,-x,-z)=n(-y,-x,-z)+1 ・・・(22)
【0067】
なお、上記した画像における空間的な対称性の関係を有する複数の特徴情報については、いずれか1つの特徴情報を代表として、予測調整量テーブル22に登録するようにし、残りの特徴情報についての予測残差合計ψは、代表となる特徴情報の予測残差合計ψとの符号の関係(同一又は、反転)に基づいて決定するようにしてもよい。このようにすると、予測調整量テーブル22に必要となるメモリの容量を低減することができる。
【0068】
また、調整量更新部19は、予測残差算出部17により算出された予測残差eγに基づいて、予測調整量テーブル23の予測調整量特定情報を更新する。具体的には、調整量更新部19は、以下の式(23)、(24)に示すように予測調整量テーブル23の予測残差合計φ及びパターン出現数mを更新する。
φn+1(x,y,z,w)=φ(x,y,z,w)+e ・・・(23)
n+1(x,y,z,w)=m(x,y,z,w)+1 ・・・(24)
ここで、n+1は、更新後を示し、は、更新前を示し、eは、eγを示す。
【0069】
また、本実施形態では、調整量更新部19は、画像における空間的な関連性に従って、予測調整量テーブル23の対象ブロックのパターンと空間的な関連性を有する他のパターンの予測調整量特定情報も更新するようにしている。画像中においては、特に、Computer Graphics(CG)等の画像においては、同一の部品を使用して変換した部分が多く存在する可能性が高く、このような場合には、各部分に対応する予測調整量をより高精度に設定することができるようになる。
【0070】
特徴情報(x,y,z,w)のパターンと、左右反転させた関係を有する左右反転パターン(y,x,z,w)については、式(25),(26)に示すように予測調整量テーブル23の予測残差合計φ及びパターン出現数mを更新する。
【0071】
φn+1(y,x,z,w)=φ(y,x,z,w)-e ・・・(25)
n+1(y,x,z,w)=m(y,x,z,w)+1 ・・・(26)
【0072】
同様に、特徴情報(x,y,z,w)のパターンと正負反転させた関係を有する正負反転パターン(-x,-y,-z,-w)については、式(27),(28)に示すように、特徴情報(x,y,z,w)のパターンと、正負反転及び左右反転させた関係を有する正負反転・左右反転パターン(-y,-x,-z,-w)については、式(29),(30)に示すように、特徴情報(x,y,z,w)のパターンと90度回転させた関係を有する90度回転パターン(z,w,x,y)については、式(31),(32)に示すように、特徴情報(x,y,z,w)のパターンと左右反転及び上下反転させた関係を有する左右反転・上下反転パターン(y,x,w,z)については、式(33),(34)に示すように、特徴情報(x,y,z,w)のパターンと90度回転、左右反転、及び上下反転させた関係を有する90度回転・左右反転・上下反転パターン(w,z,y,x)については、式(35),(36)に示すように、また、特徴情報(x,y,z,w)のパターンと90度回転及び上下反転させた関係を有する90度回転・上下反転パターン(w,z,x,y)については、式(37),(38)に示すように、特徴情報(x,y,z,w)のパターンと上下反転させた関係を有する上下反転パターン(x,y,w,z)については、式(39),(40)に示すように、予測調整量テーブル23の予測残差合計φ及びパターン出現数mを更新する。
【0073】
また、特徴情報(x,y,z,w)のパターンと90度回転及び左右反転させた関係を有する90度回転・左右反転パターン(z,w,y,x)については、式(41),(42)に示すように、特徴情報(x,y,z,w)のパターンと正負反転及び90度回転させた関係を有する正負反転・90度回転パターン(-z,-w,-x,-y)については、式(43),(44)に示すように、特徴情報(x,y,z,w)のパターンと正負反転、左右反転、及び上下反転させた関係を有する正負反転・左右反転・上下反転パターン(-y,-x,-w,-z)については、式(45),(46)に示すように、特徴情報(x,y,z,w)のパターンと正負反転、90度回転・左右反転、及び上下反転させた関係を有する正負反転・90度回転・左右反転・上下反転パターン(-w,-z,-y,-x)については、式(47),(48)に示すように、特徴情報(x,y,z,w)のパターンと正負反転、90度回転、及び上下反転させた関係を有する正負反転・90度回転・上下反転パターン(-w,-z,-x,-y)については、式(49),(50)に示すように、特徴情報(x,y,z,w)のパターンと正負反転及び上下反転させた関係を有する正負反転・上下反転パターン(-x,-y,-w,-z)については、式(51),(52)に示すように、特徴情報(x,y,z,w)のパターンと正負反転、90度回転、及び左右反転させた関係を有する正負反転・90度回転・左右反転パターン(-z,-w,-y,-x)については、式(53),(54)に示すように、予測調整量テーブル23の予測残差合計φ及びパターン出現数mを更新する。
【0074】
φn+1(-x,-y,-z,-w)=φ(-x,-y,-z,-w)-e
・・・(27)
n+1(-x,-y,-z,-w)=m(-x,-y,-z,-w)+1
・・・(28)
【0075】
φn+1(-y,-x,-z,-w)=φ(-y,-x,-z,-w)+e
・・・(29)
n+1(-y,-x,-z,-w)=m(-y,-x,-z,-w)+1
・・・(30)
【0076】
φn+1(z,w,x,y)=φ(z,w,x,y)+e ・・・(31)
n+1(z,w,x,y)=m(z,w,x,y)+1 ・・・(32)
【0077】
φn+1(y,x,w,z)=φ(y,x,w,z)+e ・・・(33)
n+1(y,x,w,z)=m(y,x,w,z)+1 ・・・(34)
【0078】
φn+1(w,z,y,x)=φ(w,z,y,x)+e ・・・(35)
n+1(w,z,y,x)=m(w,z,y,x)+1 ・・・(36)
【0079】
φn+1(w,z,x,y)=φ(w,z,x,y)-e ・・・(37)
n+1(w,z,x,y)=m(w,z,x,y)+1 ・・・(38)
【0080】
φn+1(x,y,w,z)=φ(x,y,w,z)-e ・・・(39)
n+1(x,y,w,z)=m(x,y,w,z)+1 ・・・(40)
【0081】
φn+1(z,w,y,x)=φ(z,w,y,x)-e ・・・(41)
n+1(z,w,y,x)=m(z,w,y,x)+1 ・・・(42)
【0082】
φn+1(-z,-w,-x,-y)=φ(-z,-w,-x,-y)-e
・・・(43)
n+1(-z,-w,-x,-y)=m(-z,-w,-x,-y)+1
・・・(44)
【0083】
φn+1(-y,-x,-w,-z)=φ(-y,-x,-w,-z)-e
・・・(45)
n+1(-y,-x,-w,-z)=m(-y,-x,-w,-z)+1
・・・(46)
【0084】
φn+1(-w,-z,-y,-x)=φ(-w,-z,-y,-x)-e
・・・(47)
n+1(-w,-z,-y,-x)=m(-w,-z,-y,-x)+1
・・・(48)
【0085】
φn+1(-w,-z,-x,-y)=φ(-w,-z,-x,-y)+e
・・・(49)
n+1(-w,-z,-x,-y)=m(-w,-z,-x,-y)+1
・・・(50)
【0086】
φn+1(-x,-y,-w,-z)=φ(-x,-y,-w,-z)+e
・・・(51)
n+1(-x,-y,-w,-z)=m(-x,-y,-w,-z)+1
・・・(52)
【0087】
φn+1(-z,-w,-y,-x)=φ(-z,-w,-y,-x)+e
・・・(53)
n+1(-z,-w,-y,-x)=m(-z,-w,-y,-x)+1
・・・(54)
【0088】
なお、上記した画像における空間的な関連性を有する複数の特徴情報については、いずれか1つの特徴情報を代表として、予測調整量テーブル23に登録するようにし、残りの特徴情報についての予測残差合計φは、代表となる特徴情報の予測残差合計φとの符号の関係(同一又は、反転)に基づいて決定するようにしてもよい。このようにすると、予測調整量テーブル23に必要となるメモリの容量を低減することができる。
【0089】
圧縮データ出力部20は、符号化部18によって生成された圧縮データをデコーダ30に出力する。ここで、圧縮データには、最上位の各ブロックの直流成分Dと、各階層における各ブロックの交流成分α、β、γの予測残差eα、eβ、eγとについて圧縮されたデータが含まれる。
【0090】
デコーダ30は、圧縮データ入力部31と、復号部32と、交流成分予測部33と、特徴情報特定部34と、調整量特定部35と、交流成分算出部36と、逆アダマール変換部37と、調整量更新部38と、画像表示部39と、予測調整量テーブル40とを有する。
【0091】
予測調整量テーブル40は、図5に示すように、予測調整量テーブル21と同様な構成となっている。すなわち、予測調整量テーブル40は、対象ブロックの交流成分α,β用の予測調整量テーブル41と、対象ブロックの交流成分γ用の予測調整量テーブル42とを含む。
【0092】
圧縮データ入力部31は、ネットワーク50を介してエンコーダ10から送信される圧縮データを入力する。復号部32は、圧縮データ入力部31が入力した圧縮データに対して、符号化部18による符号化に対応する復号を実行することにより、圧縮データを復号する。これにより、最上位の各ブロックの直流成分Dと、各階層における各ブロックの交流成分α、β、γの予測残差eα、eβ、eγとを得ることができる。交流成分予測部33は、交流成分予測部14と同様な処理を実行する。
【0093】
特徴情報特定部34は、第2特徴情報特定部の一例であり、対象ブロックについての特徴情報を特定する。本実施形態では、対象ブロックの交流成分αについての特徴情報は、対象ブロックの直流成分と、対象ブロックB[0,0]に隣接する複数のブロックに含まれる部分ブロックの直流成分との差に基づいて特定されている。
【0094】
図6は、一実施形態に係る対象ブロックの特徴情報の算出を説明する図である。
【0095】
特徴情報特定部34は、対象ブロックの交流成分αについての特徴情報を、対象ブロックB[0,0]の直流成分D[0,0]と、対象ブロックB[0,0]に隣接する3つのブロック(B[-1,0]、B[1,0]、B[0,-1])の部分ブロック(B[-1,0]、B[1,0]、B[0,-1]のそれぞれにおけるB[0,0]と隣接する2つの子ブロック)の直流成分(d[-1,0]、d[1,0]、d[0,-1])との差に基づいて、特定している。特徴情報特定部34は、交流成分αについての特徴情報(x,y,z)を、式(7)により算出する。
【0096】
ここで、対象ブロックB[0,0]に対して処理を実行する場合においては、各ブロックに対する処理の順番により、ブロックB[0,1]及びブロックB[-1,0]については、それぞれのブロックに属する各子ブロックに対する直流成分が得られているが、ブロックB[0,-1]及びブロックB[1,0]の子ブロックに対して直流成分が得られていない。
【0097】
特徴情報特定部34は、子ブロックに対する直流成分が得られている部分ブロックについての直流成分(d[-1,0]、d[0,1])については、子ブロックの直流成分に基づいて算出する。例えば、d[-1,0]については、式(9)に従って算出する。また、特徴情報特定部34は、子ブロックに対する直流成分が得られていない部分ブロックについての直流成分(d[0,-1]、d[1,0])については、例えば、式(10)に示すように、周囲のブロックの直流成分を用いて算出する。
【0098】
特徴情報特定部34は、対象ブロックの交流成分βについての特徴情報を算出する。交流成分βに対する特徴情報については、交流成分αに対する処理における座標系を90度回転させた状態で同様な処理を行う。
【0099】
特徴情報特定部34は、対象ブロックの交流成分γについての特徴情報を、対象ブロックB[0,0]の直流成分D[0,0]と、対象ブロックB[0、0]の縦方向及び横方向に隣接する4つのブロック(B[-1,0]、B[1,0]、B[0,-1]、B[0,1])の部分ブロック(B[-1,0]、B[1,0]、B[0,-1]、B[0,1]のそれぞれにおけるB[0,0]と隣接する2つの子ブロック)の直流成分(d[-1,0]、d[1,0]、d[0,-1]、d[0,1])との差に基づいて、特定する。
【0100】
具体的には、交流成分γについての特徴情報(x,y,z,w)を、式(11)に示す式により特定する。なお、d[-1,0]、d[1,0]、d[0,-1]、d[0,1]については、交流成分αについての特徴情報を算出する際に説明した方法と同様な方法で算出する。
【0101】
調整量特定部35は、第2調整量特定部の一例であり、調整量特定部16と同様な処理により、特徴情報特定部34において特定された特徴情報に対応する予測調整量を特定する。
【0102】
交流成分算出部36は、対象ブロックについての横方向の交流成分α、縦方向の交流成分β、及び斜め方向の交流成分γを算出する。具体的には、交流成分算出部36は、以下の式(55)、(56)、(57)に従って、交流成分α、β、γを算出する。
交流成分α=eα+α’+ψ(x,y,z)/n(x,y,z) ・・・(55)
交流成分β=eβ+β’+ψ(x,y,z)/n(x,y,z) ・・・(56)
交流成分γ=eγ+γ’+φ(x,y,z,w)/m(x,y,z,w)
・・・(57)
【0103】
逆アダマール変換部37は、輝度値算出部の一例であり、交流成分算出部36により算出された対象ブロックについての交流成分α、交流成分β、交流成分γ、及び直流成分Dに基づいて、対象ブロックに含まれる各子ブロックの直流成分を算出する逆アダマール変換を行う。また、逆アダマール変換部37は、対象ブロックが最下位の対象ブロックである場合には、対象ブロックについての交流成分α、交流成分β、交流成分γ、及び直流成分Dに基づいて、対象ブロックに含まれる各画素の直流成分を算出する。このようにして、逆アダマール変換部37の処理により、対象画像中の各画素の直流成分が算出される。
【0104】
調整量更新部38は、復号部32により得られる交流成分の予測残差eα、eβ、eγに基づいて、予測調整量テーブル40の予測調整量特定情報を更新する。なお、予測残差eα、eβ、eγに基づいて、予測調整量テーブル40の予測調整量特定情報を更新する処理は、調整量更新部19による更新処理と同様な処理を行う。
【0105】
画像表示部39は、表示装置108(図9参照)に対して、逆アダマール変換部37により算出された対象画像中の各画素の輝度の直流成分に基づいて画像を表示する。
【0106】
次に、画像処理システム1における処理動作について説明する。
【0107】
まず、エンコーダ10によるエンコード処理について説明する。
【0108】
図7は、一実施形態に係るエンコード処理のフローチャートである。
【0109】
エンコード処理においては、まず、対象画像入力部11が、エンコード対象の画像(対象画像)を入力し、DC変換部12が、対象ブロックの輝度の直流成分を算出するとともに、対象ブロックの子ブロックの輝度の直流成分を算出する(ステップS11)。なお、ステップS11を最初に実行する時には、最上位のブロックを対象ブロックとして処理を実行する。
【0110】
次いで、アダマール変換部13は、アダマール変換を行って、対象ブロックの横方向の交流成分αと、縦方向の交流成分βと、斜め方向の交流成分γと、直流成分δとを算出する(ステップS12)。
【0111】
次いで、交流成分予測部14は、公知の交流成分予測に従って対象ブロックについての交流成分の予測値を算出する(ステップS13)。本実施形態では、ステップS13以降の処理は、まずは、対象ブロックの交流成分αを対象に実行し、その後、交流成分βを対象に実行し、その後、交流成分γを対象に実行する。
【0112】
特徴情報特定部15は、対象ブロックについての特徴情報を特定する(ステップS14)。
【0113】
次いで、調整量特定部16は、特徴情報特定部15において特定された特徴情報に対応する予測調整量を特定する(ステップS15)。具体的には、交流成分α、βを対象としている場合には、調整量特定部16は、特徴情報(x,y,z)に対応する予測調整量テーブル22のエントリを特定し、このエントリの予測残差合計ψをパターン出現数nで除算することにより、予測調整量を特定する。また、交流成分γを対象としている場合には、調整量特定部16は、特徴情報(x,y,z,w)に対応する予測調整量テーブル23のエントリを特定し、このエントリの予測残差合計φをパターン出現数mで除算することにより、予測調整量を特定する。
【0114】
次いで、予測残差算出部17は、対象ブロックに対する処理対象の交流成分の予測残差e(eα、eβ、又はeγ)を算出する(ステップS16)。具体的には、予測残差算出部17は、上述の式(12)、(13)、(14)に従って、予測残差eを算出する。
【0115】
次いで、符号化部18は、予測残差算出部17により算出された予測残差eに対して、例えば、量子化等の非可逆変換を行い、更に、ハフマン符号化や算術符号化といったエントロピ符号化を施すことにより、対象ブロックの予測残差eに対する圧縮データを生成する(ステップS17)。
【0116】
次いで、調整量更新部19は、予測残差算出部17により算出された予測残差eに基づいて、予測調整量テーブル21の予測調整量特定情報を更新する(ステップS18)。
【0117】
DC変換部12は、処理を実行している階層内の全てのブロックに対して処理済みか否かを判定し(ステップS19)、階層内の全てのブロックに対して処理済みでない場合(ステップS19:N)には、処理をステップS11に進めて、次の対象ブロックに対する処理を実行する。一方、階層内の全てのブロックに対して処理済みである場合(ステップS19:Y)には、DC変換部12は、1つ下の階層のブロックがあるか否かを判定する(ステップS20)。
【0118】
この結果、1つ下の階層のブロックがある場合(ステップS20:Y)には、DC変換部12は、処理する階層を下位の階層に変更し(ステップS21)、処理をステップS11に進めて、下位の階層におけるブロックに対する処理を実行する。
【0119】
一方、1つ下の階層のブロックがない場合(ステップS20:N)には、DC変換部12は、処理を終了する。これにより、まずは、交流成分αについての圧縮データが生成されたこととなる。
【0120】
次に、エンコーダ10は、上記したエンコード処理を、交流成分βを処理対象として実行することにより、交流成分βに対する圧縮データを生成する。
【0121】
次に、エンコーダ10は、上記したエンコード処理を、交流成分γを処理対象として実行することにより、交流成分γに対する圧縮データを生成する。
【0122】
次に、エンコーダ10は、最上位の階層の各ブロックについての直流成分D(最上位階層のブロックの直流成分δ)について、圧縮データを生成する処理を実行する。直流成分Dの圧縮データを生成する処理は、公知の技術を用いることができる。
【0123】
この後、圧縮データ出力部20は、交流成分α、交流成分β、交流成分γ、及び最上位の階層の各ブロックについての直流成分Dについての圧縮データをまとめて、対象画像の圧縮データに含めて、デコーダ30に出力(送信)する。
【0124】
このエンコード処理では、交流成分α、β、γについて特徴情報が同じブロックに対して、予測残差に基づく予測調整量を使用するようにしているので、輝度値に対応する予測精度を向上することができる。これにより、予測調整量を使用して算出される予測残差の値を小さくすることができ、輝度の予測残差に対する圧縮効率を向上することができる。
【0125】
次に、デコーダ30によるデコード処理について説明する。
【0126】
図8は、一実施形態に係るデコード処理のフローチャートである。
【0127】
圧縮データ入力部31は、ネットワーク50を介してエンコーダ10から送信される圧縮データを入力する(ステップS31)。
【0128】
次いで、復号部32は、圧縮データ入力部31が入力した圧縮データを復号する(ステップS32)。これにより、最上位の各ブロックの直流成分Dと、各階層における各ブロックの交流成分α、β、γの予測残差eα、eβ、eγとを得ることができる。
【0129】
次いで、交流成分予測部33は、公知の交流成分予測に従って対象ブロックについての交流成分αの予測値を算出する(ステップS33)。ここで、対象ブロックは、エンコーダ10での処理の実行順と同様な順番で選択される。
【0130】
次いで、特徴情報特定部34は、対象ブロックについての特徴情報を特定する(ステップS34)。
【0131】
次いで、調整量特定部35は、特徴情報特定部34において特定された特徴情報に対応する予測調整量を特定する(ステップS35)。具体的には、調整量特定部35は、交流成分α、βを処理対象とする場合には、特徴情報(x,y,z)に対応する予測調整量テーブル41のエントリを特定し、このエントリの予測残差合計ψをパターン出現数nで除算することにより、予測調整量を特定する。
【0132】
次いで、調整量更新部38は、復号部32により得られる交流成分の予測残差eに基づいて、予測調整量テーブル40の予測調整量特定情報を更新する(ステップS36)。ここで、対象ブロックは、エンコーダ10での処理の実行順と同様な順番で選択されているので、対象ブロックの処理時には、予測調整量テーブル40を、エンコーダ10での同じ対象ブロックの処理時における予測調整量テーブル21と同じ状態とすることができる。
【0133】
次いで、交流成分算出部36は、対象ブロックについての横方向の交流成分αを算出する。具体的には、交流成分算出部36は、式(55)に従って、交流成分αを算出する(ステップS37)。
【0134】
次いで、デコーダ30は、交流成分β及び交流成分γを算出する(ステップS38)。具体的には、交流成分βについては、ステップS33~ステップS37と同様な処理により、算出することができる。なお、ステップS37では、交流成分算出部36は、式(56)に従って、交流成分βを算出する。また、交流成分γについては、ステップS33~ステップS37と同様な処理により、算出することができる。なお、ステップS35において、調整量特定部35は、交流成分γを処理対象とする場合には、特徴情報(x,y,z、w)に対応する予測調整量テーブル42のエントリを特定し、このエントリの予測残差合計φをパターン出現数mで除算することにより、予測調整量を特定し、ステップS37では、交流成分算出部36は、式(57)に従って、交流成分γを算出する。
【0135】
次いで、交流成分予測部33は、処理を実行している階層内の全てのブロックに対して処理済みか否かを判定し(ステップS39)、階層内の全てのブロックに対して処理済みでない場合(ステップS39:N)には、処理をステップS33に進めて、次の対象ブロックに対する処理を実行する。一方、階層内の全てのブロックに対して処理済みである場合(ステップS39:Y)には、逆アダマール変換部37は、交流成分算出部36により算出された対象ブロックについての交流成分α、交流成分β、交流成分γ、及び直流成分Dに基づいて、対象ブロックに含まれる各子ブロックの直流成分を算出する逆アダマール変換を行う(ステップS40)。なお、対象ブロックが最下位の対象ブロックである場合、すなわち、2画素×2画素のブロックである場合には、逆アダマール変換部37は、対象ブロックについての交流成分α、交流成分β、交流成分γ、及び直流成分Dに基づいて、対象ブロックに含まれる各画素の直流成分を算出する。
【0136】
次いで、交流成分予測部33は、1つ下の階層のブロックがあるか否かを判定する(ステップS41)。この結果、1つ下の階層のブロックがある場合(ステップS41:Y)には、交流成分予測部33は、処理する階層を下位の階層に変更し(ステップS42)、処理をステップS33に進めて、下位の階層におけるブロックに対する処理を実行する。
【0137】
一方、1つ下の階層のブロックがない場合(ステップS41:N)には、画像表示部39は、表示装置108に対して、逆アダマール変換部37により算出された対象画像中の各画素の輝度の直流成分に基づいて画像を表示し(ステップS43)、処理を終了する。
【0138】
上記したデコード処理によると、エンコーダ10で作成された圧縮データに基づいて、適切に画像を表示することができる。
【0139】
上記したエンコーダ10及びデコーダ30は、それぞれコンピュータ装置により構成することができる。
【0140】
図9は、一実施形態に係るコンピュータ装置の構成図である。なお、本実施形態では、エンコーダ10及びデコーダ30は、別々のコンピュータ装置で構成されているが、これらコンピュータ装置は、同様な構成を有するものとすることができる。したがって、以下の説明では、便宜的に図9に示すコンピュータ装置を用いて、エンコーダ10及びデコーダ30を構成するコンピュータ装置について説明することとする。
【0141】
コンピュータ装置100は、例えば、Central Processin Unit(CPU)101と、メインメモリ102と、Graphics Processing Unit(GPU)103と、リーダライタ104と、通信インターフェース(通信I/F)105と、補助記憶装置106と、入出力インターフェース(入出力I/F)107と、表示装置108と、入力装置109とを備える。CPU101、メインメモリ102、GPU103、リーダライタ104、通信I/F105、補助記憶装置106、入出力I/F107、及び表示装置108は、バス110を介して接続されている。エンコーダ10と、デコーダ30とは、それぞれコンピュータ装置100に記載の構成要素の一部または全てを適宜選択して構成される。
【0142】
ここで、メインメモリ102又は補助記憶装置106の少なくとも一方が、エンコーダ10の予測調整量テーブル21を記憶する調整量記憶部(第1調整量記憶部)、又はデコーダ30の予測調整量テーブル40を記憶する調整量記憶部(第2調整量記憶部)として機能する。
【0143】
エンコーダ10を構成するコンピュータ装置100において、CPU101は、補助記憶装置106に格納された画像処理プログラムを実行することにより、例えば、対象画像入力部11、DC変換部12、アダマール変換部13、交流成分予測部14、特徴情報特定部15、調整量特定部16、予測残差算出部17、符号化部18、調整量更新部19、及び圧縮データ出力部20を構成する。
【0144】
デコーダ30を構成するコンピュータ装置100において、CPU101は、補助記憶装置106に格納された画像処理プログラムを実行することにより、例えば、圧縮データ入力部31、復号部32、交流成分予測部33、特徴情報特定部34、調整量特定部35、交流成分算出部36、逆アダマール変換部37、調整量更新部38、及び画像表示部39を構成する。
【0145】
メインメモリ102は、例えば、RAM、ROM等であり、CPU101に実行されるプログラム(処理プログラム等)や、各種情報を記憶する。補助記憶装置106は、例えば、Hard DISK Drive(HDD)、Solid State Drive(SSD)等の非一時的記憶デバイス(不揮発性記憶デバイス)であり、CPU101で実行されるプログラムや、各種情報を記憶する。エンコーダ10を構成するコンピュータ装置100では、メインメモリ102は、例えば、予測調整量テーブル21を記憶する。デコーダ30を構成するコンピュータ装置100では、メインメモリ102は、例えば、予測調整量テーブル40を記憶する。
【0146】
GPU103は、例えば、画像処理等の特定の処理の実行に適しているプロセッサであり、例えば、並列的に行われる処理の実行に適している。本実施形態では、GPU103は、CPU101の指示に従って所定の処理を実行する。
【0147】
リーダライタ104は、記録媒体111を着脱可能であり、記録媒体111からのデータの読み出し、及び記録媒体111へのデータの書き込みを行う。記録媒体111としては、例えば、SDメモリーカード、FD(フロッピーディスク:登録商標)、CD、DVD、BD(登録商標)、フラッシュメモリ等の非一時的記録媒体(不揮発性記録媒体)がある。本実施形態においては、記録媒体111に、処理プログラムを格納しておき、リーダライタ104により、これを読み出して、利用するようにしてもよい。また、エンコーダ10を構成するコンピュータ装置100において、記録媒体111に、処理対象の画像データを格納しておき、リーダライタ104により、これを読み出して使用するようにしてもよい。また、エンコーダ10を構成するコンピュータ装置100において、リーダライタ104により、圧縮データを記録媒体111に格納するようにしてもよい。また、デコーダ30を構成するコンピュータ装置100において、リーダライタ104により、記録媒体111から圧縮データを読み出して利用するようにしてもよい。
【0148】
通信I/F105は、ネットワーク50に接続されており、ネットワーク50に接続された他の装置との間でのデータの送受信を行う。
【0149】
入出力I/F107は、例えば、マウス、キーボード等の入力装置109と接続されている。エンコーダ10を構成するコンピュータ装置100において、入出力I/F107は、入力装置109を用いた、エンコーダ10のユーザによる操作入力を受け付ける。また、デコーダ30を構成するコンピュータ装置100において、入出力I/F107は、入力装置109を用いた、デコーダ30のユーザによる操作入力を受け付ける。
【0150】
表示装置108は、例えば、液晶ディスプレイ等のディスプレイ装置であり、各種情報を表示出力する。表示装置108は、例えば、デコーダ30において、画像表示部39による画像の表示に使用される。
【0151】
なお、本発明は、上述の実施形態及び変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。
【0152】
例えば、上記実施形態では、調整量更新部19,38は、予測残差を算出した場合に、常に予測調整量テーブル21,40を更新するようにしていた。本発明はこれに限られず、例えば、パターン出現数が所定数以上になった場合には、調整量更新部19,38は、予測調整量テーブル21,40を更新する処理を行わないようにしてもよい。このようにすると、比較的高精度な予測調整値を得ることができ、それ以降における処理負荷を低減することができる。また、対象画像の隣接画像や類似画像に基づいて、予め予測調整量テーブル21、40を作成しておき、対象画像に対する処理を実行する際には、予め作成した予測調整量テーブル21,40を更新せずにそのまま利用するようにしてもよい。この場合には、エンコーダ10で使用した予測調整量テーブル21のデータを画像の圧縮データに含めてデコーダ30に送信し、デコーダ30では、そのデータ中の予測調整量テーブル21のデータに基づいて予測調整量テーブル40を作成して処理に利用するようにしてもよい。
【0153】
また、上記実施形態では、交流成分γの特徴情報として、対象ブロックと、その対象ブロックの縦方向及び横方向に隣接する4つのブロックのそれぞれの一部の部分ブロックとの輝度の直流成分に関する関係を示すパターンとしていたが、本発明はこれに限られず、例えば、対象ブロックと、その対象ブロックの縦方向及び横方向に隣接する4つのブロックのそれぞれのブロック全体の輝度の直流成分に関する関係を示すパターンとしてもよい。
【0154】
また、上記実施形態では、エンコード処理及びデコード処理において、すべての階層のブロックに対して同様な処理を行って、エンコード又はデコードするようにしていたが、本発明はこれに限られず、いずれかの階層に対して、異なる処理により、エンコード又はデコードするようにしてもよい。
【0155】
また、上記実施形態では、コンピュータ装置100がエンコーダ10又はデコーダ30のいずれか一方を備えている例を示していた。本発明はこれに限られず、コンピュータ装置100内にエンコーダ10とデコーダ30との両方を備えるようにしてもよい。
【符号の説明】
【0156】
1…画像処理システム、10…エンコーダ、11…対象画像入力部、12…DC変換部、13…アダマール変換部、14…交流成分予測部、15…特徴情報特定部、16…調整量特定部、17…予測残差算出部、18…符号化部、19…調整量更新部、20…圧縮データ出力部、21,22,23…予測調整量テーブル、30…デコーダ、31…圧縮データ入力部、32…復号部、33…交流成分予測部、34…特徴情報特定部、35…調整量特定部、36…交流成分算出部、37…逆アダマール変換部、38…調整量更新部、39…画像表示部、40,41,42…予測調整量テーブル、50…ネットワーク、100…コンピュータ装置、101…CPU、102…メインメモリ、108…表示装置、111…記録媒体
図1
図2
図3
図4
図5
図6
図7
図8
図9