特許 6200220 画像処理装置、符号化装置、復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6200220

(24)【登録日】2017年9月1日

(45)【発行日】2017年9月20日

(54)【発明の名称】画像処理装置、符号化装置、復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/126 20140101AFI20170911BHJP

   H04N 19/14 20140101ALI20170911BHJP

   H04N 19/176 20140101ALI20170911BHJP

【ＦＩ】

   H04N19/126

   H04N19/14

   H04N19/176

【請求項の数】6

【全頁数】21

(21)【出願番号】特願2013-132070(P2013-132070)

(22)【出願日】2013年6月24日

(65)【公開番号】特開2015-8367(P2015-8367A)

(43)【公開日】2015年1月15日

【審査請求日】2016年4月25日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】松尾 康孝

(72)【発明者】

【氏名】境田 慎一

(72)【発明者】

【氏名】鹿喰 善明

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 国際公開第２００８／１３２８９０（ＷＯ，Ａ１）

【文献】 特開２００８−１９３５３０（ＪＰ，Ａ）

【文献】 特開平０３−２３０６９１（ＪＰ，Ａ）

【文献】 特開平０６−２８４４４９（ＪＰ，Ａ）

【文献】 特開２０１１−２５４３９３（ＪＰ，Ａ）

【文献】 特開２０００−２０９５８１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

画像の奥行きの情報を用いて画像の量子化ステップを調整する画像処理装置であって、
前記画像に含まれる複数のブロックの各々の空間周波数のパワーを取得する空間周波数取得部と、
前記画像における各画素位置又は各所定領域の奥行きの情報をクラスタリングし、当該クラスタリングの結果に基づいて、前記複数のブロックの各々のクラスタを決定する奥行き情報クラスタリング部と、
所定のクラスタに属する１つ以上のブロックの空間周波数のパワーと、前記所定のクラスタ以外に属する複数のブロックの空間周波数のパワーとに基づいて、前記所定のクラスタに属する前記１つ以上のブロックを被写界深度内に属すると判定する、被写界深度判定部と、
前記被写界深度判定部の判定結果と、前記画像の圧縮率とに基づいて、前記複数のブロックのうち所定のブロックに対して、直交変換された複数の周波数成分の各々の量子化ステップを含む量子化マトリクスの値を修正する、量子化マトリクス修正部と、
を有する画像処理装置。

【請求項2】

前記画像の圧縮率が所定の第１の圧縮率より高い場合を高圧縮率と判定する圧縮率判定部を有し、
前記被写界深度判定部は、
前記所定のクラスタに属する１つ以上のブロックの空間周波数のうち所定の空間周波数を越える空間周波数のパワーの割合が、前記所定のクラスタ以外に属する複数のブロックの空間周波数のうち前記所定の空間周波数を越える空間周波数のパワーの割合より高い場合、前記所定のクラスタに属する前記１つ以上のブロックを被写界深度内に属すると判定し、
前記量子化マトリクス修正部は、前記圧縮率が、高圧縮率である場合、被写界深度内に属すると判定された前記１つ以上のブロックのうち、空間周波数の低周波成分のパワーの割合が所定の割合より高いブロックに対して、前記量子化マトリクスの所定の領域を、より小さい値に修正する、
請求項１記載の画像処理装置。

【請求項3】

前記量子化マトリクス修正部は、前記圧縮率が、所定の第２の圧縮率より低い場合、被写界深度内に属すると判定された前記１つ以上のブロック以外のブロックに対して、前記量子化マトリクスの値を、より大きい値に修正する、
請求項２記載の画像処理装置。

【請求項4】

前記空間周波数の低周波成分のパワーの割合が所定の割合より高いブロックは、第１の閾値以下の空間周波数のパワーを前記第１の閾値を超える空間周波数のパワーで除した値が、第２の閾値を越えるブロックである、請求項２又は３記載の画像処理装置。

【請求項5】

請求項１ないし４のうち何れか１項記載の画像処理装置を備える符号化装置。

【請求項6】

コンピュータを、請求項５記載の符号化装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像の奥行き情報を用いて量子化ステップを調整する画像処理装置、符号化装置、復号装置、及びプログラムに関する。

【背景技術】

【0002】

近年、奥行き情報を取得できる深度センサを搭載したカメラが盛んに研究開発されている。例えば、ＲＧＢにＤ（奥行き）を加えた画像情報を取得するＲＧＢ―Ｄセンサを搭載したカメラの一例として、Ｍｉｃｒｏｓｏｆｔ社のＫｉｎｅｃｔ（登録商標）がある。このような背景から、２次元の画像信号と、奥行き情報とを有する動画像情報の利用が増加することが予想される。

【0003】

また、動画情報を効率的に処理する規格であるＨ．２６４／ＡＶＣ（Advanced Video Coding）やＨ．２６５／ＨＥＶＣ（High Efficiency Video Coding）の映像の圧縮符号化方式では、映像の各フレームをブロックと呼ばれる矩形領域に分割して符号化が行われる。

【0004】

この映像の圧縮の手法の１つとして、画像の符号化の際に量子化の処理が行われる。量子化とは、元々持っているデータの細かさを粗く分け直す処理である。すなわち、直交変換した各周波数成分に対して、所定の量子化ステップで除算した結果を整数値に丸める処理を「量子化」と呼んでいる。逆に、この量子化で得られた整数値に量子化ステップを乗算して直交変換した成分に戻す処理を「逆量子化」と呼ぶ。

【0005】

量子化によって、直交変換した成分よりも小さな整数値と少ないバリエーションとなった量子化値を符号化することで、直交変換した成分を直接符号化するよりも符号化に必要なビット数を少なくすることができる（例えば非特許文献１、及び非特許文献２参照）。

【0006】

図１は、Ｈ．２６４／ＡＶＣにおける、インターブロック（画面間符号化ブロック）の量子化マトリクスの例を示す図である。図１（ａ）は、４×４の１６個のインターブロックの量子化マトリクス１１０を示している。図１（ｂ）は、８×８の６４個のインターブロックの量子化マトリクス１２０を示している。

【0007】

例えば、図１（ｂ）における量子化マトリクス１２０のブロック１０１の量子化ステップ値は、「９」を示している。画像をＤＣＴ（離散コサイン変換）した場合、このブロック１０１に対応するＤＣＴ係数は、ＤＣ（直流）成分に該当する。したがって、ＤＣＴの直流成分を９で除算し、余りを切り捨てた商の値が、ＤＣ成分の量子化後の値となる。

【0008】

量子化ステップが小さい場合には、ＤＣＴ係数の周波数成分を量子化ステップで割り、切り捨てられる余りは一般に小さくなる。このため、量子化された値を逆量子化して戻した値と、量子化前の値との誤差は小さくなり、量子化による画像の品質の劣化は少ない。しかしながら、商の値は一般に大きくなるとともに商の値がとり得るバリエーションが多くなるため、符号化効率（圧縮率）は低下する。したがって、量子化ステップを変えることで、圧縮率、画像の品質等を調整することが可能である。

【0009】

一般に、量子化ステップは、人間の目に認識されやすい低周波成分（図１の量子化マトリクスの左上部分）に対して、小さな値とする。そして、人間の目に対して画像の劣化が認識されにくい高周波成分（図１の量子化マトリクスの右下部分）に対して、大きな値とすることが多い。

【0010】

上述のように、量子化ステップを大きくすれば、画像の符号化効率を高めることができる。しかしながら、空間周波数の低い画像の領域において、等高線のような擬似輪郭が発生する傾向が高くなる。

【0011】

逆に、量子化ステップを小さくすれば、画像の圧縮率は低下するが、画像表現及び精細度が向上した画像を再現することができる。しかしながら、例えば被写界深度外のような、一般的に人間によって重要視されない画像領域においても、低圧縮の処理が施されるため、全体的な圧縮率を低下させることになる。

【0012】

したがって、互いに相反する画像の品質の担保と圧縮率の確保を得るためには、画像の性質に応じて、量子化ステップの値を適切に選ぶことが重要である、

【先行技術文献】

【非特許文献】

【0013】

【非特許文献1】亀山渉、花村剛著、「ディジタル放送教科書（上）ＭＰＥＧ−１／ＭＰＥＧ−２／ＭＰＥＧ−４」、インプレス、２００３年

【非特許文献2】大久保榮監修，「改訂三版 Ｈ．２６４／ＡＶＣ 教科書」、インプレス Ｒ＆Ｄ，ｐ１２４、２００９年１月１日

【発明の概要】

【発明が解決しようとする課題】

【0014】

上述のように、量子化ステップは、擬似輪郭の発生などの画像品質、及び画像データの圧縮率に密接に関連している。そして、被写界深度内にある画像領域は、注視領域である可能性が高いため、擬似輪郭による視覚的な画像の劣化が目立ちやすい。

【0015】

また、ＣＭＯＳ等の撮像素子で生じるノイズは、被写界深度内／外で一様に含まれ、符号化効率を低下させる。しかしながら、ノイズは画像表現及び精細度向上のために重要であり、被写界深度内／外で一様に除去すればよいというものではない。

【0016】

そこで、本発明は、奥行き情報を用いて、画像の被写界深度内／外の情報を求めると共に、この情報を用いて量子化ステップの値を調整することで、画像劣化を抑制し、或いは符号化効率を向上させることを目的とする。

【課題を解決するための手段】

【0017】

本発明の一態様における画像処理装置は、画像の奥行きの情報を用いて画像の量子化ステップを調整する画像処理装置であって、前記画像に含まれる複数のブロックの各々の空間周波数のパワーを取得する空間周波数取得部と、前記画像における各画素位置又は各所定領域の奥行きの情報をクラスタリングし、当該クラスタリングの結果に基づいて、前記複数のブロックの各々のクラスタを決定する奥行き情報クラスタリング部と、所定のクラスタに属する１つ以上のブロックの空間周波数のパワーと、前記所定のクラスタ以外に属する複数のブロックの空間周波数のパワーとに基づいて、前記所定のクラスタに属する前記１つ以上のブロックを被写界深度内に属すると判定する、被写界深度判定部と、前記被写界深度判定部の判定結果と、前記画像の圧縮率とに基づいて、前記複数のブロックのうち所定のブロックに対して、直交変換された複数の周波数成分の各々の量子化ステップを含む量子化マトリクスの値を修正する、量子化マトリクス修正部と、を有する。

【0018】

前記画像の圧縮率が所定の第１の圧縮率より高い場合を高圧縮率と判定する圧縮率判定部を有し、前記被写界深度判定部は、前記所定のクラスタに属する１つ以上のブロックの空間周波数のうち所定の空間周波数を越える空間周波数のパワーの割合が、前記所定のクラスタ以外に属する複数のブロックの空間周波数のうち前記所定の空間周波数を越える空間周波数のパワーの割合より高い場合、前記所定のクラスタに属する前記１つ以上のブロックを被写界深度内に属すると判定し、前記量子化マトリクス修正部は、前記圧縮率が、高圧縮率である場合、被写界深度内に属すると判定された前記１つ以上のブロックのうち、空間周波数の低周波成分のパワーの割合が所定の割合より高いブロックに対して、前記量子化マトリクスの所定の領域を、より小さい値に修正してもよい。

【0019】

また、前記量子化マトリクス修正部は、前記圧縮率が、所定の第２の圧縮率より低い場合、被写界深度内に属すると判定された前記１つ以上のブロック以外のブロックに対して、前記量子化マトリクスの値を、より大きい値に修正してもよい。

【0020】

また、前記空間周波数の低周波成分のパワーの割合が所定の割合より高いブロックは、第１の閾値以下の空間周波数のパワーを前記第１の閾値を超える空間周波数のパワーで除した値が、第２の閾値を越えるブロックであってもよい。

【0021】

また、本発明の他の態様における符号化装置は、上記画像処理装置を備えてもよい。

【0023】

また、本発明の他の態様におけるプログラムは、コンピュータを、上記符号化装置として機能させる。

【発明の効果】

【0025】

本発明によれば、奥行き情報を用いて、画像内の被写界深度内／外判定を行って量子化ステップを調整するので、画像劣化を抑制し、又は符号化効率を向上させることができる。

【図面の簡単な説明】

【0026】

【図1】インターブロック（画面間符号化ブロック）の量子化マトリクスの例を示す図。

【図2】実施例１における画像処理装置の概略ブロック図。

【図3】直交変換ブロックの空間周波数における高帯域の領域の例を示す図。

【図4】実施例１の画像処理装置１０の処理の一例のフローチャート。

【図5】実施例１における被写界深度判定の例を示すフローチャート。

【図6】実施例１の量子化マトリクスの値を修正する例を示すフローチャート。

【図7】実施例２における画像処理装置の概略構成の一例を示すブロック図。

【図8】実施例３における画像処理装置の概略構成の一例を示すブロック図。

【図9】実施例４における画像処理装置の概略構成の一例を示すブロック図。

【発明を実施するための形態】

【0027】

以下、実施例について図面を参照しながら説明する。

【0028】

［実施例１］
実施例１における画像処理装置１０は、修正された量子化マトリクスを決定する装置である。この画像処理装置は、プログラムが実行されることで機能してもよいし、集積回路などにより実装されてもよい。

【0029】

＜実施例１の概要及び位置づけ＞
実施例１は、修正された量子化マトリクス（又は量子化パラメータ）を決定するために、画像の奥行き情報に基づく被写界深度の情報を用いる。この量子化マトリクス（又は量子化パラメータ）は、既に述べたように、画像の符号化の過程において、情報の圧縮を行うために用いられる。したがって、以下に詳述する実施例１は、例えば、画像符号化装置の中で用いることができる。なお、画像符号化装置については、実施例２において、その具体例を示すこととする。

【0030】

なお、実施例１で用いる被写界深度の情報を得るためには、分割された各ブロックにおける奥行き情報と、空間周波数の情報に関して画像の１フレーム分の情報を取得することが望ましい。このため、以下に説明する実施例１においては、１フレームの画像処理を２パスで行う具体例を示す。

【0031】

すなわち、１パス目において、１フレーム内の各ブロックの被写界深度情報が得られる。そして、２パス目において、この被写界深度情報を用いて、１フレーム内の各ブロックの量子化マトリクス（又は量子化パラメータ）を修正する処理が施される。

【0032】

したがって、１パス目及び２パス目のいずれのパスにおいても、実施例１を含む画像符号化装置全体が動作することは、当業者であれば理解されるところである。なお、１パス目におけるブロック分割情報を、そのまま２パス目で用いることが望ましい。このため、１パス目におけるブロック分割情報が保存され、２パス目の処理において、その保存されたブロック分割情報が利用される。なお、実施例１は２パスの処理に限定されるものではない。

【0033】

なお、実施例１においては、画像符号化装置における前処理部、エントロピー符号化部、予測誤差信号、ブロック直交変換後情報、量子化後情報等にも言及している。これらの詳細は、画像符号化装置の具体例を示す実施例２において詳述するが、実施例１の理解を助けるために、これらの概略を以下に簡潔に述べることとする。

【0034】

前処理部は、原画像のピクチャタイプに合わせてピクチャを並べ替え、ピクチャタイプ及びフレーム毎のフレーム画像等を順次出力する。また、前処理部は、ブロック分割なども行う。

【0035】

エントロピー符号化部は、シンボルの出現頻度に応じて可変長の符号を割り当てるものであり、量子化された信号出力等を符号化する。

【0036】

予測誤差信号とは、原画像のブロックのデータと、予測画像のブロックのデータの差分値を意味する。他のフレームの情報又は同一フレーム内の周辺の情報から、画像を予測し、原画像との差分を得て、予測誤差信号を得ることによって、符号化すべき画像の情報量を圧縮することができる。

【0037】

ブロック直交変換後情報とは、予測誤差信号を直交変換することによって得られた情報を意味する。直交変換の手法としては、例えばＤＣＴ（離散コサイン変換）が用いられる。予測誤差信号を直交変換することによって、更に情報の圧縮が可能である。

【0038】

量子化後情報とは、直交変換後の情報を量子化した情報を意味する。直交変換後の情報を量子化することによって出力信号の符号量を低減することができる。

【0039】

以上の前提に基づいて、以下、実施例１の構成及び動作について詳述する。なお、実施例１は、これらの前提に限定されるものではない。
＜実施例１の構成＞
実施例１における１つのフレームに対する処理は、大きく１パス目と２パス目に分けられる。特定のフレームに対する１パス目の処理が終了すると、その特定のフレームに対する２パス目の処理が実行される。

【0040】

図２は、実施例１における画像処理装置１０の概略ブロック図である。図２に示す画像処理装置は、１パス目動作部１４０と、１パス・２パス切替指示部１３０と、量子化マトリクス修正部１６０とを有する。１パス・２パス切替指示部１３０が、１パス目動作指示信号１３２を活性化させ、１パス目動作部１４０を動作させる。また、１パス・２パス切替指示部１３０は、１パス・２パス切替指示１６２を前処理部２００に与え、前処理部２００が１パス目の処理であることを認識させる。なお、前処理部の動作については、後述する。また、１パス・２パス切替指示部１３０は、２パス目動作指示信号１８４を活性化させ、量子化マトリクス修正部１６０を動作させる。また、１パス・２パス切替指示部１３０は、２パス目動作指示信号１８４を活性化させ、後述するエントロピー符号化部を動作させる。

【0041】

１パス目動作部１４０は、ブロック分割情報保存部１１１と、予測誤差信号情報量積算部１１２と、奥行き情報クラスタリング部１１３と、被写界深度判定部１１４と、空間周波数取得部１１５と、量子化後情報量積算部１１６と、圧縮率判定部１１７とを有する。また、被写界深度判定部１１４は被写界深度保存部１１８を含む。

【0042】

１パス目動作部１４０は、１パス目において動作を行い、２パス目は、必用な情報を他の処理部に提供する能力を有する。

【0043】

ブロック分割情報保存部１１１は、前処理部２００からのブロック分割情報１６４を取得し、順次保存する。ブロック分割情報保存部１１１は、少なくとも１フレーム分のブロック分割情報を保存することができる。１フレーム分のブロック分割情報は、被写界深度保存部１１８に提供される。また、１フレーム分のブロック分割情報１６４は、前処理部に提供され、前処理部が、２パス目において、１パス目と同じブロック分割を行うことができるようにする。

【0044】

予測誤差信号情報量積算部１１２は、１フレーム分の予測誤差信号１６８の情報量の積算値ａを取得する。

【0045】

量子化後情報量積算部１１６は、１フレーム分の、量子化後情報１８２を積算し、積算値ｂを取得する。

【0046】

圧縮率判定部１１７は、ｂ／ａ＝ｃを計算することにより、直交変換と量子化により達成される１フレーム分の情報量の圧縮率ｃを取得する。圧縮率ｃが所定の第１の圧縮率より高い場合を「高圧縮率」と判定し、圧縮率ｃが所定の第２の圧縮率より低い場合、「低圧縮率」と判定する。この判定の結果は、２パス目において量子化マトリクス修正部１６０に提供される。

【0047】

奥行き情報クラスタリング部１１３は、例えば、１フレーム分の奥行き情報のヒストグラムを求め、このヒストグラムが取る値の範囲をクラスタ数ｎ（例えばｎ＝２）に等分割し、奥行き情報を分類する。奥行き情報クラスタリング部１１３は、各画素位置又は各所定領域の奥行き情報のクラスタリング結果として、奥行き降順に番号（例えば、クラスタ番号＝１、０）を付与して、このクラスタリング結果を得る。クラスタリングの手法としては、Ｋ−ｍｅａｎｓ法を用いることができる。

【0048】

K-means法は，あらかじめ固定された数（例えば，ｎ個）のクラスタの各々にその代表であるプロトタイプを与え，それぞれのデータを最も近いプロトタイプに割り当てることでクラスタリングを行う手法である。なお、実施例１は、特定のクラスタリング手法に限定されるものではない。

【0049】

被写界深度判定部１１４は、クラスタリング結果、及び空間周波数のパワーの情報として例えばブロック直交変換後情報１７２を用いる。ブロック直交変換後情報１７２は、空間周波数取得部１１５を介して取得される。

【0050】

なお、図２において空間周波数取得部１１５は、ブロック直交変換後情報１７２の代わりに、原画像から空間周波数のパワーを直接求めてもよい。この場合には、空間周波数取得部１１５に、原画像を与える。そして、空間周波数取得部１１５において、該当するブロックについて空間周波数のパワーを計算する。空間周波数のパワーを取得する手法としては、ＤＣＴ（離散コサイン変換）、アダマール変換、離散フーリエ変換などを用いることができる。

【0051】

まず、被写界深度判定部１１４は、同じクラスタにクラスタリングされた直交変換ブロックの空間周波数のうち、高い帯域のパワーの割合を算出する。なお、パワーではなく、空間周波数のレベルの絶対値、空間周波数の成分毎の強度等を用いてもよい。

【0052】

なお、本明細書においては、「空間周波数のパワー」の語を用いるが、この語は、「空間周波数のレベルの絶対値」、「空間周波数の成分毎の強度」等をも意味する語として用いる。

【0053】

図３は、画像の１つのブロックを直交変換して得られた直交変換係数（空間周波数）をブロック状に並べた例を示している。空間周波数成分３００は、１つの直交変換ブロック（８画素×８ライン）の６４画素をＤＣＴ変換した６４個のＤＣＴ係数を、水平成分及び垂直成分に並べたものである。

【0054】

例えば、空間高周波成分の領域は、斜線で示した周波数領域３９０である。周波数領域３９０は、水平方向、及び垂直方向、それぞれの空間最大周波数の１／２を超える領域である。周波数領域３９０の空間周波数のパワーをＨ_１、全体の空間周波数成分３００の空間周波数のパワーをＷ_１とすれば、周波数領域３９０の空間高周波数のパワーの割合α_１は、以下の式で求まる。

【0055】

α_１＝Ｈ_１／Ｗ_１
クラスタ数を２個とし、ここで求めたα_１を、クラスタ０に属する複数のブロックの各々に対して求めて、空間高周波数のパワーの割合の平均値αを求める。同様にクラスタ１に属する複数のブロック全体に対して求めた空間高周波数のパワーの割合の平均値をβとする。

【0056】

そして、αとβを比較し、α＞βであれば、αが導かれたクラスタ０に属する複数のブロックが、被写界深度の領域内であると判断することができる。その理由は、被写界深度内の領域は、ぼけのない鮮明な画像が多いため、空間高周波数のパワーの割合が大きくなるという経験則に基づいているからである。以上のようにして、被写界深度内／外の領域を特定することができる。

【0057】

なお、図３に示す空間高周波数成分の領域の取り方は、一例に過ぎず、実施例１は、これに限定されない。また、上記の例では、クラスタ数を２としたが、３以上のクラスタに分けて、空間高周波数のパワーの割合が最も大きくなるクラスタに属する複数のブロックで構成される領域を、被写界深度内の領域と判定してもよい。

【0058】

また、上述の例では、図３の空間周波数成分３００の左上（０，０）の位置のＤＣＴ係数の直流（ＤＣ）成分をも、全体の空間周波数のパワーの平均値を求める際に利用した。しかしながら、ＤＣ成分は、ブロックの明るさに関連する係数であるため、空間周波数のパワーの平均値を求める際に、計算から除外してもよい。ＤＣ成分を除外することによって、画像の明るさに左右されずに、空間高周波数のパワーの割合α_１を求めることができる。

【0059】

被写界深度判定部１１４に含まれる被写界深度保存部１１８は、ブロック分割情報保存部１１１からの情報と、被写界深度判定部１１４での情報とを用いて、１フレームに含まれる各ブロックの被写界深度の内／外の情報を保存する。

【0060】

以上の処理によって、１パス目動作部１４０は、現在処理しているフレームが、高圧縮率、低圧縮率、あるいはそれ以外かの特定を行う。加えて、１パス目動作部１４０は、１フレームの各ブロックに対して、被写界深度の内／外の特定を行う。

【0061】

１パス・２パス切替指示部１３０は、前処理部２００に対し、２パス目の処理であることを伝達する。前処理部２００は、この伝達に応答して、ブロック分割情報保存部１１１から得られたブロック分割情報に従って、ブロック分割を行い、各ブロックが処理されるよう、ブロックに関する情報を順次出力する。また、１パス・２パス切替指示部１３０は、２パス目動作指示信号１８４を、量子化マトリクス修正部１６０及びエントロピー符号化部２０４に与える。なお、エントロピー符号化部２０４については、図７を用いて後述する。

【0062】

量子化マトリクス修正部１６０は、符号化のために一旦作成された量子化マトリクス又は量子化パラメータであるＱｐ値１７４、被写界深度判定部１１４からの情報、空間周波数取得部１１５からの情報、及び圧縮率判定部１１７からの情報を受け取る。量子化マトリクス修正部１６０は、符号化のために一旦作成された量子化マトリクス又は量子化パラメータであるＱｐ値１７４を修正することができる。

【0063】

まず、圧縮率判定部１１７が、高圧縮であると判定した場合を説明する。この場合には、量子化マトリクス修正部１６０は、被写界深度内に属するブロックに対して、擬似輪郭の発生を抑制する処理を施す。

【0064】

量子化マトリクス修正部１６０は、被写界深度内に属するブロックのうち、空間低周波数のパワーの割合が、例えば所定の閾値より高いブロックを特定する。一般に、被写界深度内のブロックは、鮮明度が高いため、空間低周波数のパワーよりも空間高周波数のパワーの割合が高い場合が多い。しかしながら、オブジェクトのテクスチャ自体が空間低周波数を持つような場合には、被写界深度内においても、空間低周波数のパワーの割合が高いブロックが存在する場合がある。このようなブロックでは、上述のように擬似輪郭が発生する確率が高い。しかも被写界深度内にそのブロックが存在するために、この擬似輪郭が目立ちやすいと判断される。

【0065】

したがって、量子化マトリクス修正部１６０は、このようなブロックに対して、擬似輪郭の発生を抑制するために、量子化マトリクスの値を、より小さくすることが望ましい。このため、量子化マトリクス修正部１６０は、このようなブロックを特定する。

【0066】

量子化マトリクス修正部１６０は、特定されたブロックの量子化ステップを、より小さな値にして修正する。たとえば、量子化マトリクス修正部１６０は、量子化マトリクスの各要素の値を１／２にした値に修正してもよい。或いは、量子化マトリクス修正部１６０は、Ｑｐ値を、例えば６減算してもよい。Ｑｐ値が６減算されると、量子化マトリクスの値の各々は、１／２に設定されることになる。

【0067】

或いは、例えば、図３に周波数領域３９０で示した量子化マトリクスの空間高周波成分の領域に対応する量子化マトリクスの値のみを１／２にした値に修正してもよい。あるいは、図３において、行番号が４以上、列番号が４以上の周波数領域に対応する量子化マトリクスの値のみを１／２にした値に修正してもよい。なお、修正のための係数１／２の値は例であり、その他の計数値を掛けても良いことは言うまでもない。また、空間高周波成分としてどの空間周波数の帯域を採用するかは、上記の例に限定されない。

【0068】

上述のように、空間高周波成分に対応する量子化マトリクスの値を小さくする理由は、擬似輪郭が縞模様を呈するため、縞模様の部分で、高周波数成分が増加しているためである。したがって、擬似輪郭を抑制するためには、高周波成分の量子化誤差を小さくすることが効果的である場合が多い。

【0069】

或いは、量子化マトリクス修正部１６０は、量子化マトリクスの値の各々を個別に修正し、新たな値を有する量子化マトリクスを生成する。

【0070】

次に、圧縮率判定部１１７が、低圧縮であると判定した場合を説明する。この場合には、符号化効率を高める処理を行うことができる。量子化マトリクス修正部１６０は、被写界深度判定部１１４で、被写界深度外であると判定された直交変換ブロックに対する量子化マトリクスの値を、より大きな値にして修正する。この理由は、被写界深度外の領域は、注視領域でない場合が多いため、この領域における圧縮率を高めても、画像の劣化が認識されにくいことが経験側として存在するからである。量子化マトリクス修正部１６０は、被写界深度判定部１１４で、被写界深度外であると判定された直交変換ブロックに対する量子化マトリクスの値を、例えば２倍の値に修正してもよい。なお、実施例１は、２倍に限定されるものではない。

【0071】

或いは、上記の場合には、量子化マトリクス修正部１６０は、Ｑｐ値に、例えば６を加算してもよい。上述のように、Ｑｐ値に６を加算すると、量子化マトリクスの値の各々は、２倍される。或いは、量子化マトリクス修正部１６０は、量子化マトリクスの値の各々を個別に修正し、新たな値を有する修正された量子化マトリクス１８６を生成してもよい。

【0072】

以上のようにして、量子化マトリクス修正部１６０によって修正された量子化マトリクスの情報は、エントロピー符号化を経て復号側に伝送される（１８６）。また、併せて、被写界深度内／外の情報も復号側に伝送されてもよい。

【0073】

なお、上述の説明において、Ｑｐ値を修正した場合には、修正されたＱｐ値を復号側に伝送すればよい。例えば、Ｈ．２６４／ＡＶＣの規格では、規格上Ｑｐ値を復号側に送ることになっている。このため、修正されたＱｐ値が復号側に送られれば、復号側は、量子化マトリクスの修正に係る追加的な復号化の機能を新たに設ける必要はない。

【0074】

＜動作＞
次に、実施例１における画像処理装置１０の動作について説明する。図４は、画像処理装置１０の処理の一例を示す図である。図４に示すステップＳ４１０で、空間周波数取得部１１５は、ブロック直交変換後情報１７２を取得する。なお、上述のように、空間周波数取得部１１５は、原画像のフレーム（画像）に対して、直交変換が行われるブロック（直交変換ブロック）領域毎に、空間周波数解析を独自に行ってもよい。

【0075】

ステップＳ４２０で、被写界深度判定部１１４は、画像のブロック毎の被写界深度の内／外判定を行う。判定では、例えば画素毎、又は所定の領域毎に取得された２５６段階の奥行き情報をK-means法などによりクラスタ化を行ってもよい。クラスタ数ｎとしては、例えば、ｎ＝２とする。動作の詳細については、図５で述べる。ブロック毎の被写界深度の情報は、ブロック分割情報保存部１１１のブロック分割の情報に対応付けて、被写界深度保存部１１８に保存される。

【0076】

ステップＳ４３０で、圧縮率判定部１１７は、画像全体の圧縮率の高低を判定する。圧縮率判定部１１７は、例えば、フレームの圧縮率を、上述のように予測誤差信号情報量積算部１１２の情報と、量子化後情報量積算部１１６の情報との比を計算することによって求めることができる。

【0077】

ステップＳ４４０で、量子化マトリクス修正部１６０は、符号化のために一旦作成された量子化マトリクス又はＱｐ値１７４を修正し、修正された量子化マトリクス又はＱｐ値１８６を得る。この動作の詳細については、図６を用いて説明する。

【0078】

図５は、実施例１における被写界深度の判定の例を示すフローチャートである。

【0079】

ステップＳ５１０で、１フレーム分の奥行き情報１７０に基づいて、奥行き情報クラスタリング部１１３は、各ブロックをクラスタ化する。クラスタ化の一例を以下に示す。

【0080】

まず、奥行き情報クラスタリング部１１３は、奥行き情報のヒストグラムを求め、このヒストグラムが取る値の範囲をクラスタ数ｎ（例えばｎ＝２）に等分割し、奥行き情報を分類する。

【0081】

奥行き情報クラスタリング部１１３は、各画素位置又は各所定領域の奥行き情報のクラスタリング結果として、奥行き降順に番号（クラスタ番号＝１、０）を付与して、このクラスタリング結果を得る。

【0082】

奥行き情報クラスタリング部１１３は、ブロック毎に、クラスタリング情報の代表値を取得する。例えば、奥行き情報クラスタリング部１１３は、ブロック毎にクラスタリング情報を平均化し、端数を四捨五入する整数化を行うことで、ブロック毎に１つの奥行き情報（クラスタ番号の代表値＝１又は０）を取得する。例えば、上述の整数化を行った値が１であれば、クラスタ番号の代表値＝１とする。また、整数化を行った値が０であれば、クラスタ番号の代表値＝０とすればよい。なお、奥行き情報クラスタリング部１１３は、ブロック毎に、クラスタリング情報の中央値や最頻値をクラスタ番号の代表値としてもよい。

【0083】

ステップＳ５２０で、被写界深度判定部１１４は、奥行き情報クラスタリング部１１３からの情報を用いて、同じクラスタに属するブロック毎に空間高周波数のパワーの割合を算出する。ブロックにおける空間高周波数のパワーの割合の計算の例については、図３を用いて既に説明したので、説明は省略する。

【0084】

ステップＳ５３０で、被写界深度判定部１１４は、空間高周波数のパワーの割合が最も高いクラスタを特定する。この特定されたクラスタに属する複数のブロックが被写界深度内に存在する可能性の高いブロックであると推定できる。

【0085】

ステップＳ５４０で、被写界深度判定部１１４は、特定されたクラスタに属するブロックの情報を、被写界深度保存部１１８に送る。被写界深度保存部１１８に保存された情報は、２パス目において、量子化マトリクス修正部１６０において用いられる。

【0086】

図６は、量子化マトリクス修正部１６０が、量子化マトリクスの値を修正する例を示したフローチャートである。

【0087】

ステップＳ６１０で、量子化マトリクス修正部１６０は、圧縮率判定部１１７からの圧縮率の情報（高圧縮率であるか低圧縮率であるかの情報）を基に、処理の分岐のための判定を行う。判定結果が「はい」であれば、高圧縮であるためステップＳ６２０に進む。判定結果が「いいえ」であれば、ステップＳ６１１に進む。

【0088】

ステップＳ６１１で、量子化マトリクス修正部１６０は、圧縮率判定部１１７からの圧縮率の情報（高圧縮率であるか低圧縮率であるかの情報）を基に、処理の分岐のための判定を行う。判定結果が「はい」であれば低圧縮であるためステップＳ６４０に進む。判定結果が「いいえ」であれば、高圧縮でも低圧縮でもないため、終了する。

【0089】

ステップＳ６２０で、量子化マトリクス修正部１６０は、被写界深度内に属するブロックのうち、空間低周波数のパワーの割合が、例えば所定の閾値より高いブロックを特定する。一般に、被写界深度内のブロックは、鮮明度が高いため、空間低周波数のパワーよりも空間高周波数のパワーの割合が高い場合が多い。しかしながら、オブジェクトのテクスチャ自体が空間低周波数を持つような場合には、被写界深度内においても、空間低周波数のパワーの割合が高いブロックが存在する場合がある。このようなブロックでは、上述のように擬似輪郭が発生する確率が高い。しかも被写界深度内にそのブロックが存在するために、この擬似輪郭が目立ちやすいと判断される。このようなブロックは、例えば、ブロック内における第１の閾値以下の空間周波数のパワーを第１の閾値を超える空間周波数のパワーで除した値が、第２の閾値を越えるブロックを見出せばよい。なお、第１の閾値、及び第２の閾値は、本実施例を実装する際に、当業者が適宜設定することができる。

【0090】

したがって、量子化マトリクス修正部１６０は、このようなブロックに対して、擬似輪郭の発生を抑制するために、量子化マトリクスの値を、より小さくすることが望ましい。このため、量子化マトリクス修正部１６０は、このようなブロックを特定する。

【0091】

ステップＳ６３０で、量子化マトリクス修正部１６０は、特定されたブロックの量子化ステップを、より小さい値に設定する。量子化マトリクスの値の設定の例については、既に量子化マトリクス修正部１６０の説明の部分で詳述したので、ここでは省略する。

【0092】

ステップＳ６４０で、量子化マトリクス修正部１６０は、被写界深度外のブロックを特定する。被写界深度外のブロックは、経験則上、目に止まりにくいと判断される。したがって、被写界深度外のブロックの圧縮率を上げても、画像の劣化は目立ちにくいと予測される。このような理由から、量子化マトリクス修正部１６０は、被写界深度外のブロックの圧縮率を上げるように、被写界深度外のブロックに対応する量子化マトリクスの値を、より大きくする。量子化マトリクスの値の設定の例については、既に量子化マトリクス修正部１６０の説明の部分で詳述したので、ここでは省略する。

【0093】

以上、実施例１では、奥行き情報から、被写界深度に関する情報を取得することができる。加えて、この被写界深度の情報を用いて、画質の向上、又は圧縮率の増加を図ることができる。より詳細には、高圧縮時においては、被写界深度内に発生し得る擬似輪郭の発生を充分に抑制することができる。また、低圧縮時においては、被写界深度外の領域の量子化ステップを増加させることで、画像の劣化がなるべく目立たないように、圧縮率を上げることができる。

【0094】

［実施例２］
実施例２では、実施例１における画像処理装置１０を画像処理部（１）１１に含む画像処理装置（画像符号化装置）について説明する。

【0095】

＜構成＞
図７は、実施例２における画像処理装置２０の概略構成の一例を示すブロック図である。図７に示す例では、画像処理装置２０は、前処理部２００と、予測誤差信号生成部２０１と、直交変換部２０２と、量子化部２０３と、エントロピー符号化部２０４と、逆量子化部２０５と、逆直交変換部２０６と、復号画像生成部２０７と、ループフィルタ部２０９と、復号画像記憶部２１０と、イントラ予測部２１１と、インター予測部２１２と、動きベクトル計算部２１３と、予測画像選択部２１５と、画像処理部（１）１１とを有する。各部についての概略を以下に説明する。

【0096】

前処理部２００は、ピクチャタイプに合わせてピクチャを並べ替え、ピクチャタイプ及びフレーム毎のフレーム画像等を順次出力する。また、前処理部２００は、ブロック分割なども行い、ブロック分割の境界情報を、画像処理部（１）１１、及びループフィルタ部２０９に出力する。前処理部２００は、画像処理部（１）１１から、１パス・２パス切替指示１６２を取得する。また、前処理部２００は、画像処理部（１）１１との間で、ブロック分割情報を、信号線１６４を介して交換する。前処理部２００は、１パス目で、ブロック分割情報を画像処理部（１）１１に与える。そして、前処理部２００は、２パス目で、ブロック分割情報を画像処理部（１）１１から取得する。このようにすることによって、前処理部２００は、１パス目のブロック分割と同じブロック分割を、２パス目で用いることができる。

【0097】

予測誤差信号生成部２０１は、入力された原画像データの符号化対象画像が、例えば３２×３２、１６×１６、８×８画素などのブロックに分割されたブロックデータを取得する。

【0098】

予測誤差信号生成部２０１は、そのブロックデータと、予測画像選択部２１５から出力される予測画像のブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部２０１は、生成された予測誤差信号を、画像処理部（１）１１、及び直交変換部２０２に出力する。

【0099】

直交変換部２０２は、入力された予測誤差信号を直交変換処理する。直交変換部２０２は、変換された係数値を示す信号を、画像処理部（１）１１、及び量子化部２０３に出力する。

【0100】

量子化部２０３は、直交変換部２０２からの出力信号を量子化する。量子化部２０３は、量子化することによって出力信号の符号量を低減し、この出力信号を画像処理部（１）１１、エントロピー符号化部２０４、及び逆量子化部２０５に出力する。

【0101】

画像処理部（１）１１は、実施例１で説明した画像処理装置１０を含み得る。なお、画像処理部（１）１１は、量子化部２０３から信号線１７４により量子化パラメータ等を受け取る。そして、画像処理部（１）１１によって修正された量子化パラメータの情報が、信号線１８６によって、量子化部２０３に返される。量子化部２０３は、この修正された量子化パラメータを使用して、量子化を実行する。なお、画像処理部（１）１１は、量子化パラメータの代わりに、量子化マトリクス自体を修正して、量子化部２０３に与えてもよい。画像処理部（１）１１には、信号線１７０を介して、前処理部２００から奥行き情報が入力されている。なお、前処理部２００は、上述のように原画像を画像処理部（１）１１に提供してもよい。原画像は、図２示す空間周波数取得部１１５で利用され得る。また、奥行き情報は、図２示す奥行き情報クラスタリング部１１３で利用される。また、画像処理部（１）１１には、直交変換部２０２から信号線７１０を介して、直交変換係数が入力される。この直交変換係数は、図２に示す空間周波数取得部１１５が利用する。

【0102】

エントロピー符号化部２０４は、画像処理部（１）１１から２パス目動作指示信号１８４を受け取ることにより、２パス目であることを認識し動作する。エントロピー符号化部２０４は、量子化部２０３からの出力信号や、動きベクトル計算部２１３から出力された動きベクトル情報やループフィルタ部２０９からのフィルタ係数などをエントロピー符号化して出力する。

【0103】

また、エントロピー符号化部２０４は、イントラ予測部２１１から取得したイントラ予測方向の差分値や、インター予測部２１２から取得した動きベクトルと予測ベクトルの差分値などをエントロピー符号化する。

【0104】

また、エントロピー符号化部２０４は、画像処理部（１）１１で修正された量子化マトリクスの情報を符号化する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。

【0105】

逆量子化部２０５は、量子化部２０３からの出力信号を逆量子化してから逆直交変換部２０６に出力する。逆直交変換部２０６は、逆量子化部２０５からの出力信号を逆直交変換処理してから復号画像生成部２０７に出力する。これら逆量子化部２０５及び逆直交変換部２０６によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。

【0106】

復号画像生成部２０７は、イントラ予測部２１１で画面内予測された画像或いはインター予測部２１２で動き補償された画像のブロックデータと、逆量子化部２０５及び逆直交変換部２０６により復号処理された予測誤差信号とを加算する。復号画像生成部２０７は、加算して生成した復号画像のブロックデータを、ループフィルタ部２０９に出力する。

【0107】

ループフィルタ部２０９は、例えばＡＬＦ（Adaptive Loop Filter）やデブロッキングフィルタである。ループフィルタ部２０９は、フィルタ処理結果を復号画像記憶部２１０に出力し、蓄積された１画像分のフィルタ処理結果を参照画像として記憶させる。

【0108】

復号画像記憶部２１０は、入力した復号画像のブロックデータを新たな参照画像のデータとして記憶し、イントラ予測部２１１、インター予測部２１２及び動きベクトル計算部２１３に出力する。

【0109】

イントラ予測部２１１は、符号化対象画像の処理対象ブロックに対して、既に符号化された参照画素から予測画像のブロックデータを生成する。イントラ予測部２１１は、複数の予測方向を用いて予測を行い、最適な予測方向を決定する。予測方向については、符号化済みブロックの予測方向との差分値をビットストリームに含めるために、差分値がエントロピー符号化部２０４に出力される。

【0110】

インター予測部２１２は、復号画像記憶部２１０から取得した参照画像のデータを動きベクトル計算部２１３から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。動きベクトルについては、符号化済みブロックの動きベクトル（予測ベクトル）との差分値をビットストリームに含めるために、差分値がエントロピー符号化部２０４に出力される。

【0111】

動きベクトル計算部２１３は、符号化対象画像におけるブロックデータと、復号画像記憶部２１０から取得する参照画像とを用いて、動きベクトルを求める。

【0112】

動きベクトル計算部２１３は、求めた動きベクトルをインター予測部２１２に出力し、参照画像を示す情報を含む動きベクトル情報をエントロピー符号化部２０４に出力する。

【0113】

イントラ予測部２１１とインター予測部２１２から出力されたブロックデータは、予測画像選択部２１５に入力される。

【0114】

予測画像選択部２１５は、イントラ予測部２１１とインター予測部２１２から取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部２０１に出力される。

【0115】

なお、図７に示す画像処理装置２０の構成は一例であり、必要に応じて各構成を組み合わせたり、各構成を適宜変更したりしてもよい。

【0116】

以上、実施例２によれば、画像符号化時に、奥行き情報を得て、得られた奥行き情報に基づいて、高圧縮時には擬似輪郭の抑制又は、低圧縮時には圧縮率の向上を図ることができる。

【0117】

［実施例３］
実施例３における画像処理装置（画像復号装置）は、実施例２における画像処理装置２０で符号化されたビットストリームを復号する装置である。

【0118】

＜構成＞
図８は、実施例３における画像処理装置３０の概略構成の一例を示すブロック図である。図８に示すように、画像処理装置３０は、エントロピー復号部３０１と、逆量子化部３０２と、逆直交変換部３０３と、イントラ予測部３０４と、復号情報記憶部３０５と、インター予測部３０６と、予測画像選択部３０７と、復号画像生成部３０８と、ループフィルタ部３１０と、フレームメモリ３１１とを有する。各部についての概略を以下に説明する。

【0119】

エントロピー復号部３０１は、ビットストリームが入力されると、画像処理装置２０のエントロピー符号化に対応するエントロピー復号を行う。エントロピー復号部３０１により復号された予測誤差信号などは逆量子化部３０２に出力される。また、実施例１又は２において利用された量子化マトリクスの修正に関する情報、及びインター予測されている場合の、復号された動きベクトルの差分値などは復号情報記憶部３０５に出力される。

【0120】

また、エントロピー復号部３０１は、イントラ予測の場合、イントラ予測部３０４にその旨通知する。また、エントロピー復号部３０１は、復号対象画像がインター予測されているか、イントラ予測されているかを予測画像選択部３０７に通知する。

【0121】

逆量子化部３０２は、エントロピー復号部３０１からの出力信号に対して、必要に応じて実施例１又は２において利用された量子化マトリクスの修正に関する情報を考慮して、逆量子化処理を行う。逆量子化された出力信号は逆直交変換部３０３に出力される。

【0122】

逆直交変換部３０３は、逆量子化部３０２からの出力信号の復号ブロックに対して逆直交変換処理を行い、残差信号を生成する。残差信号は復号画像生成部３０８に出力される。

【0123】

イントラ予測部３０４は、フレームメモリ３１１から取得する復号対象画像の既に復号化された周辺画素から、複数の予測方向を用いて予測画像を生成する。

【0124】

復号情報記憶部３０５は、分割モードなどの復号情報を記憶する。

【0125】

インター予測部３０６は、フレームメモリ３１１から取得した参照画像のデータを復号情報記憶部３０５から動きベクトルの差分値などを取得する。インター予測部３０６は、予測ベクトルを決定し、決定した予測ベクトルと、動きベクトルの差分値とを加算し、動きベクトルを生成する。インター予測部３０６は、生成した動きベクトルを用いて動き補償を行う。これにより、動き補償された参照画像としてのブロックデータが生成される。

【0126】

予測画像選択部３０７は、イントラ予測画像、又はインター予測画像のどちらか一方の予測画像を選択する。選択されたブロックデータは、復号画像生成部３０８に出力される。

【0127】

復号画像生成部３０８は、予測画像選択部３０７から出力される予測画像と、逆直交変換部３０３から出力される残差信号とを加算し、復号画像を生成する。生成された復号画像はループフィルタ部３１０に出力される。

【0128】

ループフィルタ部３１０は、復号画像生成部３０８から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ループフィルタ処理後の復号画像をフレームメモリ３１１に出力する。

【0129】

なお、ループフィルタ後の復号画像は表示装置などに出力される。

【0130】

フレームメモリ３１１は、参照画像となる復号画像などを記憶する。なお、復号情報記憶部３０５とフレームメモリ３１１は、分けた構成にしているが、同じ記憶部であってもよい。

【0131】

以上、実施例３によれば、実施例２の符号時に使用された量子化マトリクスに係る修正の情報を用いて、画像処理装置２０で符号化されたビットストリームを、適切に復号することができる。

【0132】

［実施例４］
図９は、実施例４における画像処理装置４０の概略構成の一例を示すブロック図である。図９に示す画像処理装置４０は、上述した実施例１〜３で説明した画像処理をソフトウェアで実装した装置の一例である。

【0133】

図９に示すように、画像処理装置４０は、制御部４０１と、主記憶部４０２と、補助記憶部４０３と、ドライブ装置４０４と、ネットワークＩ／Ｆ部４０６と、入力部４０７と、表示部４０８とを有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

【0134】

制御部４０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部４０１は、主記憶部４０２又は補助記憶部４０３に記憶された画像処理のプログラムを実行する演算装置である。制御部４０１は、入力部４０７や記憶装置からデータを受け取り、演算、加工した上で、表示部４０８や記憶装置などに出力する。

【0135】

また、制御部４０１は、画像処理のプログラムを実行することで、実施例１〜４で説明した処理を実現することができる。

【0136】

主記憶部４０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部４０２は、制御部４０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

【0137】

補助記憶部４０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

【0138】

ドライブ装置４０４は、記録媒体４０５、例えばフレキシブルディスクからプログラムを読み出し、記憶部にインストールする。

【0139】

また、記録媒体４０５に、所定のプログラムを格納し、この記録媒体４０５に格納されたプログラムはドライブ装置４０４を介して画像処理装置４０にインストールされる。インストールされた所定のプログラムは、画像処理装置４０により実行可能となる。

【0140】

ネットワークＩ／Ｆ部４０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置４０とのインターフェースである。

【0141】

入力部４０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部４０８の表示画面上でキーの選択等を行うためのマウスやスライドパット等を有する。表示部４０８は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部４０１から入力される表示データに応じた表示が行われる。

【0142】

なお、図２の画像処理装置１０、図７の画像処理装置２０、及び図８の画像処理装置３０の各部は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。

【0143】

また、図７に示す復号画像記憶部２１０は、例えば主記憶部４０２又は補助記憶部４０３により実現され、図７に示す復号画像記憶部２１０以外の構成は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。

【0144】

また、図８に示す復号情報記憶部３０５及びフレームメモリ３１１は、例えば主記憶部４０２又は補助記憶部４０３により実現されうる。図８に示す復号情報記憶部３０５及びフレームメモリ３１１以外の構成は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。

【0145】

画像処理装置４０で実行されるプログラムは、実施例１〜３で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部４０１が補助記憶部４０３からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部４０２上にロードされ、１又は複数の各部が主記憶部４０２上に生成されるようになっている。

【0146】

このように、上述した実施例１〜３で説明した画像処理は、コンピュータに実行させるためのプログラムとして実現することができる。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、実施例１〜３で説明した処理を実現することができる。

【0147】

また、このプログラムを記録媒体４０５に記録し、このプログラムが記録された記録媒体４０５をコンピュータや携帯端末などの処理装置に読み取らせて、前述した画像処理を実現させることも可能である。

【0148】

なお、記録媒体４０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

【0149】

また、上述した各実施例で説明した画像処理は、１つ又は複数の集積回路に実装され得る。なお、実施例４における画像処理装置４０は、上記の通り、画像処理装置１０、２０、３０の少なくとも１つの装置としての機能を有する。

【0150】

また、上述した各実施例における画像処理装置は、奥行き情報を用いて被写界深度情報を出力し、または量子化マトリクスを修正する符号化技術に対して適用可能であり、Ｈ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣだけに限られるものではない。

【0151】

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。

【符号の説明】

【0152】

１０、２０、３０、４０ 画像処理装置
１１ 画像処理部（１）
１１１ ブロック分割情報保存部
１１２ 予測誤差信号情報量積算部
１１３ 奥行き情報クラスタリング部
１１４ 被写界深度判定部
１１５ 空間周波数取得部
１１６ 量子化後情報量積算部
１１７ 圧縮率判定部
１１８ 被写界深度保存部
１３０ １パス・２パス切替指示部
１６０ 量子化マトリクス修正部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】