特開 2023-114388 符号化補助情報生成装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023114388

(43)【公開日】2023-08-17

(54)【発明の名称】符号化補助情報生成装置及びプログラム

(51)【国際特許分類】

   H04N 19/85 20140101AFI20230809BHJP

【ＦＩ】

H04N19/85

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022016729

(22)【出願日】2022-02-04

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(71)【出願人】

【識別番号】591053926

【氏名又は名称】一般財団法人ＮＨＫエンジニアリングシステム

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】松尾 康孝

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159KK25

5C159MA04

5C159MA05

5C159MA41

5C159MD00

5C159NN01

5C159UA02

(57)【要約】

【課題】符号化難易度を高精度に求める。
【解決手段】符号化補助情報生成装置１は、原画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた量子化パラメータ及び動きベクトルの情報を抽出する符号化情報抽出部１１と、量子化パラメータの値に基づく第１符号化難易度と、動きベクトルの大きさ及び分散に基づく第２符号化難易度とを重み付け加算することにより、符号化ブロック位置毎の符号化難易度を算出する符号化難易度算出部１２と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

原画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた量子化パラメータ及び動きベクトルの情報を抽出する符号化情報抽出部と、
前記量子化パラメータの値に基づく第１符号化難易度と、前記動きベクトルの大きさ及び分散に基づく第２符号化難易度とを重み付け加算することにより、符号化ブロック位置毎の符号化難易度を算出する符号化難易度算出部と、
を備える符号化補助情報生成装置。

【請求項2】

前記符号化難易度算出部は、前記符号化難易度が閾値を超える符号化ブロックを示す領域を符号化困難領域として検出する、請求項１に記載の符号化補助情報生成装置。

【請求項3】

原画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた量子化パラメータ及び動きベクトルの情報を抽出する符号化情報抽出部と、
前記原画像に対して位相情報を保持しながら空間方向の周波数帯域分解を行い、周波数帯域成分を生成する周波数分解部と、
前記量子化パラメータの値に基づく第１符号化難易度と、前記動きベクトルの大きさ及び分散に基づく第２符号化難易度と、前記周波数帯域成分の高周波数帯域における大きさに基づく第３符号化難易度とを重み付け加算することにより、画素位置毎の符号化難易度を算出する符号化難易度算出部と、
を備える符号化補助情報生成装置。

【請求項4】

前記周波数分解部は、前記原画像に対して、時間方向にも周波数帯域分解を行い、前記周波数帯域成分を生成する、請求項３に記載の符号化補助情報生成装置。

【請求項5】

前記符号化難易度算出部は、前記第３符号化難易度を、時間低周波数帯域の符号化難易度と時間高周波数帯域の符号化難易度とを重み付け加算することにより算出する、請求項４に記載の符号化補助情報生成装置。

【請求項6】

前記符号化難易度算出部は、前記符号化難易度が閾値を超える画素位置を示す領域を符号化困難領域として検出する、請求項３から５のいずれか一項に記載の符号化補助情報生成装置。

【請求項7】

コンピュータを、請求項１から６のいずれか一項に記載の符号化補助情報生成装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化補助情報生成装置及びプログラムに関する。

【背景技術】

【0002】

Ｈ．２６５／ＨＥＶＣ(High Efficiency Video Coding)、Ｈ.２６６／ＶＶＣ（Versatile Video Coding）などの符号化方式では、ＤＣＴ（Discrete Cosine Transform）などの直交変換や動きベクトルを用いた動き補償が行われる。Ｈ．２６５／ＨＥＶＣの技術の詳細については、例えば非特許文献１に詳細に記載されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】大久保榮監修、「インプレス標準教科書シリーズ Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、２０１３年１０月２１日

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般に、フレーム画像内の符号化難易度を定量的に検出するためには、符号化前の画像を基準とした符号化後の画像のＰＳＮＲ（Peak Signal to Noise Ratio）を画像小領域毎に調べるなどの方法が考えられる。しかし、Ｈ．２６５／ＨＥＶＣ、Ｈ.２６６／ＶＶＣなどの符号化方式において発生する符号化画質劣化や大量のブロック歪などの符号化画質破綻は、必ずしもＰＳＮＲが低い画像領域において発生するとは限らないという課題があった。

【課題を解決するための方法】

【0005】

かかる事情に鑑みてなされた本発明の目的は、符号化難易度を高精度に求めることができる符号化補助情報生成装置を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するため、一実施形態に係る符号化補助情報生成装置は、原画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた量子化パラメータ及び動きベクトルの情報を抽出する符号化情報抽出部と、前記量子化パラメータの値に基づく第１符号化難易度と、前記動きベクトルの大きさ及び分散に基づく第２符号化難易度とを重み付け加算することにより、符号化ブロック位置毎の符号化難易度を算出する符号化難易度算出部と、を備える。

【0007】

さらに、一実施形態に係る符号化補助情報生成装置において、前記符号化難易度算出部は、前記符号化難易度が閾値を超える符号化ブロックを示す領域を符号化困難領域として検出してもよい。

【0008】

また、上記課題を解決するため、一実施形態に係る符号化補助情報生成装置は、原画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた量子化パラメータ及び動きベクトルの情報を抽出する符号化情報抽出部と、前記原画像に対して位相情報を保持しながら空間方向の周波数帯域分解を行い、周波数帯域成分を生成する周波数分解部と、前記量子化パラメータの値に基づく第１符号化難易度と、前記動きベクトルの大きさ及び分散に基づく第２符号化難易度と、前記周波数帯域成分の高周波数帯域における大きさに基づく第３符号化難易度とを重み付け加算することにより、画素位置毎の符号化難易度を算出する符号化難易度算出部と、を備える。

【0009】

さらに、一実施形態に係る符号化補助情報生成装置において、前記周波数分解部は、前記原画像に対して、時間方向にも周波数帯域分解を行い、前記周波数帯域成分を生成してもよい。

【0010】

さらに、一実施形態に係る符号化補助情報生成装置において、前記符号化難易度算出部は、前記第３符号化難易度を、時間低周波数帯域の符号化難易度と時間高周波数帯域の符号化難易度とを重み付け加算することにより算出してもよい。

【0011】

さらに、一実施形態に係る符号化補助情報生成装置において、前記符号化難易度算出部は、前記符号化難易度が閾値を超える画素位置を示す領域を符号化困難領域として検出してもよい。

【0012】

また、一実施形態係るプログラムは、コンピュータを、上記符号化補助情報生成装置として機能させる。

【発明の効果】

【0013】

本発明によれば、符号化難易度を高精度に求めることができ、符号化画質劣化や符号化画質破綻の抑制などに役立てることが可能となる。

【図面の簡単な説明】

【0014】

【図1】第１の実施形態に係る符号化補助情報生成装置の構成例を示すブロック図である。

【図2】第２の実施形態に係る符号化補助情報生成装置の構成例を示すブロック図である。

【図3】８Ｋ解像度の原画像を空間方向に３階ウェーブレットパケット分解した様子を示す図である。

【図4】８Ｋ解像度の原画像を空間方向に３階ウェーブレットパケット分解し、時間方向に１階ウェーブレットパケット分解した様子を示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態について、図面を参照して詳細に説明する。

【0016】

（第１の実施形態）
図１は、本発明の第１の実施形態に係る符号化補助情報生成装置１の構成例を示すブロック図である。図１に示す符号化補助情報生成装置１は、符号化情報抽出部１１と、符号化難易度算出部１２と、を備える。

【0017】

符号化補助情報生成装置１は、原画像を入力し、原画像（入力画像）の符号化難易度を算出する。符号化補助情報生成装置１は、例えば画像符号化における画質劣化や画質破綻を抑制するための補助情報生成処理に用いることができる。

【0018】

符号化情報抽出部１１は、原画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた符号化情報を抽出する。そして、符号化情報抽出部１１は、符号化情報を符号化難易度算出部１２に出力する。ここでは例として符号化処理をＶＶＣ／Ｈ．２６６を用いて行い、符号化情報として、符号化ブロック（すなわち、符号化ユニットＣＵ（Coding Unit））の分割情報と、ＣＵ毎の量子化パラメータＱＰ（Quantization Parameter）及び動きベクトルの情報と、を抽出する。ＣＵの分割情報とは、ＣＵのサイズ情報及び位置情報である。

【0019】

符号化難易度算出部１２は、符号化情報抽出部１１から符号化情報を入力し、量子化パラメータＱＰの値、並びに動きベクトルの大きさ及び分散から、符号化ブロック位置毎の符号化難易度を算出する。例えば、以下に説明するように、量子化パラメータＱＰの値に基づく第１符号化難易度と、動きベクトルの大きさ及び分散に基づく第２符号化難易度とを重み付け加算することにより、符号化ブロック位置毎の符号化難易度を算出する。また、符号化難易度算出部１２は、符号化困難領域を検出してもよい。そして、符号化難易度算出部１２は、符号化困難領域及び符号化難易度を符号化補助情報として外部に出力する。各々の算出法の詳細を以下に示す。

【0020】

＜量子化パラメータについての符号化難易度Ｄ_Ｑ＞
量子化パラメータＱＰについては、その値が大きいほど符号化困難であると判定する。ＣＵ位置（ＣＵｘ，ＣＵｙ）におけるＱＰについての符号化難易度Ｄ_Ｑ（ＣＵｘ，ＣＵｙ）は、ＣＵ位置（ＣＵｘ，ＣＵｙ）のＱＰ値をｑとすると、例えば次式（１）で計算される。

【0021】

【数1】

【0022】

＜動きベクトルについての符号化難易度Ｄ_Ｖ＞
動きベクトルについては、その大きさ及び分散が大きいほど符号化困難であると判定する。ＣＵ位置（ＣＵｘ，ＣＵｙ）における動きベクトルについての符号化難易度Ｄ_Ｖ（ＣＵｘ，ＣＵｙ）は、ＣＵ位置（ＣＵｘ，ＣＵｙ）の動きベクトルの大きさをｖとし、動きベクトルの分散をσとすると、例えば次式（５）で計算される。

【0023】

【数2】

【0024】

＜トータルの符号化難易度Ｄ＞
ＣＵ位置（ＣＵｘ，ＣＵｙ）におけるトータルの符号化難易度Ｄ（ＣＵｘ，ＣＵｙ）は、式（１）（２）の重み付け和として、例えば次式（３）で計算される。同式中のα，βは式（１）（２）の各々の重み係数であり、あらかじめ決めてもよいし、符号化／復号化装置に応じて実験的に求めてもよい。

【0025】

【数3】

【0026】

＜符号化困難領域Ｒ（ＣＵｘ，ＣＵｙ）＞
符号化難易度算出部１２は、次式（４）に示すように、符号化難易度Ｄ（ＣＵｘ，ＣＵｙ）が閾値Ｔ_Ｈを超える符号化ブロックを示す領域を符号化困難領域Ｒ（ＣＵｘ，ＣＵｙ）として検出する。閾値Ｔ_Ｈは、あらかじめ決めてもよいし、実験的に求めてもよい。

【0027】

【数4】

【0028】

符号化難易度算出部１２は、式（１）～（４）の処理を全ての（ＣＵｘ，ＣＵｙ）において行い、最終的な符号化困難領域Ｒ（ＣＵｘ，ＣＵｙ）及び符号化難易度Ｄ（ＣＵｘ，ＣＵｙ）を出力する。

【0029】

上述したように、符号化補助情報生成装置１は、量子化パラメータの値に基づく第１符号化難易度Ｄ_Ｑと、動きベクトルの大きさ及び分散に基づく第２符号化難易度Ｄ_Ｖとを重み付け加算することにより、符号化ブロック位置毎の符号化難易度Ｄを算出することで、符号化難易度を高精度に求めることが可能となる。また、併せて符号化困難領域を高精度に求めることが可能となる。符号化困難領域では、符号化画質劣化や大量のブロック歪などによる符号化画質破綻が発生し、主観画質が大幅に低下する恐れがあるが、符号化補助情報生成装置１により符符号化難易度・符号化困難領域を検出することで、符号化画質破綻の抑制に役立てることができる。

【0030】

（第２の実施形態）
次に、第２の実施形態に係る符号化補助情報生成装置について説明する。図２は、第２の実施形態に係る符号化補助情報生成装置２の構成例を示すブロック図である。図２に示す符号化補助情報生成装置２は、符号化情報抽出部１１と、符号化難易度算出部１２’と、周波数分解部１３と、を備える。第２の実施形態に係る符号化補助情報生成装置２は、第１の実施形態に係る符号化補助情報生成装置１と比較して、周波数分解部１３を更に備え、符号化難易度算出部１２に代えて符号化難易度算出部１２’を備える点が相違する。

【0031】

符号化情報抽出部１１は、第１の実施形態と同じく、原画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた符号化情報を抽出する。そして、符号化情報抽出部１１は、符号化情報を符号化難易度算出部１２に出力する。

【0032】

周波数分解部１３は、空間周波数帯域分解部１４と、時間周波数帯域分解部１５と、を備える。本実施形態では、周波数分解部１３が時間周波数帯域分解部１５を備えるものとして説明するが、時間周波数帯域分解部１５を備えない構成であってもよい。

【0033】

空間周波数帯域分解部１４は、原画像に対して位相情報を保持しながら（すなわち、デシメーション無しで）空間方向の周波数帯域分解を行い、空間周波数帯域毎の要素成分（以下、「空間周波数帯域成分」という。）を生成する。各要素はパワースペクトルを示す。そして、空間周波数帯域分解部１４は、空間周波数帯域成分を時間周波数帯域分解部１５に出力する。本実施形態では、周波数帯域分解としてウェーブレット分解を行う。なお、ウェーブレットフィルタ及び空間分解階層数は、ユーザが任意に設定可能である。

【0034】

図３は、８Ｋ解像度の原画像を空間方向に３階ウェーブレットパケット分解して、１Ｋ×０．５Ｋ毎の空間周波数帯域に分解した様子を示す図である。原画像の多重解像度分解を高精度に行うためには、線形位相性を有し、比較的タップ長が長く遮断特性が急峻なウェーブレットフィルタ（例えば、ＣＤＦ（Cohen-Daubechies-Feauveau）９／７、Biorthogonal(6,8)など）を用いることが望ましい。また、各帯域間のパワーは、パーセバルの等式を満たすものとする。

【0035】

また、空間周波数帯域分解部１４は、本実施形態ではデシメーション無しのウェーブレットパケット分解を用いて空間周波数帯域分解を行う。そのため、図２において各周波数帯域の大きさは１Ｋ×０．５Ｋサイズであるが、各周波数帯域内の空間方向の要素数は８Ｋ×４Ｋ個である。

【0036】

時間周波数帯域分解部１５は、空間周波数帯域分解部１４により生成された空間周波数帯域成分に対して時間方向の周波数帯域分解を行い、時空間周波数帯域毎のパワースペクトル要素成分（以下、「時空間周波数帯域成分」という。）を生成する。そして、時間周波数帯域分解部１５は、時空間周波数帯域成分を符号化難易度算出部１２に出力する。本実施形態では、周波数帯域分解としてウェーブレット分解を行う。なお、ウェーブレットフィルタ及び時間分解階層数は、ユーザが任意に設定可能である。

【0037】

図４は、８Ｋ解像度の原画像を空間方向に３階ウェーブレットパケット分解し、時間方向に１階ウェーブレットパケット分解した様子を示す図である。６０フレーム／秒の空間周波数帯域成分を１階ウェーブレットパケット分解すると、１から３０フレーム／秒と３１から６０フレーム／秒の時間周波数帯域に分解される。ここで、ウェーブレットフィルタは空間周波数帯域分解部１４と同じとする。また、デシメーション無しのウェーブレットパケット分解を行った場合、各周波数帯域内の時間方向の要素数は６０個である。各周波数帯域内の時空間方向の要素数は８Ｋ×４Ｋ×６０個である。

【0038】

符号化難易度算出部１２’は、符号化情報抽出部１１から符号化情報を入力し、時間周波数帯域分解部１５から時空間周波数帯域成分を入力し、量子化パラメータＱＰの値、動きベクトルの大きさ及び分散、並びに時空間周波数帯域成分の高周波数帯域の大きさから、画素位置（空間位相位置）毎の符号化難易度を算出する。例えば、以下に説明するように、量子化パラメータＱＰの値に基づく第１符号化難易度と、動きベクトルの大きさ及び分散に基づく第２符号化難易度と、周波数帯域成分の高周波数帯域の大きさに基づく第３符号化難易度とを重み付け加算することにより、画素位置毎の符号化難易度を算出する。また、符号化難易度算出部１２’は、符号化困難領域を検出してもよい。そして、符号化難易度算出部１２’は、符号化困難領域及び符号化難易度を符号化補助情報として外部に出力する。各々の算出法の詳細を以下に示す。

【0039】

＜量子化パラメータについての符号化難易度Ｄ_Ｑ＞
量子化パラメータＱＰについては、その値が大きいほど符号化困難であると判定する。空間位相位置（ｘ，ｙ）におけるＱＰ値に対する符号化難易度Ｄ_Ｑ（ｘ，ｙ）は、（ｘ，ｙ）が属するＣＵのＱＰ値をｑとすると、例えば次式（５）で計算される。

【0040】

【数5】

【0041】

＜動きベクトルについての符号化難易度Ｄ_Ｖ＞
動きベクトルについては、その大きさ及び分散が大きいほど符号化困難であると判定する。空間位相位置（ｘ，ｙ）における動きベクトルに対する符号化難易度Ｄ_Ｖ（ｘ，ｙ）は、（ｘ，ｙ）が属するＣＵの動きベクトルの大きさをｖとし、動きベクトルの分散をσとすると、例えば次式（６）で計算される。

【0042】

【数6】

【0043】

＜時空間周波数帯域成分についての符号化難易度Ｄ_Ｐ＞
時空間周波数帯域成分については、その高周波数帯域成分のパワーが大きいほど符号化困難であると判定する。また空間方向と時間方向で重みを変えることができ、例えば時間方向の重みをより強いものとすることができる。すなわち、符号化難易度算出部１２’は、時間低周波数帯域の符号化難易度Ｄ_ＰＬ（時空間周波数帯域成分の、時間低周波数帯域且つ空間高周波数帯域における大きさに基づく符号化難易度）を求め、時間高周波数帯域の符号化難易度Ｄ_ＰＨ（時間高周波数帯域成分の、時間高周波数帯域且つ空間高周波数帯域の大きさに基づく符号化難易度）を求め、これらを重み付け加算することにより、時空間周波数帯域成分についての符号化難易度Ｄ_Ｐを算出してもよい。

【0044】

時間低周波数帯域（ｔ_Ｌ）の空間位相位置（ｘ，ｙ，ｔ_Ｌ）における符号化難易度Ｄ_ＰＬ（ｘ，ｙ，ｔ_Ｌ）は、空間周波数帯域ＨＨ^ｎ（ｘ，ｙ，ｔ_Ｌ）のパワー成分がｐ^ｎ（ｘ，ｙ，ｔ_Ｌ）の場合は、例えば次式（７）で計算される。ＨＨは対角方向の成分であり、ｎは周波数帯域を識別する番号である。ここでは図３に示すように、２Ｋ×１Ｋの周波数帯域毎に、ｎが１から１６まで割り振られているものとする。式（７）において、分母をｎ＝１から１６のｐ^ｎ（ｘ，ｙ，ｔ_Ｌ）の合計としているが、例えばｎ＝５から１６のｐ^ｎ（ｘ，ｙ，ｔ_Ｌ）の合計であってもよい。なお、空間高周波数帯域の選定の仕方はこれに限られるものではない。例えば、対角方向だけでなく、水平方向及び垂直方向の空間周波数帯域成分の大きさに基づいて符号化難易度を求めてもよい。

【0045】

【数7】

【0046】

同様に、時間高周波数帯域（ｔ_Ｈ）の空間位相位置（ｘ，ｙ，ｔ_Ｈ）における符号化難易度Ｄ_ＰＨ（ｘ，ｙ，ｔ_Ｈ）は、空間周波数帯域ＨＨ^ｎ（ｘ，ｙ，ｔ_Ｈ）のパワーがｐ^ｎ（ｘ，ｙ，ｔ_Ｈ）の場合は、例えば次式（８）で計算される。

【0047】

【数8】

【0048】

以上をもとに、例えば次式（９）において時空間周波数帯域毎の要素成分についての符号化難易度を計算する。同式中のτは時間方向の重み係数であり、あらかじめ決めてもよいし、実験的に求めてもよい。例えば、時間方向の重みを空間方向の重みよりも強くする場合には、τ＞１とする。

【0049】

【数9】

【0050】

＜トータルの符号化難易度Ｄ＞
（ｘ，ｙ）におけるトータルの符号化難易度Ｄ（ｘ，ｙ）は、式（７）（８）（９）の重み付け和として、例えば次式（１０）で計算される。同式中のα，β，γは式（７）（８）（９）の各々の重み係数であり、あらかじめ決めてもよいし、符号化／復号化装置に応じて実験的に求めてもよい。

【0051】

【数10】

【0052】

＜符号化困難領域Ｒ（ｘ，ｙ）＞
符号化難易度算出部１２’は、次式（１１）に示すように、符号化難易度Ｄ（ｘ，ｙ）が閾値Ｔ_Ｈを超える画素位置を示す領域を符号化困難領域Ｒ（ｘ，ｙ）として検出する。閾値Ｔ_Ｈは、あらかじめ決めてもよいし、実験的に求めてもよい。

【0053】

【数11】

【0054】

符号化難易度算出部１２’は、式（５）～（１１）の処理を全ての（ｘ，ｙ）において行い、最終的な符号化困難領域Ｒ（ｘ，ｙ）及び符号化難易度Ｄ（ｘ，ｙ）を出力する。

【0055】

上述したように、符号化補助情報生成装置２は、量子化パラメータの値に基づく第１符号化難易度Ｄ_Ｑと、動きベクトルの大きさ及び分散に基づく第２符号化難易度Ｄ_Ｖと、周波数帯域成分の高周波数帯域の大きさに基づく第３符号化難易度Ｄ_Ｐを重み付け加算することにより、画素位置毎の符号化難易度Ｄを算出する。このため、画素位置単位で、さらに符号化難易度を高精度に求めることが可能となる。

【0056】

（プログラム）
上述した符号化補助情報生成装置１，２として機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。

【0057】

コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。入力部は、ユーザの入力操作を受け付けてユーザの操作に基づく情報を取得する入力インターフェースであり、ポインティングデバイス、キーボード、マウスなどである。出力部は、情報を出力する出力インターフェースであり、ディスプレイ、スピーカなどである。通信インターフェースは、外部の装置と通信するためのインターフェースであり、例えばＬＡＮ（Local Area Network）インターフェースである。

【0058】

プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0059】

例えば、符号化補助情報生成装置１として機能させるためのプログラムは、原画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた量子化パラメータ及び動きベクトルの情報を抽出するステップと、量子化パラメータの値に基づく第１符号化難易度と、動きベクトルの大きさ及び分散に基づく第２符号化難易度とを重み付け加算することにより、符号化ブロック位置毎の符号化難易度を算出するステップと、をコンピュータに実行させる。

【0060】

また、符号化補助情報生成装置１，２は、１つ又は複数の半導体チップにより構成されてもよく、該半導体チップは、符号化補助情報生成装置１の各機能を実現する処理内容を記述したプログラムを実行するＣＰＵを搭載してもよい。

【0061】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを統合したり、１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0062】

１，２ 符号化補助情報生成装置
１１ 符号化情報抽出部
１２，１２’ 符号化難易度算出部
１３ 周波数分解部
１４ 空間周波数帯域分解部
１５ 時間周波数帯域分解部

【図1】

【図2】

【図3】

【図4】