特開 2024-121704 符号化パラメータ推定装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024121704

(43)【公開日】2024-09-06

(54)【発明の名称】符号化パラメータ推定装置及びプログラム

(51)【国際特許分類】

   H04N 19/124 20140101AFI20240830BHJP

   H04N 19/117 20140101ALI20240830BHJP

   H04N 19/136 20140101ALI20240830BHJP

   H04N 19/176 20140101ALI20240830BHJP

【ＦＩ】

H04N19/124

H04N19/117

H04N19/136

H04N19/176

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023028953

(22)【出願日】2023-02-27

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(71)【出願人】

【識別番号】591053926

【氏名又は名称】一般財団法人ＮＨＫエンジニアリングシステム

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】松尾 康孝

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LA02

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME01

5C159NN21

5C159RC11

5C159TA45

5C159TA69

5C159TB08

5C159TC26

5C159TC28

5C159TD03

5C159TD06

5C159TD11

5C159TD13

5C159TD15

5C159TD17

5C159UA02

5C159UA05

5C159UA12

(57)【要約】

【課題】アーティファクトを抑制するために、縮小符号化動画像の作成に適した符号化パラメータを推定する。
【解決手段】符号化パラメータ推定装置１は、原動画像にＬＰＦ処理を行いローパス動画像を生成するローパスフィルタ処理部１１と、ローパス動画像に縮小処理を行い縮小動画像を生成する縮小処理部１２と、縮小動画像に符号化処理を行い分割ブロックの情報及びＱＰ情報を生成する符号化処理部１３と、ＱＰ情報を閾値と比較し、処理部１１，１２，１３の処理を繰り返すか判定する繰り返し処理判定部１４と、分割ブロックに対応する領域毎に高周波パワー指標を生成する高周波パワー指標算出部１５と、量子化パラメータ及び高周波パワー指標を対応付け、高周波パワー指標に対応付けられた量子化パラメータの平均値を出力する量子化パラメータ推定部１６とを備え、ローパスフィルタ処理部１１は繰り返し処理を行う際にフィルタの周波数特性を変化させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

原動画像に対してローパスフィルタ処理を行い、ローパス動画像を生成するローパスフィルタ処理部と、
前記ローパス動画像に対して縮小処理を行い、縮小動画像を生成する縮小処理部と、
前記縮小動画像に対して符号化処理を行い、該符号化処理を行う際の分割ブロックのサイズ及び位置を示すＣＵ情報、及び前記分割ブロック毎の量子化パラメータを示すＱＰ情報を含む符号化情報を生成する符号化処理部と、
前記ＱＰ情報を閾値と比較することにより、前記ローパスフィルタ処理部、前記縮小処理部、及び前記符号化処理部の処理を繰り返すか否かを判定する繰り返し処理判定部と、
前記分割ブロックに対応する領域毎に、所定の高周波帯域における１画素あたりの高周波パワー、又は全周波数帯域に対する高周波帯域のパワーの割合を算出してレベル分けした高周波パワー指標を生成する高周波パワー指標算出部と、
前記分割ブロック毎の前記量子化パラメータ、及び前記分割ブロックに対応する領域毎の前記高周波パワー指標を対応付け、前記高周波パワー指標毎に、該高周波パワー指標に対応付けられた量子化パラメータの平均値を推定量子化パラメータとして出力する量子化パラメータ推定部と、を備え、
前記ローパスフィルタ処理部は、繰り返し処理を行う際に、フィルタの周波数特性を変化させる、符号化パラメータ推定装置。

【請求項2】

原動画像に対してローパスフィルタ処理を行い、ローパス動画像を生成するローパスフィルタ処理部と、
前記ローパス動画像に対して縮小処理を行い、縮小動画像を生成する縮小処理部と、
前記縮小動画像に対して符号化処理を行い、該符号化処理を行う際の分割ブロックのサイズ及び位置を示すＣＵ情報、前記分割ブロック毎の量子化パラメータを示すＱＰ情報、及び前記分割ブロック毎の動きベクトルを示すＭＶ情報を含む符号化情報を生成する符号化処理部と、
前記ＱＰ情報を閾値と比較することにより、前記ローパスフィルタ処理部、前記縮小処理部、及び前記符号化処理部の処理を繰り返すか否かを判定する繰り返し処理判定部と、
前記分割ブロック毎に、動きベクトルの大きさを前記縮小処理部による縮小率の逆数分拡大した拡大動きベクトル値を算出してレベル分けした動き指標を生成する動き指標算出部と、
前記分割ブロック毎の前記量子化パラメータ及び前記動き指標を対応付け、前記動き指標毎に、該動き指標に対応付けられた量子化パラメータの平均値を推定量子化パラメータとして出力する量子化パラメータ推定部と、を備え、
前記ローパスフィルタ処理部は、繰り返し処理を行う際に、フィルタの周波数特性を変化させる、符号化パラメータ推定装置。

【請求項3】

原動画像に対してローパスフィルタ処理を行い、ローパス動画像を生成するローパスフィルタ処理部と、
前記ローパス動画像に対して縮小処理を行い、縮小動画像を生成する縮小処理部と、
前記縮小動画像に対して符号化処理を行い、該符号化処理を行う際の分割ブロックのサイズ及び位置を示すＣＵ情報、前記分割ブロック毎の量子化パラメータを示すＱＰ情報、及び前記分割ブロック毎の動きベクトルを示すＭＶ情報を含む符号化情報を生成する符号化処理部と、
前記ＱＰ情報を閾値と比較することにより、前記ローパスフィルタ処理部、前記縮小処理部、及び前記符号化処理部の処理を繰り返すか否かを判定する繰り返し処理判定部と、
前記分割ブロックに対応する領域毎に、所定の高周波帯域における１画素あたりの高周波パワー、又は全周波数帯域に対する高周波帯域のパワーの割合を算出してレベル分けした高周波パワー指標を生成する高周波パワー指標算出部と、
前記分割ブロック毎に、動きベクトルの大きさを前記縮小処理部による縮小率の逆数分拡大した拡大動きベクトル値を算出してレベル分けした動き指標を生成する動き指標算出部と、
前記分割ブロック毎の前記量子化パラメータ及び前記動き指標、並びに前記分割ブロックに対応する領域毎の前記高周波パワー指標を対応付け、前記高周波パワー指標及び前記動き指標の組み合わせ毎に、該組み合わせに対応付けられた量子化パラメータの平均値を推定量子化パラメータとして出力する量子化パラメータ推定部と、を備え、
前記ローパスフィルタ処理部は、繰り返し処理を行う際に、フィルタの周波数特性を変化させる、符号化パラメータ推定装置。

【請求項4】

前記ローパスフィルタ処理部は、前記原動画像に周波数分解処理及び縮退処理を行った後に、周波数再構成を行い、前記縮退処理における縮退量を変化させることによりフィルタの周波数特性を変化させる、請求項１から３のいずれか一項に記載の符号化パラメータ推定装置

【請求項5】

コンピュータを、請求項１から３のいずれか一項に記載の符号化パラメータ推定装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化パラメータ推定装置及びプログラムに関する。

【背景技術】

【0002】

Ｈ．２６５／ＨＥＶＣ(High Efficiency Video Coding)，Ｈ．２６６／ＶＶＣ（Versatile Video Coding）などの映像符号化方式では、ブロック分割、直交変換、量子化、エントロピー符号化、イントラ予測、インター予測などの要素技術を組み合わせて高効率化を実現している。Ｈ．２６５／ＨＥＶＣの技術の詳細については、例えば非特許文献１に詳細に記載されている。

【0003】

また、特許文献１には、原画像に対して、解像度及び階調数の削減処理、符号化処理、復号処理、及び復元処理を行って空間・階調復元画像を生成し、空間・階調復元画像を原画像と比較することで、空間・階調復元画像の生成に用いたパラメータを最適化する技術が開示されている。

【0004】

また、特許文献２には、原画像に対して、画像の複雑さに応じてカットオフ周波数を制御したローパスフィルタ処理、縮小処理、符号化処理、復号処理、及び折り返し歪量を考慮した拡大処理を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第６３８８４７６号公報

【特許文献2】特許第６３４４８００号公報

【非特許文献】

【0006】

【非特許文献1】大久保榮監修、「インプレス標準教科書シリーズ Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、２０１３年１０月２１日

【発明の概要】

【発明が解決しようとする課題】

【0007】

８Ｋ解像度のカメラで撮像した動画像を４Ｋ解像度に縮小して符号化するようなシステムには、８Ｋと４Ｋで映像制作を一本化できるほか、後段で８Ｋに超解像復元することで高圧縮符号化ができるなどのメリットがある。さらに、高い標本化周波数で撮像した動画像を縮小して用いるため、カメラレンズなどのＭＴＦ（Modulation Transfer Function）特性による高周波数パワー低下の影響を低減できるなどのメリットがある。

【0008】

しかしながら、縮小処理及び符号化処理を行った縮小符号化動画像について十分な通信ビットレートが確保できない場合は、高周波パワーが高いなどの符号化が困難な領域において、ブロック歪などのアーティファクトによる画質破綻が発生しやすくなるという課題がある。

【0009】

かかる事情に鑑みてなされた本発明の目的は、アーティファクトを抑制するために、縮小符号化動画像の作成に適した符号化パラメータを推定することが可能な符号化パラメータ推定装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0010】

上記課題を解決するため、一実施形態に係る符号化パラメータ推定装置は、原動画像に対してローパスフィルタ処理を行い、ローパス動画像を生成するローパスフィルタ処理部と、前記ローパス動画像に対して縮小処理を行い、縮小動画像を生成する縮小処理部と、前記縮小動画像に対して符号化処理を行い、該符号化処理を行う際の分割ブロックのサイズ及び位置を示すＣＵ情報、及び前記分割ブロック毎の量子化パラメータを示すＱＰ情報を含む符号化情報を生成する符号化処理部と、前記ＱＰ情報を閾値と比較することにより、前記ローパスフィルタ処理部、前記縮小処理部、及び前記符号化処理部の処理を繰り返すか否かを判定する繰り返し処理判定部と、前記分割ブロックに対応する領域毎に、所定の高周波帯域における１画素あたりの高周波パワー、又は全周波数帯域に対する高周波帯域のパワーの割合を算出してレベル分けした高周波パワー指標を生成する高周波パワー指標算出部と、前記分割ブロック毎の前記量子化パラメータ、及び前記分割ブロックに対応する領域毎の前記高周波パワー指標を対応付け、前記高周波パワー指標毎に、該高周波パワー指標に対応付けられた量子化パラメータの平均値を推定量子化パラメータとして出力する量子化パラメータ推定部と、を備え、前記ローパスフィルタ処理部は、繰り返し処理を行う際に、フィルタの周波数特性を変化させる。

【0011】

また、一実施形態に係る符号化パラメータ推定装置は、原動画像に対してローパスフィルタ処理を行い、ローパス動画像を生成するローパスフィルタ処理部と、前記ローパス動画像に対して縮小処理を行い、縮小動画像を生成する縮小処理部と、前記縮小動画像に対して符号化処理を行い、該符号化処理を行う際の分割ブロックのサイズ及び位置を示すＣＵ情報、前記分割ブロック毎の量子化パラメータを示すＱＰ情報、及び前記分割ブロック毎の動きベクトルを示すＭＶ情報を含む符号化情報を生成する符号化処理部と、前記ＱＰ情報を閾値と比較することにより、前記ローパスフィルタ処理部、前記縮小処理部、及び前記符号化処理部の処理を繰り返すか否かを判定する繰り返し処理判定部と、前記分割ブロック毎に、動きベクトルの大きさを前記縮小処理部による縮小率の逆数分拡大した拡大動きベクトル値を算出してレベル分けした動き指標を生成する動き指標算出部と、前記分割ブロック毎の前記量子化パラメータ及び前記動き指標を対応付け、前記動き指標毎に、該動き指標に対応付けられた量子化パラメータの平均値を推定量子化パラメータとして出力する量子化パラメータ推定部と、を備え、前記ローパスフィルタ処理部は、繰り返し処理を行う際に、フィルタの周波数特性を変化させる。

【0012】

また、一実施形態に係る符号化パラメータ推定装置は、原動画像に対してローパスフィルタ処理を行い、ローパス動画像を生成するローパスフィルタ処理部と、前記ローパス動画像に対して縮小処理を行い、縮小動画像を生成する縮小処理部と、前記縮小動画像に対して符号化処理を行い、該符号化処理を行う際の分割ブロックのサイズ及び位置を示すＣＵ情報、前記分割ブロック毎の量子化パラメータを示すＱＰ情報、及び前記分割ブロック毎の動きベクトルを示すＭＶ情報を含む符号化情報を生成する符号化処理部と、前記ＱＰ情報を閾値と比較することにより、前記ローパスフィルタ処理部、前記縮小処理部、及び前記符号化処理部の処理を繰り返すか否かを判定する繰り返し処理判定部と、前記分割ブロックに対応する領域毎に、所定の高周波帯域における１画素あたりの高周波パワー、又は全周波数帯域に対する高周波帯域のパワーの割合を算出してレベル分けした高周波パワー指標を生成する高周波パワー指標算出部と、前記分割ブロック毎に、動きベクトルの大きさを前記縮小処理部による縮小率の逆数分拡大した拡大動きベクトル値を算出してレベル分けした動き指標を生成する動き指標算出部と、前記分割ブロック毎の前記量子化パラメータ及び前記動き指標、並びに前記分割ブロックに対応する領域毎の前記高周波パワー指標を対応付け、前記高周波パワー指標及び前記動き指標の組み合わせ毎に、該組み合わせに対応付けられた量子化パラメータの平均値を推定量子化パラメータとして出力する量子化パラメータ推定部と、を備え、前記ローパスフィルタ処理部は、繰り返し処理を行う際に、フィルタの周波数特性を変化させる。

【0013】

さらに、一実施形態に係る符号化パラメータ推定装置において、前記ローパスフィルタ処理部は、前記原動画像に周波数分解処理及び縮退処理を行った後に、周波数再構成を行い、前記縮退処理における縮退量を変化させることによりフィルタの周波数特性を変化させる。

【0014】

また、一実施形態係るプログラムは、コンピュータを、上記符号化パラメータ推定装置として機能させる。

【発明の効果】

【0015】

本発明によれば、アーティファクトを抑制するために、縮小符号化動画像の作成に適した符号化パラメータを推定することが可能となる。

【図面の簡単な説明】

【0016】

【図1】第１の実施形態に係る符号化パラメータ推定装置の構成例を示すブロック図である。

【図2】８Ｋ解像度の原画像を３階ウェーブレットパケット分解した様子を示す図である。

【図3】第２の実施形態に係る符号化パラメータ推定装置の構成例を示すブロック図である。

【図4】第３の実施形態に係る符号化パラメータ推定装置の構成例を示すブロック図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施形態について、図面を参照して詳細に説明する。

【0018】

（第１の実施形態）
図１は、本発明の第１の実施形態に係る符号化パラメータ推定装置１の構成例を示すブロック図である。図１に示す符号化パラメータ推定装置１は、ローパスフィルタ処理部１１と、縮小処理部１２と、符号化処理部１３と、繰り返し処理判定部１４と、高周波パワー指標算出部１５と、量子化パラメータ推定部１６と、を備える。ローパスフィルタ処理部１１、縮小処理部１２、及び符号化処理部１３は、繰り返し処理判定部１４が繰り返し処理を終了すると判定するまで、処理を繰り返し行う。

【0019】

符号化パラメータ推定装置１は、原動画像を入力し、原動画像に対してローパスフィルタ処理、縮小処理、及び符号化処理を行った際の符号化パラメータを推定する。本実施形態では、符号化パラメータを量子化パラメータ（ＱＰ；Quantization parameter）とする。なお、符号化パラメータ推定装置１は、量子化パラメータ以外に直交変換パラメータなどの符号化パラメータを推定してもよい。量子化パラメータとは、Ｈ．２６５／ＨＥＶＣ，Ｈ.２６６／ＶＶＣなどの符号化方式において、直交変換された係数を量子化する際の量子化ステップを制御するパラメータである。例えば、量子化パラメータの値は０～５１であり、量子化パラメータが６増加する毎に、量子化ステップが２倍となる。量子化パラメータの詳細については、例えば非特許文献１を参照されたい。

【0020】

ローパスフィルタ処理部１１は、原動画像に対してローパスフィルタ（ＬＰＦ）処理を行い、ローパス動画像を生成する。そして、ローパスフィルタ処理部１１は、生成したローパス動画像を縮小処理部１２に出力する。

【0021】

ローパスフィルタ処理部１１は、繰り返し処理を行う際に、フィルタの周波数特性を変化させる。ローパスフィルタ処理として、原動画像に周波数分解（例えば、ウェーブレットパケット分解）処理及び縮退処理を行った後に、周波数再構成（例えば、ウェーブレットパケット再構成）を行い、縮退処理における縮退量を変化させることによりフィルタの周波数特性を変化させてもよい。縮退処理とは、各周波数帯域の要素値（周波数分解係数）を小さくする処理である。

【0022】

図２は、８Ｋ解像度の原画像に対して、位相情報を保持しながら（すなわち、画像サイズの縮小を伴うデシメーション処理を伴わないで）空間方向に３階ウェーブレットパケット分解して、１Ｋ×０．５Ｋ毎の周波数帯域に分解した様子を示す図である。ウェーブレットパケット分解では、空間方向に均等に周波数分解を行う。すなわち、低周波帯域のみならず高周波帯域についても周波数分解を行う。デシメーション処理を伴わないため、原画像のサイズが８Ｋ×４Ｋであった場合、各周波数帯域内の要素数は８Ｋ×４Ｋ個となる。

【0023】

ローパスフィルタ処理部１１は、同一の原動画像に対して繰り返し処理を行う。ウェーブレットパケット分解及び縮退処理を用いたローパスフィルタ処理を繰り返し行う場合の一例について説明する。ローパスフィルタ処理部１１は、原動画像をウェーブレットパケット分解し、各周波数帯域の要素に複数種類（この例では、小、中、大の３種類とする）の縮退関数を適用する。小縮退関数は要素値の絶対値をＳ倍（０＜Ｓ＜１、例えばＳ＝０．５）する関数であり、中縮退関数は要素値の絶対値をＭ倍（Ｍ＜Ｓ、例えばＭ＝０．１）倍する関数であり、大縮退関数は要素値の絶対値をＬ倍（Ｌ＜Ｍ、例えばＬ＝０．０１）する関数である。

【0024】

例えば、８Ｋ解像度の原動画像を４Ｋ解像度に縮小する場合、ローパスフィルタ処理部１１は、１回目の処理では、４Ｋ解像度以上の周波数帯域の要素には大縮退関数を適用し、４Ｋ解像度未満の周波数帯域の要素には中縮退関数を適用する。２回目以降の処理では、４Ｋ解像度以上の周波数帯域の要素には大縮退関数を適用し、４Ｋ解像度未満の周波数帯域の要素には符号化情報を基に小縮退関数と中縮退関数を切り替えて適用する。ローパスフィルタ処理部１１は、２回目以降の処理では、後述する符号化処理部１３により生成された符号化情報を取得し、分割ブロック毎に量子化パラメータを閾値と比較し、ウェーブレットパケット分解により生成された周波数分解画像のうち、４Ｋ解像度未満の周波数帯域において、量子化パラメータが閾値以上の分割ブロックに対応する要素に対して中縮退関数を適用し、量子化パラメータが閾値未満の分割ブロックに対応する要素に対して小縮退関数を適用する。

【0025】

縮小処理部１２は、ローパス動画像に対して縮小処理を行い、縮小動画像を生成する。例えば、８Ｋ解像度で撮影された原画像を４Ｋ解像度に縮小する。そして、縮小処理部１２は、生成した縮小動画像を符号化処理部１３に出力する。

【0026】

縮小処理部１２は、縮小処理として、水平及び垂直方向に２：１の画素間引きを行うことで、８Ｋ解像度を４Ｋ解像度に縮小してもよい。なお、縮小率は、ユーザが任意に設定可能である。縮小率が整数分の１倍ではない場合には、Ｌａｎｃｚｏｓ－４フィルタなどを用いた画素内挿を行い、それから画素間引きを行う。補間内挿フィルタの種類は、あらかじめ決められていてもよいし、ユーザにより設定可能であってもよい。

【0027】

符号化処理部１３は、縮小処理部１２により生成された縮小動画像に対して分割ブロック単位で符号化処理を行い、該符号化処理を行う際の分割ブロックのサイズ及び位置を示すＣＵ情報、及び分割ブロック毎の量子化パラメータを示すＱＰ情報を含む符号化情報を生成する。例えば、符号化処理部１３は、一例としてＶＶＣ／Ｈ．２６６コーデックを用いて１０Ｍｂｐｓで符号化処理を行う。ＶＶＣ／Ｈ．２６６コーデックにおける分割ブロックはＣＵ（Coding Unit）と称される。そして、符号化処理部１３は、ＱＰ情報を繰り返し処理判定部１４に出力し、繰り返し処理が終了した時点のＣＵ情報を高周波パワー指標算出部１５に出力し、繰り返し処理が終了した時点のＱＰ情報を量子化パラメータ推定部１６に出力する。

【0028】

繰り返し処理判定部１４は、符号化処理部１３により生成されたＱＰ情報を閾値と比較することにより、ローパスフィルタ処理部１１、縮小処理部１２、及び符号化処理部１３の処理を繰り返すか否かを判定する。繰り返し処理判定部１４が繰り返し処理を行うと判定した場合には、符号化処理部１３は、符号化情報（ＣＵ情報及びＱＰ情報）をローパスフィルタ処理部１１に出力し、繰り返し処理判定部１４が繰り返し処理を終了すると判定するまで、ローパスフィルタ処理部１１、縮小処理部１２、及び符号化処理部１３は、上述した処理を繰り返し行う。

【0029】

量子化パラメータが大きいほど符号化難度が高いと考えられるため、繰り返し処理判定部１４は、縮小符号化フレーム内における全ての分割ブロックの量子化パラメータの平均値（ＱＰ平均値）が小さくなるように最適化する。繰り返し処理判定部１４は、ＱＰ平均値を計算し、その値が予め設定する第１判定閾値以下となった場合、又は１回前の繰り返し時の量子化パラメータの平均値が予め設定する第２判定閾値以下となった場合は、繰り返し処理を終了すると判定し、それ以外の場合は、繰り返し処理を行うと判定してもよい。例えば、１回目のＱＰ平均値が３２．２、２回目のＱＰ平均値が３１．３、３回目のＱＰ平均値が３０．９であったとする。第１判定閾値を用いて判定する場合、第１判定閾値が３１であれば、３回目で繰り返し処理を終了すると判定する。第２判定閾値を用いて判定する場合、第２判定閾値が０．５であれば、３回目で繰り返し処理を終了すると判定する。

【0030】

高周波パワー指標算出部１５は、原動画像、及び符号化処理部１３により繰り返し処理が終了した時点のＣＵ情報を入力して、原動画像における、分割ブロックに対応する領域毎に、所定の高周波帯域における１画素あたりの高周波パワー、又は全周波数帯域に対する高周波帯域のパワーの割合を算出してレベル分け（量子化）した高周波パワー指標を生成する。そして、高周波パワー指標算出部１５は、生成した高周波パワー指標を量子化パラメータ推定部１６に出力する。分割ブロックは縮小動画像に対して設定されるため、「分割ブロックに対応する領域」とは、分割ブロックを縮小処理部１２による縮小率の逆数分拡大した領域である。「高周波帯域」は、所定の周波数（例えば、縮小動画像の空間解像度の水平・垂直各１／２）以上の周波数帯域である。

【0031】

高周波パワー指標算出部１５は、例えば図２に示したように原動画像をデシメーション無しのウェーブレットパケット分解を行い、各分割ブロックに対応する領域の要素値から、分割ブロックに対応する領域毎の高周波パワー又は高周波パワー割合を算出する。そして、高周波パワー指標算出部１５は、高周波パワー又は高周波パワー割合の大きさに基づいてレベル分けを行う。表１に、高周波パワー割合の大きさを４段階にレベル分けした一例を示す。

【0032】

【表1】

【0033】

量子化パラメータ推定部１６は、符号化処理部１３により繰り返し処理が終了した時点のＱＰ情報、及び高周波パワー指標算出部１５により生成された高周波パワー指標を入力し、分割ブロック毎の量子化パラメータ、及び分割ブロックに対応する領域毎の高周波パワー指標を対応付け、高周波パワー指標毎に、該高周波パワー指標に対応付けられた量子化パラメータの平均値を推定量子化パラメータとして算出する。そして、量子化パラメータ推定部１６は、推定量子化パラメータを符号化パラメータ推定装置１の外部に出力する。

【0034】

量子化パラメータ推定部１６の処理の具体例を、表２を参照して説明する。表２は、対応付けられた高周波パワー指標及び量子化パラメータの一例を示す表である。分割ブロックＩＤは分割ブロックの識別番号であり、この表では簡易的に分割ブロックの数を１６個とする。表中の１～４は高周波パワー指標の値を示し、ａ～ｐは量子化パラメータの値を示す。この例では、高周波パワー指標毎の推定量子化パラメータは、以下のように算出される。
高周波パワー指標１における推定量子化パラメータ＝（ｉ＋ｊ＋ｍ＋ｎ＋ｏ）／５
高周波パワー指標２における推定量子化パラメータ＝（ａ＋ｂ＋ｅ＋ｆ）／４
高周波パワー指標３における推定量子化パラメータ＝（ｃ＋ｄ＋ｇ＋ｈ＋ｋ）／５
高周波パワー指標４における推定量子化パラメータ＝（ｌ＋ｐ）／２

【0035】

【表2】

【0036】

（第２の実施形態）
次に、第２の実施形態に係る符号化パラメータ推定装置について説明する。

【0037】

図３は、第２の実施形態に係る符号化パラメータ推定装置２の構成例を示すブロック図である。図３に示す符号化パラメータ推定装置２は、ローパスフィルタ処理部１１と、縮小処理部１２と、符号化処理部１３と、繰り返し処理判定部１４と、量子化パラメータ推定部１６ａと、動き指標算出部１７と、を備える。第２の実施形態に係る符号化パラメータ推定装置２は、第１の実施形態に係る符号化パラメータ推定装置１と比較して、高周波パワー指標算出部１５に代えて動き指標算出部１７を備え、量子化パラメータ推定部１６に代えて量子化パラメータ推定部１６ａを備える点が相違する。その他の構成については第１の実施形態と同一であるため、同一の参照番号を付して説明を省略する。

【0038】

本実施形態において、符号化処理部１３が生成する符号化情報とは、符号化処理を行う際の分割ブロックのサイズ及び位置を示すＣＵ情報、分割ブロック毎の量子化パラメータを示すＱＰ情報、及び分割ブロック毎の動きベクトルを示すＭＶ情報を含む符号化情報を生成する。なお、動きベクトルは、符号化処理において画面間予測（フレーム間予測、インター予測ともいう。）を行う際に検出される。

【0039】

繰り返し処理判定部１４が繰り返し処理を行うと判定した場合には、符号化処理部１３は、符号化情報（ただし、ＭＶ情報は不要）をローパスフィルタ処理部１１に出力し、繰り返し処理判定部１４が繰り返し処理を終了すると判定するまで、ローパスフィルタ処理部１１、縮小処理部１２、及び符号化処理部１３は、第１の実施形態と同様に処理を繰り返し行う。

【0040】

動き指標算出部１７は、原動画像、及び符号化処理部１３により繰り返し処理が終了した時点のＭＶ情報を入力して、分割ブロック毎に、動きベクトルの大きさを縮小処理部１２による縮小率の逆数分拡大した拡大動きベクトル値を算出してレベル分け（量子化）した動き指標を生成する。そして、動き指標算出部１７は、生成した動き指標を量子化パラメータ推定部１６ａに出力する。なお、符号化による動きベクトルの検出は縮小動画像に対して行われているため、動き指標算出部１７では、動きベクトルの大きさを原動画像のサイズに合わせて拡大している。

【0041】

符号化処理部１３がＧＯＰ（Group of Pictures）単位でランダムアクセスを行う場合には、動き指標算出部１７は、拡大動きベクトル値を算出する際に、参照フレームと予測フレームとの間の距離に応じた重みを乗じてもよい。例えば、参照フレームと予測フレームとの間の距離が短いほど、重みを大きくしてもよい。表３に、拡大動きベクトル値の大きさを４段階にレベル分けした一例を示す。

【0042】

【表3】

【0043】

量子化パラメータ推定部１６ａは、符号化処理部１３により繰り返し処理が終了した時点のＱＰ情報、及び動き指標算出部１７により生成された動き指標を入力し、分割ブロック毎の量子化パラメータ及び動き指標を対応付け、動き指標毎に、該動き指標に対応付けられた量子化パラメータの平均値を推定量子化パラメータとして算出する。そして、量子化パラメータ推定部１６ａは、推定量子化パラメータを符号化パラメータ推定装置２の外部に出力する。

【0044】

（第３の実施形態）
次に、第３の実施形態に係る符号化パラメータ推定装置について説明する。

【0045】

図４は、第３の実施形態に係る符号化パラメータ推定装置３の構成例を示すブロック図である。図４に示す符号化パラメータ推定装置３は、ローパスフィルタ処理部１１と、縮小処理部１２と、符号化処理部１３と、繰り返し処理判定部１４と、高周波パワー指標算出部１５と、量子化パラメータ推定部１６ｂと、動き指標算出部１７と、を備える。第３の実施形態に係る符号化パラメータ推定装置３は、第２の実施形態に係る符号化パラメータ推定装置２と比較して、高周波パワー指標算出部１５を更に備え、量子化パラメータ推定部１６ａに代えて量子化パラメータ推定部１６ｂを備える点が相違する。その他の構成については第２の実施形態と同一であるため、同一の参照番号を付して説明を省略する。

【0046】

量子化パラメータ推定部１６ｂは、符号化処理部１３により繰り返し処理が終了した時点のＱＰ情報、高周波パワー指標算出部１５により生成された高周波パワー指標、及び動き指標算出部１７により生成された動き指標を入力し、分割ブロック毎の量子化パラメータ及び動き指標、並びに分割ブロックに対応する領域毎の高周波パワー指標を対応付け、高周波パワー指標及び動き指標の組み合わせ毎に、該組み合わせに対応付けられた量子化パラメータの平均値を推定量子化パラメータとして算出する。そして、量子化パラメータ推定部１６ｂは、推定量子化パラメータを符号化パラメータ推定装置３の外部に出力する。

【0047】

量子化パラメータ推定部１６の処理の具体例を、表４を参照して説明する。表４は、対応付けられた高周波パワー指標、動き指標、及び量子化パラメータの一例を示す表である。分割ブロックＩＤは分割ブロックの識別番号であり、この表では簡易的に分割ブロックの数を１６個とする。簡易的に分割ブロックの数を１６個とする。表中の１～４は高周波パワー指標の値を示し、I～IVは動き指標の値を示し、ａ～ｐは量子化パラメータの値を示す。この例では、高周波パワー指標及び動き指標の組み合わせ毎の推定量子化パラメータは、以下のように算出される。
高周波パワー指標１及び動き指標IIIの組み合わせにおける推定量子化パラメータ＝（ｉ＋ｊ）／２
高周波パワー指標１及び動き指標IVの組み合わせにおける推定量子化パラメータ＝（ｍ＋ｎ＋ｏ）／３
高周波パワー指標２及び動き指標Iの組み合わせにおける推定量子化パラメータ＝（ａ＋ｂ）／２
高周波パワー指標２及び動き指標IIの組み合わせにおける推定量子化パラメータ＝（ｅ＋ｆ）／２
高周波パワー指標３及び動き指標Iの組み合わせにおける推定量子化パラメータ＝（ｃ＋ｄ）／２
高周波パワー指標３及び動き指標IIの組み合わせにおける推定量子化パラメータ＝ｋ
高周波パワー指標３及び動き指標IIIの組み合わせにおける推定量子化パラメータ＝（ｇ＋ｈ）／２
高周波パワー指標４及び動き指標IIの組み合わせにおける推定量子化パラメータ＝ｌ
高周波パワー指標４及び動き指標IVの組み合わせにおける推定量子化パラメータ＝ｐ

【0048】

【表4】

【0049】

動画像を縮小して符号化するシステムにおいて、アーティファクトや画質破綻を抑制するために必要なぼやけ量は、被符号化フレーム内の画像成分が持つ符号化難度及び使用するコア符号化方式とビットレートによって異なる。ただし、一般に放送などにおいては使用するコア符号化方式とビットレートは予め決まっている。そこで、符号化パラメータ推定装置１，２，３は、被符号化フレームの画像特徴量と符号化難度の関係を調べることで推定量子化パラメータを決定する。すなわち、符号化パラメータ推定装置１，２，３は、上述したように、原動画像の縮小符号化を繰り返して、縮小符号化フレーム内における全ての分割ブロックの量子化パラメータの平均値が小さくなるように最適化した後、高周波パワー指標及び／又は動き指標を算出する。そして、高周波パワー指標及び／又は動き指標の１レベル毎について、該レベルの量子化パラメータの平均値を推定量子化パラメータとして算出する。

【0050】

原動画像に対してローパスフィルタを適用してから縮小処理を行う場合に、符号化パラメータ推定装置１，２，３により生成された推定量子化パラメータを用いて符号化を行い、ローパスフィルタのぼやけ量も符号化パラメータ推定装置１，２，３と同様に設定することにより、符号化が困難な領域におけるローパスフィルタのぼやけ量を大きくして符号化難度を下げてから符号化することができ、アーティファクトを抑制することが可能となる。

【0051】

（プログラム）
上述した符号化パラメータ推定装置１，２，３として機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。

【0052】

コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。入力部は、ユーザの入力操作を受け付けてユーザの操作に基づく情報を取得する入力インターフェースであり、ポインティングデバイス、キーボード、マウスなどである。出力部は、情報を出力する出力インターフェースであり、ディスプレイ、スピーカなどである。通信インターフェースは、外部の装置と通信するためのインターフェースであり、例えばＬＡＮ（Local Area Network）インターフェースである。

【0053】

プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0054】

例えば、符号化パラメータ推定装置１として機能させるためのプログラムは、原動画像に対してローパスフィルタ処理を行い、ローパス動画像を生成するステップと、ローパス動画像に対して縮小処理を行い、縮小動画像を生成するステップと、縮小動画像に対して符号化処理を行い、該符号化処理を行う際の分割ブロックのサイズ及び位置を示すＣＵ情報、及び前記分割ブロック毎の量子化パラメータを示すＱＰ情報を含む符号化情報を生成するステップと、前記ＱＰ情報を閾値と比較することにより、ローパスフィルタ処理、縮小処理、及び符号化処理を繰り返すか否かを判定するステップと、分割ブロックに対応する領域毎に、所定の高周波帯域における１画素あたりの高周波パワー、又は全周波数帯域に対する高周波帯域のパワーの割合を算出してレベル分けした高周波パワー指標を生成するステップと、分割ブロック毎の前記量子化パラメータ、及び分割ブロックに対応する領域毎の高周波パワー指標を対応付け、高周波パワー指標毎に、該高周波パワー指標に対応付けられた量子化パラメータの平均値を推定量子化パラメータとして出力するステップと、をコンピュータに実行させ、ローパスフィルタ処理を行うステップは、繰り返し処理を行う際に、フィルタの周波数特性を変化させる。符号化パラメータ推定装置２，３として機能させるためのプログラムも同様に、上述した符号化パラメータ推定装置２，３で行う処理をコンピュータに実行させる。

【0055】

また、符号化パラメータ推定装置１，２，３は、１つ又は複数の半導体チップにより構成されてもよく、該半導体チップは、符号化パラメータ推定装置１，２，３の各機能を実現する処理内容を記述したプログラムを実行するＣＰＵを搭載してもよい。

【0056】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを統合したり、１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0057】

１，２，３ 符号化パラメータ推定装置
１１ ローパスフィルタ処理部
１２ 縮小処理部
１３ 符号化処理部
１４ 繰り返し処理判定部
１５ 高周波パワー指標算出部
１６，１６ａ，１６ｂ 量子化パラメータ推定部
１７ 動き指標算出部

【図1】

【図2】

【図3】

【図4】