▶ 日本放送協会の特許一覧 ▶ 一般財団法人ＮＨＫエンジニアリングシステムの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024101411
(43)【公開日】2024-07-29
(54)【発明の名称】縮小装置及びプログラム
(51)【国際特許分類】
H04N 19/132 20140101AFI20240722BHJP
H04N 19/154 20140101ALI20240722BHJP
H04N 19/169 20140101ALI20240722BHJP
【ＦＩ】
H04N19/132
H04N19/154
H04N19/169 300
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023005376
(22)【出願日】2023-01-17
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(71)【出願人】
【識別番号】591053926
【氏名又は名称】一般財団法人ＮＨＫエンジニアリングシステム
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100161148
【弁理士】
【氏名又は名称】福尾 誠
(72)【発明者】
【氏名】松尾 康孝
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA41
5C159TA52
5C159TA53
5C159TB15
5C159TC01
5C159TC12
5C159TC28
5C159TD06
5C159TD12
5C159TD16
(57)【要約】
【課題】アーティファクトを抑制するような画像縮小処理を行う。
【解決手段】縮小装置１は、原画像に対して周波数帯域分解を行い、周波数帯域成分を生成する周波数帯域分解部１１と、画素位置毎に、周波数帯域成分の総計パワーに対する、所定の周波数帯域以上の高周波数帯域のパワーの割合である高周波数帯域パワー割合を算出する高周波数帯域割合算出部１２と、高周波数帯域パワー割合が高いほど量子化パラメータ推定値を大きく設定する量子化パラメータ推定部１３と、量子化パラメータ推定値に応じて、周波数帯域成分を縮退した縮退周波数帯域成分を生成する縮退処理部１４と、縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部１５と、縮退画像の解像度を縮小した縮小画像を生成する解像度縮小部１６と、を備える。
【選択図】図１
【解決手段】縮小装置１は、原画像に対して周波数帯域分解を行い、周波数帯域成分を生成する周波数帯域分解部１１と、画素位置毎に、周波数帯域成分の総計パワーに対する、所定の周波数帯域以上の高周波数帯域のパワーの割合である高周波数帯域パワー割合を算出する高周波数帯域割合算出部１２と、高周波数帯域パワー割合が高いほど量子化パラメータ推定値を大きく設定する量子化パラメータ推定部１３と、量子化パラメータ推定値に応じて、周波数帯域成分を縮退した縮退周波数帯域成分を生成する縮退処理部１４と、縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部１５と、縮退画像の解像度を縮小した縮小画像を生成する解像度縮小部１６と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
原画像の縮小画像を生成する縮小装置であって、
前記原画像に対して周波数帯域分解を行い、周波数帯域成分を生成する周波数帯域分解部と、
画素位置毎に、前記周波数帯域成分の総計パワーに対する、所定の周波数帯域以上の高周波数帯域のパワーの割合である高周波数帯域パワー割合を算出する高周波数帯域割合算出部と、
前記高周波数帯域パワー割合が高いほど量子化パラメータ推定値を大きく設定する量子化パラメータ推定部と、
前記量子化パラメータ推定値に応じて、前記周波数帯域成分を縮退した縮退周波数帯域成分を生成する縮退処理部と、
前記縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部と、
前記縮退画像の解像度を縮小した縮小画像を生成する解像度縮小部と、
を備える縮小装置。
前記原画像に対して周波数帯域分解を行い、周波数帯域成分を生成する周波数帯域分解部と、
画素位置毎に、前記周波数帯域成分の総計パワーに対する、所定の周波数帯域以上の高周波数帯域のパワーの割合である高周波数帯域パワー割合を算出する高周波数帯域割合算出部と、
前記高周波数帯域パワー割合が高いほど量子化パラメータ推定値を大きく設定する量子化パラメータ推定部と、
前記量子化パラメータ推定値に応じて、前記周波数帯域成分を縮退した縮退周波数帯域成分を生成する縮退処理部と、
前記縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部と、
前記縮退画像の解像度を縮小した縮小画像を生成する解像度縮小部と、
を備える縮小装置。
【請求項2】
原画像の縮小画像を生成する縮小装置であって、
前記原画像に対して周波数帯域分解を行い、周波数帯域成分を生成する周波数帯域分解部と、
前記周波数帯域成分に基づいて、ピクチャ毎に、前記原画像の雑音レベルを算出する雑音レベル算出部と、
前記雑音レベルが大きいほど量子化パラメータ推定値を大きく設定する量子化パラメータ推定部と、
前記量子化パラメータ推定値に応じて、前記周波数帯域成分を縮退した縮退周波数帯域成分を生成する縮退処理部と、
前記縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部と、
前記縮退画像の解像度を縮小した縮小画像を生成する解像度縮小部と、
を備える縮小装置。
前記原画像に対して周波数帯域分解を行い、周波数帯域成分を生成する周波数帯域分解部と、
前記周波数帯域成分に基づいて、ピクチャ毎に、前記原画像の雑音レベルを算出する雑音レベル算出部と、
前記雑音レベルが大きいほど量子化パラメータ推定値を大きく設定する量子化パラメータ推定部と、
前記量子化パラメータ推定値に応じて、前記周波数帯域成分を縮退した縮退周波数帯域成分を生成する縮退処理部と、
前記縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部と、
前記縮退画像の解像度を縮小した縮小画像を生成する解像度縮小部と、
を備える縮小装置。
【請求項3】
原画像の縮小画像を生成する縮小装置であって、
前記原画像に対して周波数帯域分解を行い、周波数帯域成分を生成する周波数帯域分解部と、
動きベクトルの推定対象となる対象ピクチャを第１ブロックに分割し、該対象ピクチャの前後ピクチャとの間で、第１ブロック毎に動きベクトルの推定を行う動きベクトル推定部と、
前記第１ブロック毎に、前記動きベクトルの大きさが大きいほど量子化パラメータ推定値を大きく設定する量子化パラメータ推定部と、
前記量子化パラメータ推定値に応じて、前記周波数帯域成分を縮退した縮退周波数帯域成分を生成する縮退処理部と、
前記縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部と、
前記縮退画像の解像度を縮小した縮小画像を生成する解像度縮小部と、
を備える縮小装置。
前記原画像に対して周波数帯域分解を行い、周波数帯域成分を生成する周波数帯域分解部と、
動きベクトルの推定対象となる対象ピクチャを第１ブロックに分割し、該対象ピクチャの前後ピクチャとの間で、第１ブロック毎に動きベクトルの推定を行う動きベクトル推定部と、
前記第１ブロック毎に、前記動きベクトルの大きさが大きいほど量子化パラメータ推定値を大きく設定する量子化パラメータ推定部と、
前記量子化パラメータ推定値に応じて、前記周波数帯域成分を縮退した縮退周波数帯域成分を生成する縮退処理部と、
前記縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部と、
前記縮退画像の解像度を縮小した縮小画像を生成する解像度縮小部と、
を備える縮小装置。
【請求項4】
前記動きベクトル推定部は、複数の前記第１ブロックからなる第２ブロックごとに、前記動きベクトルの分散を求め、
前記量子化パラメータ推定部は、前記第２ブロック毎に、前記動きベクトルの分散が大きいほど量子化パラメータ推定値を大きく設定する、請求項３に記載の縮小装置。
前記量子化パラメータ推定部は、前記第２ブロック毎に、前記動きベクトルの分散が大きいほど量子化パラメータ推定値を大きく設定する、請求項３に記載の縮小装置。
【請求項5】
前記縮退処理部は、
前記周波数帯域成分のうち、周波数帯域閾値を超える成分に対して第１の縮退を行い、
前記周波数帯域成分のうち、最低周波数帯域を超え前記周波数帯域閾値以下の成分であり、且つ前記量子化パラメータ推定値が閾値以上の要素に対して、前記第１の縮退よりも縮退率が低い第２の縮退を行う、請求項１から４のいずれか一項に記載の縮小装置。
前記周波数帯域成分のうち、周波数帯域閾値を超える成分に対して第１の縮退を行い、
前記周波数帯域成分のうち、最低周波数帯域を超え前記周波数帯域閾値以下の成分であり、且つ前記量子化パラメータ推定値が閾値以上の要素に対して、前記第１の縮退よりも縮退率が低い第２の縮退を行う、請求項１から４のいずれか一項に記載の縮小装置。
【請求項6】
コンピュータを、請求項１に記載の縮小装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、縮小装置及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、復号画像の超解像処理を行う際に復号画像自体が劣化している場合は、超解像パラメータによっては劣化成分自体が大きく強調されてしまう可能性があるため、所定の終了条件を満たすまで超解像処理と縮小復元処理を繰り返し行うことで、最適な超解像パラメータを得る技術が開示されている。
【0003】
また、特許文献２には、入力画像を一旦縮小して中間解像度に変換し、これに既存の符号化・復号を行った後で元の解像度に戻す方式において、符号化器に応じた符号量とその符号量に対する最適な解像度縮小率を予め蓄積しておき、最適な中間解像度を選択する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第５２６２８７９号公報
【特許文献2】特開２０００－１３４６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の画像縮小技術では、符号化難度を推定しながらブロック歪などのアーティファクトを抑制するような画像縮小処理を行わなかったため、画質破綻抑制の観点から最適な画像縮小処理を行っているとはいえなかった。
【0006】
かかる事情に鑑みてなされた本発明の目的は、繰り返し処理などを用いることなく、ブロック歪などのアーティファクトを抑制するような画像縮小処理を行うことが可能な縮小装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するため、一実施形態に係る縮小装置は、原画像の縮小画像を生成する縮小装置であって、前記原画像に対して周波数帯域分解を行い、周波数帯域成分を生成する周波数帯域分解部と、画素位置毎に、前記周波数帯域成分の総計パワーに対する、所定の周波数帯域以上の高周波数帯域のパワーの割合である高周波数帯域パワー割合を算出する高周波数帯域割合算出部と、前記高周波数帯域パワー割合が高いほど量子化パラメータ推定値を大きく設定する量子化パラメータ推定部と、前記量子化パラメータ推定値に応じて、前記周波数帯域成分を縮退した縮退周波数帯域成分を生成する縮退処理部と、前記縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部と、前記縮退画像の解像度を縮小した縮小画像を生成する解像度縮小部と、を備える。
【0008】
また、一実施形態に係る縮小装置は、原画像の縮小画像を生成する縮小装置であって、前記原画像に対して周波数帯域分解を行い、周波数帯域成分を生成する周波数帯域分解部と、前記周波数帯域成分に基づいて、ピクチャ毎に、前記原画像の雑音レベルを算出する雑音レベル算出部と、前記雑音レベルが大きいほど量子化パラメータ推定値を大きく設定する量子化パラメータ推定部と、前記量子化パラメータ推定値に応じて、前記周波数帯域成分を縮退した縮退周波数帯域成分を生成する縮退処理部と、前記縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部と、前記縮退画像の解像度を縮小した縮小画像を生成する解像度縮小部と、を備える。
【0009】
また、一実施形態に係る縮小装置は、原画像の縮小画像を生成する縮小装置であって、前記原画像に対して周波数帯域分解を行い、周波数帯域成分を生成する周波数帯域分解部と、動きベクトルの推定対象となる対象ピクチャを第１ブロックに分割し、該対象ピクチャの前後ピクチャとの間で、第１ブロック毎に動きベクトルの推定を行う動きベクトル推定部と、前記第１ブロック毎に、前記動きベクトルの大きさが大きいほど量子化パラメータ推定値を大きく設定する量子化パラメータ推定部と、前記量子化パラメータ推定値に応じて、前記周波数帯域成分を縮退した縮退周波数帯域成分を生成する縮退処理部と、前記縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部と、前記縮退画像の解像度を縮小した縮小画像を生成する解像度縮小部と、を備える。
【0010】
さらに、一実施形態に係る縮小装置において、前記動きベクトル推定部は、複数の前記第１ブロックからなる第２ブロックごとに、前記動きベクトルの分散を求め、前記量子化パラメータ推定部は、前記第２ブロック毎に、前記動きベクトルの分散が大きいほど量子化パラメータ推定値を大きく設定してもよい。
【0011】
さらに、一実施形態に係る縮小装置において、前記縮退処理部は、前記周波数帯域成分のうち、周波数帯域閾値を超える成分に対して第１の縮退を行い、前記周波数帯域成分のうち、最低周波数帯域を超え前記周波数帯域閾値以下の成分であり、且つ前記量子化パラメータ推定値が閾値以上の要素に対して、前記第１の縮退よりも縮退率が低い第２の縮退を行ってもよい。
【0012】
また、一実施形態係るプログラムは、コンピュータを、上記縮小装置として機能させる。
【発明の効果】
【0013】
本発明によれば、繰り返し処理などを用いることなく、ブロック歪などのアーティファクトを抑制するような画像縮小処理を行うことが可能となる。
【図面の簡単な説明】
【0014】
【図1】第１の実施形態に係る縮小装置の構成例を示すブロック図である。
【図2】８Ｋ解像度の原画像を空間方向に４階ウェーブレットパケット分解した様子を示す図である。
【図3】縮退関数の基本形を示す図である。
【図4】第２の実施形態に係る縮小装置の構成例を示すブロック図である。
【図5】第３の実施形態に係る縮小装置の構成例を示すブロック図である。
【図6】第４の実施形態に係る縮小装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【0016】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る縮小装置１の構成例を示すブロック図である。図１に示す縮小装置１は、周波数帯域分解部１１と、高周波帯域割合算出部１２と、量子化パラメータ推定部１３と、縮退処理部１４と、周波数再構成部１５と、解像度縮小部１６と、を備える。
図１は、本発明の第１の実施形態に係る縮小装置１の構成例を示すブロック図である。図１に示す縮小装置１は、周波数帯域分解部１１と、高周波帯域割合算出部１２と、量子化パラメータ推定部１３と、縮退処理部１４と、周波数再構成部１５と、解像度縮小部１６と、を備える。
【0017】
縮小装置１は、原画像を入力し、原画像（入力画像）の解像度を縮小した縮小画像を生成して出力する。縮小装置１は、例えば８Ｋ解像度で撮影された原画像を４Ｋ解像度に縮小して放送する場合などに、画像符号化のプリ処理として用いることができる。
【0018】
周波数帯域分解部１１は、原画像に対して、空間方向の周波数分解を行い、周波数帯域毎のパワー成分（以下、「周波数帯域成分」という。）を生成する。各成分はパワースペクトルを示す。そして、周波数帯域分解部１１は、生成した周波数帯域成分を高周波帯域割合算出部１２及び縮退処理部１４に出力する。
【0019】
本実施形態では、周波数帯域分解部１１は、周波数帯域分解としてウェーブレットパケット分解を行う。ウェーブレットパケット分解では、空間方向に均等に周波数分解を行う。すなわち、低周波帯域のみならず高周波帯域についても周波数分解を行う。なお、ウェーブレットフィルタ及び分解階層数は、ユーザが任意に設定可能である。
【0020】
図２は、８Ｋ解像度の原画像を空間方向に４階ウェーブレットパケット分解して、１Ｋ×０．５Ｋ毎の周波数帯域に分解した様子を示す図である。原画像の多重解像度分解を高精度に行うためには、線形位相性を有し、比較的タップ長が長く遮断特性が急峻なウェーブレットフィルタ（例えば、ＣＤＦ（Cohen-Daubechies-Feauveau）９／７、Biorthogonaｌ（６，８）など）を用いることが望ましい。また、各帯域間のパワーは、パーセバルの等式を満たすものとする。
【0021】
また、周波数帯域分解部１１は、本実施形態では位相情報を保持しながら（すなわち、画像サイズの縮小を伴うデシメーション処理を伴わないで）、ウェーブレットパケット分解を用いて周波数帯域分解を行う。そのため、原画像のサイズが８Ｋ×４Ｋであった場合、各周波数帯域内の要素数は８Ｋ×４Ｋ個である。なお、図２において、ＸＸで示す周波数帯域は、それぞれＬＬ，ＬＨ，ＨＬ，ＨＨの４つの周波数帯域により構成される。
【0022】
高周波帯域割合算出部１２は、縮小処理によって帯域が制限される周波数帯域の上限（以下、「周波数帯域閾値」と称する。）を｛ＨＬ，ＶＬ｝とし、画素位置（ｘ，ｙ）毎に、周波数帯域分解部１１により生成された周波数帯域成分の総計パワーに対する、｛ＨＬ，ＶＬ｝以上の高周波数帯域のパワーの割合である高周波数帯域パワー割合Ｐｈ（ｘ，ｙ）を算出する。そして、高周波帯域割合算出部１２は、算出した高周波数帯域パワー割合Ｐｈ（ｘ，ｙ）を量子化パラメータ推定部１３に出力する。
【0023】
量子化パラメータ推定部１３は、縮小画像を符号化するときの量子化パラメータ（ＱＰ；Quantization parameter）を推定する。量子化パラメータとは、Ｈ．２６５／ＨＥＶＣ(High Efficiency Video Coding)、Ｈ.２６６／ＶＶＣ（Versatile Video Coding）などの符号化方式において、直交変換された信号を量子化する際の量子化ステップを制御するパラメータである。例えば、量子化パラメータの値は０～５１であり、量子化パラメータが６増加する毎に、量子化ステップが２倍となる。量子化パラメータの詳細については、例えば下記の参考文献を参照されたい。
［参考文献］大久保榮監修、「インプレス標準教科書シリーズ Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、２０１３年１０月２１日
［参考文献］大久保榮監修、「インプレス標準教科書シリーズ Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、２０１３年１０月２１日
【0024】
量子化パラメータ推定部１３は、画素位置毎に、高周波帯域割合算出部１２により算出された高周波数帯域パワー割合Ｐｈ（ｘ，ｙ）が高いほど符号化難度が高いとして、量子化パラメータ推定値（以下、「ＱＰ推定値」と称する。）を大きく設定する。表１に、高周波数帯域割合Ｐｈ（ｘ，ｙ）に対するＱＰ推定値の設定例を示す。
【0025】
【表1】
【0026】
縮退処理部１４は、量子化パラメータ推定部１３から入力したＱＰ推定値に応じて、周波数帯域分解部１１から入力した周波数帯域成分を縮退した縮退周波数帯域成分を生成する。この縮退処理により周波数帯域が制限される。そして、縮退処理部１４は、縮退周波数帯域成分を周波数再構成部１５に出力する。
【0027】
図３は、縮退関数の基本形を示す図である。図３を参照して、縮退処理部１４による縮退処理の具体例について説明する。この例では、縮退処理部１４は、縮退関数として小縮退関数及び大縮退関数の２種類の関数を用意する。小縮退関数を適用する要素位置においては、その要素の入力値ｘに対して出力値ｙをｙ＝ｍ１ｘとして算出する。大縮退関数を適用する要素位置においては、その要素の入力値ｘに対して出力値ｙをｙ＝ｍ２ｘとして算出する。縮退係数ｍ１，ｍ２は、０以上１以下の実数であり、ｍ１＞ｍ２である。小縮退関数の縮退係数ｍ１は、例えば０．５（３ｄＢ減衰）とする。大縮退関数の縮退係数ｍ２は、例えば０．０１（２０ｄＢ減衰）とする。縮退係数ｍ１，ｍ２は、あらかじめ決められていてもよいし、ユーザにより設定可能であってもよい。
【0028】
例えば、縮退処理部１４は、周波数帯域閾値｛ＨＬ，ＶＬ｝を超える周波数帯域では、大縮退関数を適用する。また、周波数帯域閾値｛ＨＬ，ＶＬ｝以下の周波数帯域では、ＱＰ推定値に応じて画素位置毎に小縮退関数と縮退関数適用無しの処理を切り替えて適用する。また、最低周波数帯域（ＬＬ１）内の要素には、縮退処理を行わない。すなわち、この例では、以下の（１）～（３）の基準で縮退を行う。第１の縮退よりも第２の縮退のほうが、縮退率が低い（縮退係数が大きい）。
（１）大縮退関数を適用した第１の縮退
周波数帯域閾値｛ＨＬ，ＶＬ｝を超える周波数帯域
（２）小縮退関数を適用した第２の縮退
最低周波数帯域（ＬＬ１）を超え周波数帯域閾値｛ＨＬ，ＶＬ｝以下の周波数帯域であり、且つＱＰ推定値が閾値以上の要素
（３）縮退無し
上記（１），（２）以外の場合
（１）大縮退関数を適用した第１の縮退
周波数帯域閾値｛ＨＬ，ＶＬ｝を超える周波数帯域
（２）小縮退関数を適用した第２の縮退
最低周波数帯域（ＬＬ１）を超え周波数帯域閾値｛ＨＬ，ＶＬ｝以下の周波数帯域であり、且つＱＰ推定値が閾値以上の要素
（３）縮退無し
上記（１），（２）以外の場合
【0029】
周波数再構成部１５は、縮退処理部１４により生成された縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する。例えば、周波数帯域分解部１１が４階ウェーブレットパケット分解を行っている場合は、その逆変換として４階ウェーブレットパケット再構成を行う。そして、周波数再構成部１５は、生成した縮退画像を解像度縮小部１６に出力する。
【0030】
解像度縮小部１６は、周波数再構成部１５により生成された縮退画像の解像度を縮小し、解像度｛ＨＳ，ＶＳ｝の縮小画像を生成する。解像度縮小部１６は、例えば縮退画像を水平及び垂直方向に２：１の画素間引きを行うことで、８Ｋピクチャを４Ｋピクチャへ縮小する。なお、縮小率は、ユーザが任意に設定可能である。縮小率が整数分の１倍ではない場合には、Ｌａｎｃｚｏｓ－４フィルタなどを用いた画素内挿を行い、それから画素間引きを行う。補間内挿フィルタの種類は、あらかじめ決められていてもよいし、ユーザにより設定可能であってもよい。そして、解像度縮小部１６は、生成した縮小画像を縮小装置１の外部に出力する。
【0031】
（第２の実施形態）
次に、第２の実施形態に係る縮小装置について説明する。
次に、第２の実施形態に係る縮小装置について説明する。
【0032】
図４は、第２の実施形態に係る縮小装置２の構成例を示すブロック図である。図４に示す縮小装置２は、周波数帯域分解部１１と、雑音レベル算出部１７と、量子化パラメータ推定部１３ａと、縮退処理部１４と、周波数再構成部１５と、解像度縮小部１６と、を備える。第２の実施形態に係る縮小装置２は、第１の実施形態に係る縮小装置１と比較して、高周波帯域割合算出部１２に代えて雑音レベル算出部１７を備え、量子化パラメータ推定部１３に代えて量子化パラメータ推定部１３ａを備える点が相違する。その他の構成については第１の実施形態と同一であるため、同一の参照番号を付して説明を省略する。
【0033】
周波数帯域分解部１１は、生成した周波数帯域成分を雑音レベル算出部１７及び縮退処理部１４に出力する。
【0034】
雑音レベル算出部１７は、周波数帯域分解部１１から入力した周波数帯域成分に基づいて、ピクチャ毎に、原画像の雑音レベルを算出する。自然画像は空間低周波帯域にパワーが集中しており、高周波帯域成分はほぼ雑音成分のみとなることから、雑音レベル算出部１７は、例えば斜め方向の最高周波数帯域ＨＨ６４（図２参照）の成分は雑音成分とみなして、最高周波数帯域ＨＨ６４の非ゼロ成分の最大値、平均値、又は中央値を雑音レベルとして算出する。そして、雑音レベル算出部１７は、算出した雑音レベルを量子化パラメータ推定部１３ａに出力する。
【0035】
量子化パラメータ推定部１３ａは、ピクチャ毎に、雑音レベル算出部１７により算出された雑音レベルが大きいほど、符号化時に信号成分に割り当てられるビット数が少なくなり画質が低下するとして、ＱＰ推定値を大きく設定する。表２に、画素値が８ビットの場合の、雑音レベルに対するＱＰ推定値の設定例を示す。
【0036】
【表2】
【0037】
（第３の実施形態）
次に、第３の実施形態に係る縮小装置について説明する。
次に、第３の実施形態に係る縮小装置について説明する。
【0038】
図５は、第３の実施形態に係る縮小装置３の構成例を示すブロック図である。図５に示す縮小装置３は、周波数帯域分解部１１と、動きベクトル推定部１８と、量子化パラメータ推定部１３ｂと、縮退処理部１４と、周波数再構成部１５と、解像度縮小部１６と、を備える。第３の実施形態に係る縮小装置３は、第２の実施形態に係る縮小装置２と比較して、雑音レベル算出部１７に代えて動きベクトル推定部１８を備え、量子化パラメータ推定部１３ａに代えて量子化パラメータ推定部１３ｂを備える点が相違する。その他の構成については第２の実施形態と同一であるため、同一の参照番号を付して説明を省略する。
【0039】
動きベクトル推定部１８は、動きベクトルの推定対象となる対象ピクチャを第１ブロックに分割し、該対象ピクチャの前後ピクチャとの間でブロックマッチング法などを用いて、第１ブロック毎に動きベクトルの推定を行う。前後ピクチャは、あらかじめ指定される。また、動きベクトル推定部１８は、複数の第１ブロックからなる第２ブロックごとに、動きベクトルの分散を求める。そして、動きベクトル推定部１８は、求めた動きベクトルの大きさ及び分散を量子化パラメータ推定部１３ｂに出力する。
【0040】
なお、縮小装置３の後処理として、符号化装置にて符号化処理を行う場合には、符号化処理におけるRandom Access情報を取得し、該情報を基に、動きベクトル推定先の前後ピクチャを指定してもよい。さらに、符号化装置から、ＣＵ（Coding Unit）毎の予測結果の情報を取得し、該情報を基に、第１ブロックのサイズや、第１ブロックの動きベクトル推定情報を設定してもよい。
【0041】
量子化パラメータ推定部１３ｂは、第１ブロック毎に、動きベクトル推定部１８により導出された動きベクトルの大きさが大きいほど、符号化難度が高いとして、ＱＰ推定値を大きく設定する。また、量子化パラメータ推定部１３ｂは、第２ブロック毎に、動きベクトル推定部１８により導出された分散が大きいほど、符号化難度が高いとして、ＱＰ推定値を大きく設定する。
【0042】
量子化パラメータ推定部１３ｂは、動きベクトルの大きさのみを用いて、動きベクトルの大きさが大きいほどＱＰ推定値を大きく設定してもよい。量子化パラメータ推定部１３ｂは、動きベクトルの大きさ及び分散を用いる場合には、動きベクトルの大きさに基づくＱＰ推定値に対して、動きベクトルの分散に基づくＱＰオフセット値を加算してもよい。表３に、動きベクトルの大きさ及び分散に対するＱＰ推定値の設定例を示す。
【0043】
【表3】
【0044】
（第４の実施形態）
次に、第４の実施形態に係る縮小装置について説明する。
次に、第４の実施形態に係る縮小装置について説明する。
【0045】
図６は、第４の実施形態に係る縮小装置４の構成例を示すブロック図である。図６に示す縮小装置４は、周波数帯域分解部１１と、高周波帯域割合算出部１２と、雑音レベル算出部１７と、動きベクトル推定部１８と、量子化パラメータ推定部１３ｃと、縮退処理部１４と、周波数再構成部１５と、解像度縮小部１６と、を備える。第４の実施形態に係る縮小装置４は、第１の実施形態に係る縮小装置１と比較して、雑音レベル算出部１７及び動きベクトル推定部１８を更に備え、量子化パラメータ推定部１３ａに代えて量子化パラメータ推定部１３ｃを備える点が相違する。その他の構成については第１の実施形態と同一であるため、同一の参照番号を付して説明を省略する。
【0046】
雑音レベル算出部１７は、第２の実施形態で説明したように雑音レベルを算出し、量子化パラメータ推定部１３ｃに出力する。動きベクトル推定部１８は、第３の実施形態で説明したように動きベクトルの大きさ及び分散を求め、量子化パラメータ推定部１３ｃに出力する。
【0047】
量子化パラメータ推定部１３ｃは、上述した表１～３を組み合わせてＱＰ推定値を設定する。例えば、ある画素位置において複数のＱＰ推定値が得られた場合は、それらのうちの最大値又は中央値を採用するなどして処理を行う。
【0048】
以上説明したように、縮小装置１～４は、原画像を周波数帯域成分に分解し、符号化難度に対応するＱＰ推定値に応じて縮退処理を行う。そのため、例えば８Ｋ解像度で撮影された原画像を４Ｋ解像度に縮小して放送する場合などに、縮小装置１～４により画像を縮小することで、符号化が困難な画像で発生しやすい符号化アーティファクトによる画質破綻を抑制すること可能となる。
【0049】
（変形例）
次に、変形例に係る縮小装置について説明する。
次に、変形例に係る縮小装置について説明する。
【0050】
第４の実施形態に係る縮小装置４は、高周波帯域割合算出部１２、雑音レベル算出部１７、及び動きベクトル推定部１８のうち、いずれか２つのみを備えていてもよい。その場合には、量子化パラメータ推定部１３ｃは、上述した表１～３のいずれか２つを組み合わせてＱＰ推定値を設定する。
【0051】
縮小装置１～４の後処理として、符号化装置にて符号化処理を行う場合には、符号化装置から、ＣＵ毎のＱＰ情報を取得し、その値をＱＰ推定値としてもよい。さらにこのＣＵ毎のＱＰ情報から原画像情報を解析して表１～３を設定すれば、当該コーデックにおける準最適なＱＰ推定値を得ることができる。
【0052】
（プログラム）
上述した縮小装置１～４として機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
上述した縮小装置１～４として機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
【0053】
コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。入力部は、ユーザの入力操作を受け付けてユーザの操作に基づく情報を取得する入力インターフェースであり、ポインティングデバイス、キーボード、マウスなどである。出力部は、情報を出力する出力インターフェースであり、ディスプレイ、スピーカなどである。通信インターフェースは、外部の装置と通信するためのインターフェースであり、例えばＬＡＮ（Local Area Network）インターフェースである。
【0054】
プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0055】
例えば、縮小装置１として機能させるためのプログラムは、原画像に対して周波数帯域分解を行い、周波数帯域成分を生成するステップと、画素位置毎に、周波数帯域成分の総計パワーに対する、所定の周波数帯域以上の高周波数帯域のパワーの割合である高周波数帯域パワー割合を算出するステップと、高周波数帯域パワー割合が高いほど量子化パラメータ推定値を大きく設定するステップと、量子化パラメータ推定値に応じて、周波数帯域成分を縮退した縮退周波数帯域成分を生成するステップと、縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成するステップと、縮退画像の解像度を縮小した縮小画像を生成するステップと、をコンピュータに実行させる。縮小装置２～４として機能させるためのプログラムも同様に、上述した縮小装置２～４で行う処理をコンピュータに実行させる。
【0056】
また、縮小装置１～４は、１つ又は複数の半導体チップにより構成されてもよく、該半導体チップは、縮小装置１～４の各機能を実現する処理内容を記述したプログラムを実行するＣＰＵを搭載してもよい。
【0057】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを統合したり、１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【0058】
１，２，３，４ 縮小装置
１１ 周波数帯域分解部
１２ 高周波帯域割合算出部
１３，１３ａ，１３ｂ，１３ｃ 量子化パラメータ推定部
１４ 縮退処理部
１５ 周波数再構成部
１６ 解像度縮小部
１７ 雑音レベル算出部
１８ 動きベクトル推定部
１１ 周波数帯域分解部
１２ 高周波帯域割合算出部
１３，１３ａ，１３ｂ，１３ｃ 量子化パラメータ推定部
１４ 縮退処理部
１５ 周波数再構成部
１６ 解像度縮小部
１７ 雑音レベル算出部
１８ 動きベクトル推定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】