特開 2023-122317 縮小装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023122317

(43)【公開日】2023-09-01

(54)【発明の名称】縮小装置及びプログラム

(51)【国際特許分類】

   H04N 19/132 20140101AFI20230825BHJP

   H04N 7/01 20060101ALI20230825BHJP

   H04N 19/63 20140101ALI20230825BHJP

   H04N 19/154 20140101ALI20230825BHJP

   H04N 19/169 20140101ALI20230825BHJP

   H04N 1/387 20060101ALI20230825BHJP

   G06T 3/40 20060101ALI20230825BHJP

【ＦＩ】

H04N19/132

H04N7/01 170

H04N19/63

H04N19/154

H04N19/169 300

H04N1/387 101

G06T3/40 750

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022025960

(22)【出願日】2022-02-22

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(71)【出願人】

【識別番号】591053926

【氏名又は名称】一般財団法人ＮＨＫエンジニアリングシステム

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】松尾 康孝

【テーマコード（参考）】

5B057

5C063

5C076

5C159

【Ｆターム（参考）】

5B057CA08

5B057CB08

5B057CC01

5B057CD05

5B057CG09

5C063AA10

5C063CA05

5C076AA22

5C076BA06

5C076BB40

5C159MA41

5C159MC00

5C159MC11

5C159TA41

5C159TB15

5C159TC28

5C159TD12

5C159UA02

(57)【要約】

【課題】高品質な縮小画像を生成する。
【解決手段】縮小装置１は、原画像に対して各周波数帯域が縮小画像の空間解像度以下となるまで空間方向の周波数帯域分解を行い、周波数帯域成分を生成する周波数分解部１０と、縮小画像に対して符号化処理を行い、符号化情報を抽出する符号化情報抽出部１３と、周波数帯域成分に対して符号化情報を用いて縮退処理を行い、縮退周波数帯域成分を生成する縮退処理部１４と、縮退周波数帯域成分に対して周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部１５と、縮退画像の縮小画像を生成する空間解像度縮小部１６とを備え、縮退処理部１４は、最低周波数帯域を超え且つ縮小画像の空間解像度以下の周波数帯域においては、量子化パラメータが閾値以上となる符号化ブロック位置の縮退率を、量子化パラメータが閾値未満となる符号化ブロック位置の縮退率よりも高くする。
【選択図】図１

【特許請求の範囲】

【請求項1】

原画像の縮小画像を生成する縮小装置であって、
前記原画像に対して位相情報を保持しながら、各周波数帯域が前記縮小画像の空間解像度以下となるまで空間方向の周波数帯域分解を行い、周波数帯域成分を生成する周波数分解部と、
前記縮小画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた量子化パラメータを含む符号化情報を抽出する符号化情報抽出部と、
前記周波数帯域成分に対して、前記符号化情報を用いて縮退処理を行い、成分が縮退された縮退周波数帯域成分を生成する縮退処理部と、
前記縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部と、
前記縮退画像の空間解像度を縮小した縮小画像を生成する空間解像度縮小部と、
を備え、
前記縮退処理部は、最低周波数帯域においては縮退処理を行わず、前記最低周波数帯域を超え且つ前記縮小画像の空間解像度以下の周波数帯域においては、前記量子化パラメータが第１閾値以上となる符号化ブロック位置の縮退率を、前記量子化パラメータが前記第１閾値未満となる符号化ブロック位置の縮退率よりも高くする縮小装置。

【請求項2】

前記縮退処理部は、前記周波数帯域成分のうち、前記縮小画像の空間解像度を超える周波数帯域の縮退率を最も高くする、請求項１に記載の縮小装置。

【請求項3】

前記符号化情報抽出部、前記縮退処理部、前記周波数再構成部、及び前記空間解像度縮小部による処理は、前記量子化パラメータが第２閾値よりも小さくなるまで繰り返し行われる、請求項１又は２に記載の縮小装置。

【請求項4】

前記周波数帯域成分のうち、対角方向の最高周波数帯域成分を用いて雑音レベルを算出する雑音レベル設定部を更に備え、
前記縮退処理部は、前記雑音レベル以下の前記周波数帯域成分の縮退率を、前記雑音レベルを超える前記周波数帯域成分の縮退率よりも高くする、請求項１から３のいずれか一項に記載の縮小装置。

【請求項5】

前記縮退処理部は、絶対値が上位から所定の順位に含まれる時空間周波数帯域成分の縮退率を、絶対値が前記所定の順位に含まれない時空間周波数帯域成分の縮退率よりも高くする、請求項１から４のいずれか一項に記載の縮小装置。

【請求項6】

前記周波数分解部は、前記原画像に対して、時間方向にも周波数帯域分解を行い、前記周波数帯域成分を生成する、請求項１から５のいずれか一項に記載の縮小装置。

【請求項7】

前記縮退処理部は、前記最低周波数帯域を超え且つ前記縮小画像の空間解像度以下の周波数帯域において、時間方向の周波帯域成分が第３閾値を超える場合に縮退処理を行う、請求項６に記載の縮小装置。

【請求項8】

コンピュータを、請求項１から７のいずれか一項に記載の縮小装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、縮小装置及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、復号画像の超解像処理を行う際に復号画像自体が劣化している場合は、超解像パラメータによっては劣化成分自体が大きく強調されてしまう可能性があるため、所定の終了条件を満たすまで超解像処理と縮小復元処理を繰り返し行うことで、最適な超解像パラメータを得る技術が開示されている。

【0003】

また、特許文献２には、入力画像を一旦縮小して中間解像度に変換し、これに既存の符号化・復号を行った後で元の解像度に戻す方式において、符号化器に応じた符号量とその符号量に対する最適な解像度縮小率を予め蓄積しておき、最適な中間解像度を選択する技術が開示されている。

【0004】

一方、Ｈ．２６５／ＨＥＶＣ(High Efficiency Video Coding)、Ｈ.２６６／ＶＶＣ（Versatile Video Coding）などの符号化方式では、ＤＣＴ（Discrete Cosine Transform）などの直交変換や動きベクトルを用いた動き補償が行われる。Ｈ．２６５／ＨＥＶＣの技術の詳細については、例えば非特許文献１に詳細に記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第５２６２８７９号公報

【特許文献2】特開２０００－１３４６１８号公報

【非特許文献】

【0006】

【非特許文献1】大久保榮監修、「インプレス標準教科書シリーズ Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、２０１３年１０月２１日

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１、２に開示された従来技術では、縮小画像を生成した際に、符号化が困難な画像において、ブロック歪などのアーティファクトが発生し、画質が劣化するという課題があった。一般に、符号化が困難な画像において十分な符号量が確保できない場合は、符号化アーティファクトによる画質破綻が発生しやすくなる。

【0008】

かかる事情に鑑みてなされた本発明の目的は、高品質な縮小画像を生成することが可能な縮小装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0009】

上記課題を解決するため、一実施形態に係る縮小装置は、原画像の縮小画像を生成する縮小装置であって、前記原画像に対して位相情報を保持しながら、各周波数帯域が前記縮小画像の空間解像度以下となるまで空間方向の周波数帯域分解を行い、周波数帯域成分を生成する周波数分解部と、前記縮小画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた量子化パラメータを含む符号化情報を抽出する符号化情報抽出部と、前記周波数帯域成分に対して、前記符号化情報を用いて縮退処理を行い、成分が縮退された縮退周波数帯域成分を生成する縮退処理部と、前記縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部と、前記縮退画像の空間解像度を縮小した縮小画像を生成する空間解像度縮小部と、を備え、前記縮退処理部は、最低周波数帯域においては縮退処理を行わず、前記最低周波数帯域を超え且つ前記縮小画像の空間解像度以下の周波数帯域においては、前記量子化パラメータが第１閾値以上となる符号化ブロック位置の縮退率を、前記量子化パラメータが前記第１閾値未満となる符号化ブロック位置の縮退率よりも高くする。

【0010】

さらに、一実施形態に係る縮小装置において、前記縮退処理部は、前記周波数帯域成分のうち、前記縮小画像の空間解像度を超える周波数帯域の縮退率を最も高くしてもよい。

【0011】

さらに、一実施形態に係る縮小装置において、前記符号化情報抽出部、前記縮退処理部、前記周波数再構成部、及び前記空間解像度縮小部による処理は、前記量子化パラメータの値が第２閾値よりも小さくなるまで繰り返し行われてもよい。

【0012】

さらに、一実施形態に係る縮小装置において、前記周波数帯域成分のうち、対角方向の最高周波数帯域成分を用いて雑音レベルを算出する雑音レベル設定部を更に備え、前記縮退処理部は、前記雑音レベル以下の前記周波数帯域成分の縮退率を、前記雑音レベルを超える前記周波数帯域成分の縮退率よりも高くしてもよい。

【0013】

さらに、一実施形態に係る縮小装置において、前記縮退処理部は、絶対値が上位から所定の順位に含まれる時空間周波数帯域成分の縮退率を、絶対値が前記所定の順位に含まれない時空間周波数帯域成分の縮退率よりも高くしてもよい。

【0014】

さらに、一実施形態に係る縮小装置において、前記周波数分解部は、前記原画像に対して、時間方向にも周波数帯域分解を行い、前記周波数帯域成分を生成してもよい。

【0015】

さらに、一実施形態に係る縮小装置において、前記縮退処理部は、前記最低周波数帯域を超え且つ前記縮小画像の空間解像度以下の周波数帯域において、時間方向の周波帯域成分が第３閾値を超える場合に縮退処理を行ってもよい。

【0016】

また、一実施形態係るプログラムは、コンピュータを、上記縮小装置として機能させる。

【発明の効果】

【0017】

本発明によれば、高品質な縮小画像を生成することができる。

【図面の簡単な説明】

【0018】

【図1】第１の実施形態に係る縮小装置の構成例を示すブロック図である。

【図2】８Ｋ解像度の原画像を空間方向に４階ウェーブレットパケット分解した様子を示す図である。

【図3】８Ｋ解像度の原画像を空間方向に４階ウェーブレットパケット分解し、時間方向に１階ウェーブレットパケット分解した様子を示す図である。

【図4】第２の実施形態に係る縮小装置の構成例を示すブロック図である。

【図5】第２の実施形態に係る縮小装置で使用される基本縮退関数の一例を示す図である。

【図6】第３の実施形態に係る縮小装置の構成例を示すブロック図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態について、図面を参照して詳細に説明する。

【0020】

（第１の実施形態）
図１は、本発明の第１の実施形態に係る縮小装置１の構成例を示すブロック図である。図１に示す縮小装置１は、周波数分解部１０と、符号化情報抽出部１３と、縮退処理部１４と、周波数再構成部１５と、空間解像度縮小部１６と、を備える。

【0021】

縮小装置１は、原画像を入力し、原画像（入力画像）の空間解像度を縮小した縮小画像を生成して出力する。縮小装置１は、例えば８Ｋ解像度で撮影された原画像を４Ｋ解像度に縮小して放送する場合などに、画像符号化のプリ処理として用いることができる。

【0022】

周波数分解部１０は、空間周波数帯域分解部１１と、時間周波数帯域分解部１２と、を備える。本実施形態では、周波数分解部１０が時間周波数帯域分解部１２を備えるものとして説明するが、時間周波数帯域分解部１２を備えない構成であってもよい。

【0023】

空間周波数帯域分解部１１は、原画像に対して位相情報を保持しながら（すなわち、デシメーション無しで）、各周波数帯域が縮小装置１の出力する縮小画像の空間解像度以下となるまで空間方向の周波数帯域分解を行い、空間周波数帯域毎の成分（以下、「空間周波数帯域成分」という。）を生成する。各成分はパワースペクトルを示す。そして、空間周波数帯域分解部１１は、空間周波数帯域成分を時間周波数帯域分解部１２に出力する。本実施形態では、周波数帯域分解としてウェーブレットパケット分解を行う。なお、ウェーブレットフィルタ及び空間分解階層数は、ユーザが任意に設定可能である。

【0024】

図２は、８Ｋ解像度の原画像を空間方向に４階ウェーブレットパケット分解して、１Ｋ×０．５Ｋ毎の空間周波数帯域に分解した様子を示す図である。原画像の多重解像度分解を高精度に行うためには、線形位相性を有し、比較的タップ長が長く遮断特性が急峻なウェーブレットフィルタ（例えば、ＣＤＦ（Cohen-Daubechies-Feauveau）９／７、Biorthogonal(6,8)など）を用いることが望ましい。また、各帯域間のパワーは、パーセバルの等式を満たすものとする。

【0025】

また、空間周波数帯域分解部１１は、本実施形態ではデシメーション無しのウェーブレットパケット分解を用いて空間周波数帯域分解を行う。そのため、各周波数帯域内の空間方向の要素数は８Ｋ×４Ｋ個である。なお、図２において、ＸＸで示す周波数帯域は、それぞれＬＬ，ＬＨ，ＨＬ，ＨＨの４つの周波数帯域により構成される。

【0026】

時間周波数帯域分解部１２は、空間周波数帯域分解部１１により生成された空間周波数帯域成分に対して時間方向の周波数帯域分解を行い、時空間周波数帯域毎のパワースペクトル要素成分（以下、「時空間周波数帯域成分」という。）を生成する。そして、時間周波数帯域分解部１２は、時空間周波数帯域成分を縮退処理部１４に出力する。本実施形態では、周波数帯域分解としてウェーブレット分解を行う。なお、ウェーブレットフィルタ及び時間分解階層数は、ユーザが任意に設定可能である。

【0027】

図３は、８Ｋ解像度の原画像を空間方向に４階ウェーブレットパケット分解し、時間方向に１階ウェーブレットパケット分解した様子を示す図である。６０フレーム／秒の空間周波数帯域成分を１階ウェーブレットパケット分解すると、１から３０フレーム／秒と３１から６０フレーム／秒の時間周波数帯域に分解される。ここで、ウェーブレットフィルタは空間周波数帯域分解部１１と同じとする。また、デシメーション無しのウェーブレットパケット分解を行った場合、各周波数帯域内の時間方向の要素数は６０個である。各周波数帯域内の時空間方向の要素数は８Ｋ×４Ｋ×６０個である。

【0028】

符号化情報抽出部１３は、後述する空間解像度縮小部１６により生成された縮小画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた符号化情報を抽出する。そして、符号化情報抽出部１３は、符号化情報を縮退処理部１４に出力する。ここでは例として符号化処理をＶＶＣ／Ｈ．２６６を用いて行い、符号化情報として、符号化ブロック（すなわち、符号化ユニットＣＵ（Coding Unit））の分割情報と、ＣＵ毎の量子化パラメータＱＰ（Quantization Parameter）及び動きベクトルの情報と、を抽出する。ＣＵの分割情報とは、ＣＵのサイズ情報及び位置情報である。

【0029】

縮退処理部１４は、外部から縮退設定情報を取得する。縮退設定情報とは、縮小空間解像度情報、帯域制限周波数情報、及び縮退係数情報を含む情報である。まず、これらの情報について説明した後、縮退処理について説明する。

【0030】

縮小空間解像度情報とは、生成する縮小画像の空間解像度を指定する情報であり、ユーザにより設定される。水平方向の縮小空間解像度をＨ_Ｓとし、垂直方向の縮小空間解像度をＶ_Ｓとすると、例えば、縮小空間解像度｛Ｈ_Ｓ，Ｖ_Ｓ｝は以下の８種類から選択される。
｛Ｈ_Ｓ，Ｖ_Ｓ｝＝｛１Ｋ，０．５Ｋ｝，｛２Ｋ，１Ｋ｝，｛３Ｋ，１．５Ｋ｝，｛４Ｋ，２Ｋ｝，｛５Ｋ，２．５Ｋ｝，｛６Ｋ，３Ｋ｝，｛７Ｋ，３．５Ｋ｝，｛８Ｋ，４Ｋ｝（８種類）

【0031】

帯域制限周波数情報とは、帯域制限される下限の周波数を指定する情報であり、ユーザにより設定される。水平方向の帯域制限下限周波数をＨ_Ｌとし、垂直方向の帯域制限下限周波数をＶ_Ｌとし、時間方向の帯域制限下限周波数をＴ_Ｌとすると、例えば、帯域制限下限周波数｛Ｈ_Ｌ，Ｖ_Ｌ，Ｔ_Ｌ｝は以下の組み合わせとする。
水平方向Ｈ_Ｌ＝１Ｋ，２Ｋ，３Ｋ，４Ｋ，５Ｋ，６Ｋ，７Ｋ，８Ｋ（８種類）
垂直方向Ｖ_Ｌ＝０．５Ｋ，１Ｋ，１．５Ｋ，２Ｋ，２．５Ｋ，３Ｋ，３．５Ｋ，４Ｋ（８種類）
時間方向Ｔ_Ｌ＝３０，６０（２種類）

【0032】

なお、縮小装置１が時間周波数帯域分解部１２を備えない場合には、帯域制限下限周波数は｛Ｈ_Ｌ，Ｖ_Ｌ｝である。また、帯域制限下限周波数は、設定でオン／オフを指定してもよい。オフの場合には、｛Ｈ_Ｌ，Ｖ_Ｌ｝＝｛Ｈ_Ｓ，Ｖ_Ｓ｝となり、縮小装置１が時間周波数帯域分解部１２を備える場合はＴ_Ｌ＝６０となる。

【0033】

縮退係数情報とは、０以上１以下の縮退係数を示す情報であり、ユーザにより設定される。縮退係数は複数あってもよい。本実施形態では、縮退係数として、縮退率が最も低い第１縮退係数ｍ_１、縮退率が次に低い第２縮退係数ｍ_２、及び縮退率が最も高い第３縮退係数ｍ_３を用いるものとする。例えば初期値は、ｍ_１＝０．５（３ｄＢ減衰）、ｍ_２＝０．１（１０ｄＢ減衰）、ｍ_３＝０．００１（３０ｄＢ減衰）とする。

【0034】

縮退処理部１４は、時間周波数帯域分解部１２から取得した時空間周波数帯域成分に対して、符号化情報抽出部１３から取得した符号化情報、及び外部から取得した縮退設定情報を用いて、成分が縮退された時空間周波数帯域成分（以下、「縮退周波数帯域成分」という。）を生成する。この縮退処理により周波数帯域が制限される。そして、縮退処理部１４は、縮退周波数帯域成分を周波数再構成部１５に出力する。

【0035】

縮退係数の適用例について説明する。縮退処理を行わない周波数帯域と、第３縮退係数ｍ_３を適用する周波数帯域は、例えば以下のようにすることができる。
縮退処理なし：直流成分を含む最も低い時空間周波数帯域（最低周波数帯域ＬＬ^１）においては縮退処理を行わない（すなわち、成分を変更しない）。
第３縮退係数ｍ_３：縮小空間解像度｛Ｈ_Ｓ，Ｖ_Ｓ｝を超える周波数帯域において適用する。

【0036】

また、最低周波数帯域を超え且つ縮小空間解像度｛Ｈ_Ｓ，Ｖ_Ｓ｝以下の周波数帯域には、ＣＵ位置毎の空間周波数パワー割合、及び符号化情報（量子化パラメータＱＰ、動きベクトルの大きさ等）に応じて、ＣＵ位置又は要素位置毎に第１縮退係数ｍ_１と第２縮退係数ｍ_２に切り替えて適用する。縮退係数の切り替えとしては、例えば以下の基準で行う。
第２縮退係数ｍ_２：最低周波数帯域を超え且つ縮小空間解像度｛Ｈ_Ｓ，Ｖ_Ｓ｝以下の周波数帯域において、量子化パラメータＱＰが閾値Ｔｑ（第１閾値）以上となるＣＵ位置に適用する。
第１縮退係数ｍ_１：最低周波数帯域を超え且つ縮小空間解像度｛Ｈ_Ｓ，Ｖ_Ｓ｝以下の周波数帯域において、量子化パラメータＱＰが閾値Ｔｑ未満となるＣＵ位置に適用する。

【0037】

また、縮退処理部１４は、時間方向の周波帯域成分が時間周波数閾値（第３閾値）を超える場合にも縮退処理を行ってもよい。例えば、第１縮退係数ｍ_１の適用基準に以下を追加してもよい。
第１縮退係数ｍ_１：最低周波数帯域を超え且つ縮小空間解像度｛Ｈ_Ｓ，Ｖ_Ｓ｝以下の周波数帯域において、帯域制限下限周波数｛Ｈ_Ｌ，Ｖ_Ｌ，Ｔ_Ｌ｝を超える時空間高周波数帯域に適用する。

【0038】

なお、縮退係数ｍ_１，ｍ_２，ｍ_３、及び各縮退係数を適用する条件は、ユーザが任意に設定可能であり、上記の例に限られるものではない。例えば、第１縮退係数ｍ_１を適用する基準を、「最低周波数帯域を超え且つ縮小空間解像度｛Ｈ_Ｓ，Ｖ_Ｓ｝以下の周波数帯域において、量子化パラメータＱＰが閾値Ｔｑ未満となるＣＵ位置のうち、空間高周波パワーの割合が閾値Ｔｐ以上となる要素位置、又は動きベクトルの大きさが閾値Ｔｍ以上となるＣＵ位置」としてもよい。また、第１縮退係数ｍ_１、第２縮退係数ｍ_２、第３縮退係数ｍ_３の全てではなく、いずれか１つ以上を適用してもよい。

【0039】

周波数再構成部１５は、縮退処理部１４により生成された縮退周波数帯域成分に対して、周波数再構成（例えば、ウェーブレットパケット逆分解）を行い、原画像と同じサイズの縮退画像を生成する。周波数再構成は、周波数分解部１０が時間周波数帯域分解部１２を備える場合には時間方向及び空間方向に対して行い、周波数分解部１０が時間周波数帯域分解部１２を備えない場合には空間方向に対して行う。そして、周波数再構成部１５は、縮退画像を空間解像度縮小部１６に出力する。

【0040】

空間解像度縮小部１６は、周波数再構成部１５により生成された縮退画像の空間解像度を縮小した縮小画像を生成する。空間解像度縮小部１６は、例えば縮退画像の画素を間引いて、空間解像度｛Ｈ_Ｓ，Ｖ_Ｓ｝の縮小画像を生成する。なお、縮小率は、ユーザが任意に設定可能である。縮小率が整数分の１倍ではない場合の補間内挿フィルタはNearest neighbor，Bicubic，Lanczos-3など、ユーザが指定することができる。そして、空間解像度縮小部１６は、縮小画像を縮小装置１の外部及び縮退処理部１４に出力する。

【0041】

縮小装置１が最初に縮小画像を生成する際には符号化情報抽出部１３により符号化情報が抽出されないため、符号化情報として初期値を用いる。縮小装置１は、符号化情報抽出部１３、縮退処理部１４、周波数再構成部１５、及び空間解像度縮小部１６による処理を、符号化情報抽出部１３により抽出される量子化パラメータＱＰがＱＰ閾値（第２閾値）よりも小さくなるまで繰り返し行う。この処理を繰り返す際には、符号化情報及び縮退設定情報のうち、任意のパラメータが変更することができる。また、縮小装置１は、周波数分解部１０による処理も含めて量子化パラメータＱＰの値がＱＰ閾値よりも小さくなるまで繰り返し行い、繰り返す際に、周波数分解に用いられるフィルタを変更してもよい。

【0042】

以上説明したように、縮小装置１は原画像を周波数帯域成分に分解し、帯域制限を行う。そのため、高品質な縮小画像を生成することが可能となる。例えば、８Ｋ解像度で撮影された原画像を４Ｋ解像度に縮小して放送する場合などに、縮小装置１により画像を縮小することで、符号化が困難な画像で発生しやすい符号化アーティファクトによる画質破綻を抑制することができ、縮小画像の符号化を高品質に行うことが可能となる。

【0043】

（第２の実施形態）
次に、第２の実施形態に係る縮小装置について説明する。図４は、第２の実施形態に係る縮小装置２の構成例を示すブロック図である。図４に示す縮小装置２は、周波数分解部１０と、符号化情報抽出部１３と、縮退処理部１４ａと、周波数再構成部１５と、空間解像度縮小部１６と、雑音レベル設定部１７と、を備える。第２の実施形態に係る縮小装置２は第１の実施形態に係る縮小装置１と比較して、縮退処理部１４に代えて縮退処理部１４ａを備える点と、雑音レベル設定部１７を更に備える点が相違する。その他の構成については第１の実施形態と同一であるため、同一の参照番号を付して説明を省略する。

【0044】

雑音レベル設定部１７は、周波数分解部１０から時空間周波数帯域成分を入力し、雑音除去を行うためのパラメータとして雑音レベルを設定する。そして、雑音レベル設定部１７は、雑音レベルを縮退処理部１４ａに出力する。ユーザにより雑音レベル設定を自動で行う自動設定モードと、雑音レベル設定を手動で行う手動設定モードとを指定できてもよい。手動設定モードでは、ユーザが任意の雑音レベルを設定可能である。なお、雑音レベルを設定するか否かをユーザにより指定できてもよい。

【0045】

雑音レベル設定部１７は、自動設定モードの場合には、時空間周波数帯域成分のうち、対角方向の最高周波数帯域成分を用いて雑音レベルを算出する。雑音レベルは複数あってもよい。例えば雑音レベル設定部１７は、下記式（１）～（３）により２つの雑音レベル｛Ｌ_１，Ｌ_２｝を算出する。対角方向の最高周波数帯域（以下、「対角最高周波数帯域」という。）は、図２に示す例では、時間ウェーブレットパケット分解無しの場合は周波数帯域ＸＸ^６４であり、時間ウェーブレットパケット分解有りの場合は周波数帯域ＸＸ^６４の時間高周波帯域である。また、ＸＸ^６４のうちＬＬ^６４，ＨＨ^６４などいずれかの周波数帯域であってもよい。下記式において、ｐは対角最高周波数帯域の全要素数であり、ｘ_ｉは対角最高周波数帯域の各成分値であり、μは対角最高周波数帯域の成分値の算術平均値である。実際は、式（１）の平方根内は定数になるため、Ｌ_１の計算は、（対角最高周波数帯域の成分値の標準偏差）×（定数）となる。また、Ｌ_２においては外れ値を除くため、上位γ％（例えば、γ＝９５）の値を最大値とみなしてもよい。

【0046】

【数1】

【0047】

雑音レベル設定部１７は、雑音レベル｛Ｌ_１，Ｌ_２｝ついて、さらに図２で示す周波数帯域識別子ｎ＝１～６４の周波数帯域毎にオフセットを乗じてもよい。オフセットの適用の有無、及びオフセット値は周波数帯域毎に設定可能である。周波数帯域毎のオフセットは、例えば下記表１とする。この例では、ｎ＝１～４の周波数帯域については、時間低周波帯域については雑音レベル｛Ｌ_１，Ｌ_２｝を１．４倍し、時間高周波帯域については雑音レベル｛Ｌ_１，Ｌ_２｝を１．２倍する。他の周波数帯域についても同様に、表１に示すオフセットが適用される。なお、周波数分解部１０が時間周波数帯域分解部１２を備えない場合には、時間低周波帯域のオフセットのみ使用される。

【0048】

【表1】

【0049】

縮退処理部１４ａは、雑音レベル設定部１７により設定された雑音レベル以下の時空間周波数帯域成分の縮退率を、雑音レベルを超える時空間周波数帯域成分の縮退率よりも高くする。例えば、縮退処理部１４ａは、雑音レベル設定部１７により設定された雑音レベル｛Ｌ_１，Ｌ_２｝（オフセットの適用有りの設定時にはオフセット後のＬ_１，Ｌ_２）から縮退関数を生成し、縮退関数に基づいて、時間周波数帯域分解部１２から取得した時空間周波数帯域成分に対して、雑音除去及び縮退処理を行い、縮退周波数帯域成分を生成する。縮退関数を適用する要素位置における成分値ｘは、縮退関数ｙ＝ｆ（ｘ）に従ってｙに変換される。縮退関数は複数種類あってもよい。本実施形態では、縮退関数として、基本縮退関数、第１縮退関数、第２縮退関数、及び第３縮退関数を用いる。

【0050】

図５は、基本縮退関数ｆ_０（ｘ）の一例を示す図である。図５に示すように、基本縮退関数ｆ_０（ｘ）は、ｘの絶対値である|ｘ|が０以上且つＬ_１未満の区間ではｙ＝０とする。|ｘ|がＬ_１以上且つＬ_２未満の区間では、ｘが正であればｙ＝（ｘ－Ｌ_１）Ｌ_２／（Ｌ_２－Ｌ_１）とし、ｘが負であればｙ＝（ｘ＋Ｌ_１）Ｌ_２／（Ｌ_２－Ｌ_１）とする。|ｘ|がＬ_２以上の区間では、ｙ＝ｘとする。なお、雑音除去設定がオフの場合は、Ｌ_１＝０，Ｌ_２＝１とし、この場合は、ｙ＝ｘとなり縮退は行われない。

【0051】

縮退処理部１４ａは、縮退係数情報が示す縮退係数を用いて基本縮退関数の傾きを変更した縮退関数を生成する。上述したように縮退係数として、縮退率が最も低い第１縮退係数ｍ_１、縮退率が次に低い第２縮退係数ｍ_２、及び縮退率が最も高い第３縮退係数ｍ_３を用いる場合、縮退率が最も低い第１縮退関数ｆ_１（ｘ）、縮退率が次に低い第２縮退関数ｆ_２（ｘ）、及び縮退率が最も高い第３縮退関数ｆ_３（ｘ）を生成する。

【0052】

第１縮退関数ｆ_１（ｘ）は、|ｘ|が０以上且つＬ_１未満の区間ではｙ＝０とする。|ｘ|がＬ_１以上且つＬ_２未満の区間では、ｘが正であればｙ＝ｍ_１（ｘ－Ｌ_１）Ｌ_２／（Ｌ_２－Ｌ_１）とし、ｘが負であればｙ＝ｍ_１（ｘ＋Ｌ_１）Ｌ_２／（Ｌ_２－Ｌ_１）とする。|ｘ|がＬ_２以上の区間では、ｙ＝ｍ_１ｘとする。なお、雑音除去設定がオフの場合は、Ｌ_１＝０，Ｌ_２＝１とし、この場合は、ｙ＝ｍ_１ｘとなる。

【0053】

第２縮退関数ｆ_２（ｘ）は、|ｘ|が０以上且つＬ_１未満の区間ではｙ＝０とする。|ｘ|がＬ_１以上且つＬ_２未満の区間では、ｘが正であればｙ＝ｍ_２（ｘ－Ｌ_１）Ｌ_２／（Ｌ_２－Ｌ_１）とし、ｘが負であればｙ＝ｍ_２（ｘ＋Ｌ_１）Ｌ_２／（Ｌ_２－Ｌ_１）とする。|ｘ|がＬ_２以上の区間では、ｙ＝ｍ_２ｘとする。なお、雑音除去設定がオフの場合は、Ｌ_１＝０，Ｌ_２＝１とし、この場合は、ｙ＝ｍ_２ｘとなる。

【0054】

第３縮退関数ｆ_３（ｘ）は、|ｘ|が０以上且つＬ_１未満の区間ではｙ＝０とする。|ｘ|がＬ_１以上且つＬ_２未満の区間では、ｘが正であればｙ＝ｍ_３（ｘ－Ｌ_１）Ｌ_２／（Ｌ_２－Ｌ_１）とし、ｘが負であればｙ＝ｍ_３（ｘ＋Ｌ_１）Ｌ_２／（Ｌ_２－Ｌ_１）とする。|ｘ|がＬ_２以上の区間では、ｙ＝ｍ_３ｘとする。なお、雑音除去設定がオフの場合は、Ｌ_１＝０，Ｌ_２＝１とし、この場合は、ｙ＝ｍ_３ｘとなる。

【0055】

縮退処理部１４ａは、時間周波数帯域分解部１２から取得した時空間周波数帯域成分に対して、符号化情報抽出部１３から取得した符号化情報、外部から取得した縮退設定情報、及び縮退関数を用いて縮退周波数帯域成分を生成し、周波数再構成部１５に出力する。

【0056】

縮退関数の適用例については、第１の実施形態と同様であり、縮退係数の代わりに縮退関数を用いる。縮退処理を行わない周波数帯域と、第３縮退関数ｆ_３（ｘ）を適用する周波数帯域は、例えば以下のようにすることができる。
縮退処理なし：直流成分を含む最も低い時空間周波数帯域（最低周波数帯域ＬＬ^１）には縮退処理を行わない（すなわち、成分を変更しない）。
第３縮退関数ｆ_３（ｘ）：縮小空間解像度｛Ｈ_Ｓ，Ｖ_Ｓ｝を超える周波数帯域に適用する。

【0057】

また、最低周波数帯域を超え且つ縮小空間解像度｛Ｈ_Ｓ，Ｖ_Ｓ｝以下の周波数帯域には、ＣＵ位置毎の空間周波数パワー割合、及び符号化情報（量子化パラメータＱＰ、動きベクトルの大きさ等）に応じてＣＵ位置又は要素位置毎に第１縮退関数ｆ_１（ｘ）と第２縮退関数ｆ_２（ｘ）に切り替えて適用する。縮退関数の切り替えとしては、例えば以下の基準で行う。
第２縮退関数ｆ_２（ｘ）：最低周波数帯域を超え且つ縮小空間解像度｛Ｈ_Ｓ，Ｖ_Ｓ｝以下の周波数帯域において、量子化パラメータＱＰが閾値Ｔｑ以上となるＣＵ位置に適用する。
第１縮退関数ｆ_１（ｘ）：最低周波数帯域を超え且つ縮小空間解像度｛Ｈ_Ｓ，Ｖ_Ｓ｝以下の周波数帯域において、量子化パラメータＱＰが閾値Ｔｑ未満となるＣＵ位置、及び帯域制限下限周波数｛Ｈ_Ｌ，Ｖ_Ｌ，Ｔ_Ｌ｝を超える時空間高周波数帯域に適用する。
基本縮退関数ｆ_０（ｘ）：残りの周波数帯域に適用する。

【0058】

なお、縮退関数ｆ_０（ｘ），ｆ_１（ｘ），ｆ_２（ｘ），ｆ_３（ｘ）、及び各縮退関数を適用する条件は、ユーザが任意に設定可能であり、上記の例に限られるものではない。例えば、第１縮退関数ｆ_１（ｘ）を適用する基準を、「最低周波数帯域を超え且つ縮小空間解像度｛Ｈ_Ｓ，Ｖ_Ｓ｝以下の周波数帯域において、量子化パラメータＱＰが閾値Ｔｑ未満となるＣＵ位置のうち、空間高周波パワーの割合が閾値Ｔｐ以上となる要素位置、又は動きベクトルの大きさが閾値Ｔｍ以上となるＣＵ位置」としてもよい。また、基本縮退関数ｆ_０（ｘ）、第１縮退関数ｆ_１（ｘ）、第２縮退関数ｆ_２（ｘ）、第３縮退関数ｆ_３（ｘ）の全てではなく、いずれか１つ以上を適用してもよい。

【0059】

このように、本実施形態では、対角方向の最高周波数帯域成分を用いて雑音レベルを算出し、雑音レベル以下の周波数帯域成分の縮退率を、雑音レベルを超える周波数帯域成分の縮退率よりも高くする。そのため、縮退処理において同時に雑音除去を行い、画質を向上させることが可能となる。

【0060】

（第３の実施形態）
次に、第３の実施形態に係る縮小装置について説明する。図６は、本発明の第３の実施形態に係る縮小装置３の構成例を示すブロック図である。図６に示す縮小装置３は、周波数分解部１０と、符号化情報抽出部１３と、縮退処理部１４ｂと、周波数再構成部１５と、空間解像度縮小部１６と、雑音レベル設定部１７と、要素削減閾値設定部１８と、を備える。第３の実施形態に係る縮小装置３は第２の実施形態に係る縮小装置２と比較して、縮退処理部１４ａに代えて縮退処理部１４ｂを備える点と、要素削減閾値設定部１８を更に備える点が相違する。その他の構成については第２の実施形態と同一であるため、同一の参照番号を付して説明を省略する。

【0061】

要素削減閾値設定部１８は、周波数分解部１０から時空間周波数帯域成分を入力し、要素削減閾値αを設定する。そして、要素削減閾値設定部１８は、要素削減閾値αを縮退処理部１４ｂに出力する。ユーザにより要素削減閾値設定を自動で行う自動設定モードと、要素削減閾値設定を手動で行う手動設定モードとを指定できてもよい。手動設定モードでは、ユーザが任意の要素削減閾値αを設定可能である。なお、要素削減閾値を設定するか否かをユーザにより指定できてもよい。

【0062】

要素削減閾値設定部１８は、自動設定モードの場合には、時空間周波数帯域成分を絶対値の大きい方から順に並べ、上位ｊ％番目の成分値を要素削減閾値αとして求める。

【0063】

縮退処理部１４ｂは、第２の実施形態と同様に、雑音レベル設定部１７により設定された雑音レベル｛Ｌ_１，Ｌ_２｝（オフセットの適用有りの設定時にはオフセット後のＬ_１，Ｌ_２）から縮退関数を生成する。そして、縮退処理部１４ａは、時間周波数帯域分解部１２から取得した時空間周波数帯域成分に対して、符号化情報抽出部１３から取得した符号化情報、外部から取得した縮退設定情報、縮退関数、及び要素削減閾値設定部１８から取得した要素削減閾値αを用いて縮退周波数帯域成分を生成し、周波数再構成部１５に出力する。

【0064】

縮退処理部１４ｂは、要素削減閾値αを用いて、絶対値が上位ｊ％（上位から所定の順位）に含まれる時空間周波数帯域成分の縮退率を、絶対値が上位ｊ％に含まれない時空間周波数帯域成分の縮退率よりも高くする。
例えば、下記のように、第１縮退関数ｆ_１（ｘ）及び第２縮退関数ｆ_２（ｘ）の適用の際に要素削減閾値αを用いることができる。その他は第２の実施形態と同様であるため、説明を省略する。
第２縮退関数ｆ_２（ｘ）：最低周波数帯域を超え且つ縮小空間解像度｛Ｈ_Ｓ，Ｖ_Ｓ｝以下の周波数帯域において、（１）量子化パラメータＱＰが閾値Ｔｑ以上となるＣＵ位置、及び（２）帯域制限下限周波数｛Ｈ_Ｌ，Ｖ_Ｌ，Ｔ_Ｌ｝を超える時空間高周波数帯域において要素削減閾値αを超える絶対値を有する成分に適用する。
第１縮退関数ｆ_１（ｘ）：最低周波数帯域を超え且つ縮小空間解像度｛Ｈ_Ｓ，Ｖ_Ｓ｝以下の周波数帯域において、（１）量子化パラメータＱＰが閾値Ｔｑ未満となるＣＵ位置、及び（２）帯域制限下限周波数｛Ｈ_Ｌ，Ｖ_Ｌ，Ｔ_Ｌ｝を超える時空間高周波数帯域において要素削減閾値α以下の絶対値を有する成分に適用する。

【0065】

このように、本実施形態では、絶対値が上位から所定の順位に含まれる時空間周波数帯域成分の縮退率を、絶対値が所定の順位に含まれない時空間周波数帯域成分の縮退率よりも高くする。そのため、強いエッジやテクスチャ成分の縮退率を高くし、符号化効率を向上させることが可能となる。

【0066】

（プログラム）
上述した縮小装置１，２，３として機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。

【0067】

コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。入力部は、ユーザの入力操作を受け付けてユーザの操作に基づく情報を取得する入力インターフェースであり、ポインティングデバイス、キーボード、マウスなどである。出力部は、情報を出力する出力インターフェースであり、ディスプレイ、スピーカなどである。通信インターフェースは、外部の装置と通信するためのインターフェースであり、例えばＬＡＮ（Local Area Network）インターフェースである。

【0068】

プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0069】

例えば、縮小装置１として機能させるためのプログラムは原画像に対して位相情報を保持しながら、各周波数帯域が前記縮小画像の空間解像度以下となるまで空間方向の周波数帯域分解を行い、周波数帯域成分を生成するステップと、縮小画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた量子化パラメータを含む符号化情報を抽出するステップと、周波数帯域成分に対して、符号化情報を用いて縮退処理を行い、成分が縮退された縮退周波数帯域成分を生成するステップと、縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成するステップと、縮退画像の空間解像度を縮小した縮小画像を生成するステップと、をコンピュータに実行させる。

【0070】

また、縮小装置１，２，３は、１つ又は複数の半導体チップにより構成されてもよく、該半導体チップは、縮小装置１，２，３の各機能を実現する処理内容を記述したプログラムを実行するＣＰＵを搭載してもよい。

【0071】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを統合したり、１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0072】

１，２，３ 縮小装置
１０ 周波数分解部
１１ 空間周波数帯域分解部
１２ 時間周波数帯域分解部
１３ 符号化情報抽出部
１４，１４ａ，１４ｂ 縮退処理部
１５ 周波数再構成部
１６ 空間解像度縮小部
１７ 雑音レベル設定部
１８ 要素削減閾値設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】