IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧 ▶ 一般財団法人NHKエンジニアリングシステムの特許一覧

<>
  • 特開-縮小装置及びプログラム 図1
  • 特開-縮小装置及びプログラム 図2
  • 特開-縮小装置及びプログラム 図3
  • 特開-縮小装置及びプログラム 図4
  • 特開-縮小装置及びプログラム 図5
  • 特開-縮小装置及びプログラム 図6
  • 特開-縮小装置及びプログラム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023109087
(43)【公開日】2023-08-07
(54)【発明の名称】縮小装置及びプログラム
(51)【国際特許分類】
   H04N 19/132 20140101AFI20230731BHJP
   H04N 7/01 20060101ALI20230731BHJP
   H04N 19/63 20140101ALI20230731BHJP
   H04N 19/169 20140101ALI20230731BHJP
   H04N 19/154 20140101ALI20230731BHJP
   H04N 1/393 20060101ALI20230731BHJP
   G06T 3/40 20060101ALI20230731BHJP
【FI】
H04N19/132
H04N7/01 170
H04N19/63
H04N19/169 300
H04N19/154
H04N1/393
G06T3/40 750
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022010483
(22)【出願日】2022-01-26
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(71)【出願人】
【識別番号】591053926
【氏名又は名称】一般財団法人NHKエンジニアリングシステム
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100161148
【弁理士】
【氏名又は名称】福尾 誠
(72)【発明者】
【氏名】松尾 康孝
【テーマコード(参考)】
5B057
5C063
5C076
5C159
【Fターム(参考)】
5B057CA12
5B057CA16
5B057CB12
5B057CB16
5B057CC01
5B057CD05
5B057CD07
5B057CG01
5B057DA20
5B057DB02
5B057DC16
5C063AA10
5C063CA05
5C076AA22
5C076BA06
5C159MA41
5C159MC00
5C159TA41
5C159TB15
5C159TC10
(57)【要約】
【課題】高品質な縮小画像を生成する。
【解決手段】原画像の縮小画像を生成する縮小装置1は、原画像に対して、各周波数帯域が縮小画像の空間解像度以下となるまで空間方向の周波数帯域分解を行い、周波数帯域成分を生成する周波数分解部10と、周波数帯域成分に対して縮退処理を行い、各周波数帯域内の成分が縮退された縮退周波数帯域成分を生成する縮退処理部13と、縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部14と、縮退画像の空間解像度を縮小した縮小画像を生成する空間解像度縮小部15と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
原画像の縮小画像を生成する縮小装置であって、
前記原画像に対して、各周波数帯域が前記縮小画像の空間解像度以下となるまで空間方向の周波数帯域分解を行い、周波数帯域成分を生成する周波数分解部と、
前記周波数帯域成分に対して縮退処理を行い、成分が縮退された縮退周波数帯域成分を生成する縮退処理部と、
前記縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部と、
前記縮退画像の空間解像度を縮小した縮小画像を生成する空間解像度縮小部と、
を備える縮小装置。
【請求項2】
前記縮退処理部は、前記縮小画像の空間解像度を超える周波数帯域内の成分に第1縮退係数を乗じて前記縮退周波数帯域成分を生成する、請求項1に記載の縮小装置。
【請求項3】
前記縮退処理部は、前記縮小画像の空間解像度以下の周波数帯域内のうちエッジ成分を検出し、該エッジ成分に第2縮退係数を乗じて前記縮退周波数帯域成分を生成する、請求項1に記載の縮小装置。
【請求項4】
前記縮退処理部は、前記縮小画像の空間解像度以下の周波数帯域における高周波帯域内の成分に第3縮退係数を乗じて前記縮退周波数帯域成分を生成する、請求項1に記載の縮小装置。
【請求項5】
前記縮退処理部は、
前記縮小画像の空間解像度を超える周波数帯域内の成分に第1縮退係数を乗じ、
前記縮小画像の空間解像度以下の周波数帯域内のうちエッジ成分を検出し、該エッジ成分に、縮退率が前記第1縮退係数よりも低い第2縮退係数を乗じ、
前記縮小画像の空間解像度以下の周波数帯域における高周波帯域内の成分に、縮退率が前記第2縮退係数よりも低い第3縮退係数を乗じて前記縮退周波数帯域成分を生成する、請求項1に記載の縮小装置。
【請求項6】
前記周波数分解部は、前記原画像に対して、時間方向にも周波数帯域分解を行い、前記周波数帯域成分を生成する、請求項1から5のいずれか一項に記載の縮小装置。
【請求項7】
前記縮退周波数帯域成分の帯域毎の平均値を算出し、縮小画像に相当する縮退周波数帯域成分の帯域毎の平均値の分布が、原画像に相当する縮退周波数帯域成分の帯域毎の平均値の分布に近づくように、縮小画像に相当する縮退周波数帯域成分を補正する縮退補正部をさらに備える、請求項1から6のいずれか一項に記載の縮小装置。
【請求項8】
コンピュータを、請求項1から7のいずれか一項に記載の縮小装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、縮小装置及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、復号画像の超解像処理を行う際に復号画像自体が劣化している場合は、超解像パラメータによっては劣化成分自体が大きく強調されてしまう可能性があるため、所定の終了条件を満たすまで超解像処理と縮小復元処理を繰り返し行うことで、最適な超解像パラメータを得る技術が開示されている。
【0003】
また、特許文献2には、入力画像を一旦縮小して中間解像度に変換し、これに既存の符号化・復号を行った後で元の解像度に戻す方式において、符号化器に応じた符号量とその符号量に対する最適な解像度縮小率を予め蓄積しておき、最適な中間解像度を選択する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第5262879号公報
【特許文献2】特開2000-134618号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1、2に開示された従来技術では、縮小画像を生成した際に、符号化が困難な画像において、ブロック歪などのアーティファクトが発生し、画質が劣化するという課題があった。
【課題を解決するための方法】
【0006】
かかる事情に鑑みてなされた本発明の目的は、高品質な縮小画像を生成することが可能な縮小装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するため、一実施形態に係る縮小装置は、原画像の縮小画像を生成する縮小装置であって、前記原画像に対して、各周波数帯域が前記縮小画像の空間解像度以下となるまで空間方向の周波数帯域分解を行い、周波数帯域成分を生成する周波数分解部と、前記周波数帯域成分に対して縮退処理を行い、成分が縮退された縮退周波数帯域成分を生成する縮退処理部と、前記縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部と、前記縮退画像の空間解像度を縮小した縮小画像を生成する空間解像度縮小部と、を備える。
【0008】
さらに、一実施形態に係る縮小装置において、前記縮退処理部は、前記縮小画像の空間解像度を超える周波数帯域内の成分に第1縮退係数を乗じて前記縮退周波数帯域成分を生成してもよい。
【0009】
さらに、一実施形態に係る縮小装置において、前記縮退処理部は、前記縮小画像の空間解像度以下の周波数帯域内のうちエッジ成分を検出し、該エッジ成分に第2縮退係数を乗じて前記縮退周波数帯域成分を生成してもよい。
【0010】
さらに、一実施形態に係る縮小装置において、前記縮退処理部は、前記縮小画像の空間解像度以下の周波数帯域における高周波帯域内の成分に第3縮退係数を乗じて前記縮退周波数帯域成分を生成してもよい。
【0011】
さらに、一実施形態に係る縮小装置において、前記縮退処理部は、前記縮小画像の空間解像度を超える周波数帯域内の成分に第1縮退係数を乗じ、前記縮小画像の空間解像度以下の周波数帯域内のうちエッジ成分を検出し、該エッジ成分に、縮退率が前記第1縮退係数よりも低い第2縮退係数を乗じ、前記縮小画像の空間解像度以下の周波数帯域における高周波帯域内の成分に、縮退率が前記第2縮退係数よりも低い第3縮退係数を乗じて前記縮退周波数帯域成分を生成してもよい。
【0012】
さらに、一実施形態に係る縮小装置において、前記周波数分解部は、前記原画像に対して、時間方向にも周波数帯域分解を行い、前記周波数帯域成分を生成してもよい。
【0013】
さらに、一実施形態に係る縮小装置において、前記縮退周波数帯域成分の帯域毎の平均値を算出し、縮小画像に相当する縮退周波数帯域成分の帯域毎の平均値の分布が、原画像に相当する縮退周波数帯域成分の帯域毎の平均値の分布に近づくように、縮小画像に相当する縮退周波数帯域成分を補正する縮退補正部をさらに備えてもよい。
【0014】
また、一実施形態係るプログラムは、コンピュータを、上記縮小装置として機能させる。
【発明の効果】
【0015】
本発明によれば、高品質な縮小画像を生成することができる。
【図面の簡単な説明】
【0016】
図1】第1の実施形態に係る縮小装置の構成例を示すブロック図である。
図2】8K解像度の原画像を空間方向に3階ウェーブレットパケット分解した様子を示す図である。
図3】8K解像度の原画像を空間方向に3階ウェーブレットパケット分解し、時間方向に1階ウェーブレットパケット分解した様子を示す図である。
図4】第1の実施形態に係る縮小装置における縮退処理部の処理例を示すフローチャートである。
図5】第1の実施形態に係る縮小装置における縮退処理部により設定される係数の一例を示す図である。
図6】第2の実施形態に係る縮小装置の構成例を示すブロック図である。
図7】第2の実施形態に係る縮小装置における縮退補正部の処理例を説明する図である。
【発明を実施するための形態】
【0017】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
【0018】
(第1の実施形態)
図1は、本発明の第1の実施形態に係る縮小装置1の構成例を示すブロック図である。図1に示す縮小装置1は、周波数分解部10と、縮退処理部13と、周波数再構成部14と、空間解像度縮小部15と、を備える。
【0019】
縮小装置1は、原画像を入力し、原画像(入力画像)の空間解像度を縮小した縮小画像を生成して出力する。縮小装置1は、例えば8K解像度で撮影された原画像を4K解像度に縮小して放送する場合などに、画像符号化のプリ処理として用いることができる。
【0020】
周波数分解部10は、空間周波数帯域分解部11と、時間周波数帯域分解部12と、を備える。本実施形態では、周波数分解部10が時間周波数帯域分解部12を備えるものとして説明するが、時間周波数帯域分解部12を備えない構成であってもよい。
【0021】
空間周波数帯域分解部11は、原画像に対して、各周波数帯域が縮小装置1の出力する縮小画像の空間解像度以下となるまで空間方向の周波数帯域分解を行い、空間周波数帯域毎の成分(以下、「空間周波数帯域成分」という。)を生成する。各成分はパワースペクトルを示す。そして、空間周波数帯域分解部11は、空間周波数帯域成分を時間周波数帯域分解部12に出力する。本実施形態では、周波数帯域分解としてウェーブレット分解を行う。なお、ウェーブレットフィルタ及び空間分解階層数は、ユーザが任意に設定可能である。
【0022】
図2は、8K解像度の原画像を空間方向に3階ウェーブレットパケット分解して、1K×0.5K毎の空間周波数帯域に分解した様子を示す図である。入力画像の多重解像度分解を高精度に行うためには、線形位相性を有し、比較的タップ長が長く遮断特性が急峻なウェーブレットフィルタ(例えば、CDF(Cohen-Daubechies-Feauveau)9/7、Biorthogonal(6,8)など)を用いることが望ましい。また、各周波数帯域間のパワーは、パーセバルの等式を満たすものとする。
【0023】
また、空間周波数帯域分解部11は、本実施形態ではデシメーションなしのウェーブレットパケット分解を用いて空間周波数帯域分解を行う。デシメーションなしとは、位相情報を保持することを意味する。そのため、図2において各周波数帯域の大きさは1K×0.5Kサイズであるが、各周波数帯域内の空間方向の要素数は8K×4K個である。
【0024】
時間周波数帯域分解部12は、空間周波数帯域分解部11により生成された空間周波数帯域成分に対して時間方向の周波数帯域分解を行い、時空間周波数帯域毎のパワースペクトル要素成分(以下、「時空間周波数帯域成分」という。)を生成する。そして、時間周波数帯域分解部12は、時空間周波数帯域成分を縮退処理部13に出力する。本実施形態では、周波数帯域分解としてウェーブレット分解を行う。なお、ウェーブレットフィルタ及び時間分解階層数は、ユーザが任意に設定可能である。
【0025】
図3は、8K解像度の原画像を空間方向に3階ウェーブレットパケット分解し、時間方向に1階ウェーブレットパケット分解した様子を示す図である。60フレーム/秒の空間周波数帯域成分を1階ウェーブレットパケット分解すると、1から30フレーム/秒と31から60フレーム/秒の時間周波数帯域に分解される。ここで、ウェーブレットフィルタは空間周波数帯域分解部11と同じとする。また、デシメーションなしのウェーブレットパケット分解を行った場合、各周波数帯域内の時間方向の要素数は60個である。各周波数帯域内の時空間方向の要素数は8K×4K×60個である。
【0026】
縮退処理部13は、時間周波数帯域分解部12により生成された時空間周波数帯域成分に対して縮退処理を行い、成分が縮退された時空間周波数帯域成分(以下、「縮退周波数帯域成分」という。)を生成する。そして、縮退処理部13は、縮退周波数帯域成分を周波数再構成部14に出力する。
【0027】
縮退処理部13の処理を、図4を参照して説明する。図4は、縮退処理部13の処理例を示すフローチャートである。
【0028】
ステップS11では、各時空間周波数帯域について縮小画像の空間解像度を超えるか否かを判定する。
【0029】
ステップS12では、縮小画像の空間解像度を超える時空間周波数帯域内の成分には、縮退率が最も高い第1縮退係数を乗じる。第1縮退係数の値は、0以上であり1よりも小さい。
【0030】
ステップS13では、各時空間周波数帯域について最も低い時空間周波数帯域であるか否かを判定する。
【0031】
ステップS14では、直流成分を含む最も低い時空間周波数帯域内の成分には縮退処理を行わない(すなわち、各要素の値を変更しない)。
【0032】
ステップS15では、縮小画像の空間解像度以下の時空間周波数帯域内のうちエッジ成分を検出する。例えば、縮退処理部13は、縮小画像の空間解像度以下の時空間周波数帯域内で、全ての周波数帯域において所定の閾値よりも大きな値を持つ同一の要素位置をエッジ成分として検出する。周波数分解部10による周波数帯域分解としてデシメーションなしのウェーブレットパケット分解を用いることで、各周波数帯域の要素数が同じになるため、エッジ成分の検出精度を向上させることが可能となる。
【0033】
ステップS16では、強いエッジ成分のように全ての周波数帯域に大きなパワーを持つ要素位置では、折り返し歪が大きい可能性が高いため、時空間高周波数帯域内の当該要素位置の成分には縮退率が第1縮退係数よりも低い第2縮退係数を乗じる。第2縮退係数の値は、第1縮退係数よりも大きく1よりも小さい。
【0034】
ステップS17では、縮小画像の空間解像度以下の時空間周波数帯域について高周波帯域であるか否かを判定する。
【0035】
ステップS18では、縮小画像の空間解像度以下の時空間周波数帯域における高周波帯域内の成分は符号化難易度が高い可能性があるため、縮退率が第2縮退係数よりも低い第3縮退係数を乗じる。第3縮退係数の値は、第2縮退係数よりも大きく1よりも小さい。
【0036】
図5は、縮退処理部13により設定される係数の一例を示す図である。ここでは、時間方向の周波数帯域を省略している。また、原画像の空間解像度を8K×4K、縮小画像の空間解像度を4K×2Kとする。
【0037】
第1縮退係数が0.001の場合は、水平周波数が4K~8K、垂直周波数が2K~4Kの時空間周波数帯域成分を0.001倍(パワーを30dB減衰)にする。最も低い時空間周波数帯域成分については縮退処理を行わない。第2縮退係数が0.1の場合は、エッジ成分を検出後、当該要素位置の成分を0.1倍(パワーを10dB減衰)にする。第3縮退係数が0.5の場合は、例えば、水平周波数3K~4K、垂直周波数1.5K~2K、時間周波数30~60の時空間周波数帯域成分を0.5倍(パワーを3dB減衰)にする。
【0038】
なお、第1縮退係数の値、第2縮退係数の値、第3縮退係数の値、及び第3縮退係数を適用する周波数帯域は、ユーザが任意に設定可能であり、上記の例に限られるものではない。また、第1縮退係数、第2縮退係数、第3縮退係数、及び第3縮退係数のうち、1つ又は2つのみを適用してもよい。
【0039】
周波数再構成部14は、縮退処理部13により生成された縮退周波数帯域成分に対して周波数再構成(例えば、ウェーブレットパケット逆分解)を行い、原画像と同じサイズの縮退画像を生成する。周波数再構成は、周波数分解部10が時間周波数帯域分解部12を備える場合には時間方向及び空間方向に対して行い、周波数分解部10が時間周波数帯域分解部12を備えない場合には空間方向に対して行う。そして、周波数再構成部14は、縮退画像を空間解像度縮小部15に出力する。
【0040】
空間解像度縮小部15は、周波数再構成部14により生成された縮退画像の空間解像度を縮小した縮小画像を生成する。空間解像度縮小部15は、例えば縮退画像の画素を間引いて縮小画像を生成する。なお、縮小率は、ユーザが任意に設定可能である。
【0041】
以上説明したように、縮小装置1は原画像を周波数帯域成分に分解し、必要に応じて帯域制限を行う。そのため、高品質な縮小画像を生成することが可能となる。例えば、8K解像度で撮影された原画像を4K解像度に縮小して放送する場合などに、縮小装置1により画像を縮小することで、縮小画像の符号化を高品質に行うことが可能となる。
【0042】
(第2の実施形態)
次に、第2の実施形態に係る縮小装置について説明する。図6は、第2の実施形態に係る縮小装置2の構成例を示すブロック図である。図6に示す縮小装置2は、周波数分解部10と、縮退処理部13と、縮退補正部16と、周波数再構成部14と、空間解像度縮小部15と、を備える。第2の実施形態に係る縮小装置2は第1の実施形態に係る縮小装置1と比較して、縮退補正部16を更に備える点が相違する。その他の構成については第1の実施形態と同一であるため、同一の参照番号を付して説明を省略する。
【0043】
縮退補正部16は、縮退処理部13から縮退周波数帯域成分を入力する。縮退補正部16は、縮退周波数帯域成分の帯域毎の平均値を算出し、縮小画像に相当する縮退周波数帯域成分の帯域毎の平均値の分布が、原画像に相当する縮退周波数帯域成分の帯域毎の平均値の分布に近づくように、縮小画像に相当する縮退周波数帯域成分を補正する。縮退補正部16は、このような補正後の縮退周波数帯域成分を周波数再構成部14に出力する。
【0044】
縮退補正部16の処理を、図7を参照して説明する。図7は、縮退補正部16の処理例を説明する図である。図5と同様に、原画像の空間解像度を8K×4K、縮小画像の空間解像度を4K×2Kとする。縮退補正部16は、aで示す縮退周波数帯域成分の平均値を、Aで示す4つの縮退周波数帯域成分の平均値と等しくなるように、aで示す縮退周波数帯域成分の各要素値を定数倍する。bからhで示す縮退周波数帯域成分の平均値についても同様に、BからHで示す縮退周波数帯域成分の平均値とそれぞれ等しくなるように、bからhで示す縮退周波数帯域成分の各要素値をそれぞれ定数倍する。なお、縮退補正部16の処理はこれに限られるものではなく、縮小画像に相当する縮退周波数帯域成分の帯域毎の平均値の分布が、原画像に相当する縮退周波数帯域成分の帯域毎の平均値の分布に近づくように補正するものであればよい。
【0045】
以上説明したように、縮小装置2は縮退周波数帯域成分の補正を行う。そのため、縮小装置1よりもさらに高品質な縮小画像を生成することが可能となる
【0046】
(プログラム)
上述した縮小装置1,2として機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、PC(Personal Computer)、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
【0047】
コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、SoC(System on a Chip)などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。入力部は、ユーザの入力操作を受け付けてユーザの操作に基づく情報を取得する入力インターフェースであり、ポインティングデバイス、キーボード、マウスなどである。出力部は、情報を出力する出力インターフェースであり、ディスプレイ、スピーカなどである。通信インターフェースは、外部の装置と通信するためのインターフェースであり、例えばLAN(Local Area Network)インターフェースである。
【0048】
プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性(non-transitory)の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROM、DVD-ROM、USB(Universal Serial Bus)メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0049】
例えば、縮小装置1として機能させるためのプログラムは、原画像に対して、各周波数帯域が縮小画像の空間解像度以下の周波数帯域となるまで空間方向の周波数帯域分解を行い、周波数帯域成分を生成するステップと、周波数帯域成分に対して縮退処理を行い、各周波数帯域内の成分が縮退された縮退周波数帯域成分を生成するステップと、縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成するステップと、縮退画像の空間解像度を縮小した縮小画像を生成するステップと、をコンピュータに実行させる。
【0050】
また、縮小装置1,2は、1つ又は複数の半導体チップにより構成されてもよく、該半導体チップは、縮小装置1,2の各機能を実現する処理内容を記述したプログラムを実行するCPUを搭載してもよい。
【0051】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを統合したり、1つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【0052】
1,2 縮小装置
10 周波数分解部
11 空間周波数帯域分解部
12 時間周波数帯域分解部
13 縮退処理部
14 周波数再構成部
15 空間解像度縮小部
16 縮退補正部
図1
図2
図3
図4
図5
図6
図7