特開2019-208090(P2019-208090A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧
特開2019-208090映像符号化装置、映像復号装置及びプログラム
<>
  • 特開2019208090-映像符号化装置、映像復号装置及びプログラム 図000003
  • 特開2019208090-映像符号化装置、映像復号装置及びプログラム 図000004
  • 特開2019208090-映像符号化装置、映像復号装置及びプログラム 図000005
  • 特開2019208090-映像符号化装置、映像復号装置及びプログラム 図000006
  • 特開2019208090-映像符号化装置、映像復号装置及びプログラム 図000007
  • 特開2019208090-映像符号化装置、映像復号装置及びプログラム 図000008
  • 特開2019208090-映像符号化装置、映像復号装置及びプログラム 図000009
  • 特開2019208090-映像符号化装置、映像復号装置及びプログラム 図000010
  • 特開2019208090-映像符号化装置、映像復号装置及びプログラム 図000011
  • 特開2019208090-映像符号化装置、映像復号装置及びプログラム 図000012
  • 特開2019208090-映像符号化装置、映像復号装置及びプログラム 図000013
  • 特開2019208090-映像符号化装置、映像復号装置及びプログラム 図000014
  • 特開2019208090-映像符号化装置、映像復号装置及びプログラム 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-208090(P2019-208090A)
(43)【公開日】2019年12月5日
(54)【発明の名称】映像符号化装置、映像復号装置及びプログラム
(51)【国際特許分類】
   H04N 19/105 20140101AFI20191108BHJP
   H04N 19/147 20140101ALI20191108BHJP
   H04N 19/172 20140101ALI20191108BHJP
   H04N 19/46 20140101ALI20191108BHJP
【FI】
   H04N19/105
   H04N19/147
   H04N19/172
   H04N19/46
【審査請求】未請求
【請求項の数】8
【出願形態】OL
【全頁数】25
(21)【出願番号】特願2018-101231(P2018-101231)
(22)【出願日】2018年5月28日
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100121119
【弁理士】
【氏名又は名称】花村 泰伸
(72)【発明者】
【氏名】松尾 康孝
(72)【発明者】
【氏名】市ヶ谷 敦郎
(72)【発明者】
【氏名】神田 菊文
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159KK01
5C159LC09
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159RC12
5C159TA26
5C159TB04
5C159TC19
5C159UA02
5C159UA05
5C159UA38
(57)【要約】
【課題】処理対象のピクチャと参照ピクチャとの間で被写界深度内外に移動するオブジェクトを含む場合に、符号化効率を改善する。
【解決手段】映像符号化装置1の予測部16は、今回の入力画像のピクチャの処理において、前回のピクチャの復号画像F、超解像画像C及びぼやけ画像DについてRDコストを算出し、RDコストが最小の画像を選択する。画面間予測部27は、RDコストが最小の画像を参照ピクチャとして画面間予測を行い、今回の入力画像のピクチャについての予測画像Yを生成する。そして、今回の入力画像及び予測画像Yに基づいて、直交変換等が行われて符号化データが生成され、逆直交変換等が行われて今回のピクチャの復号画像Fが生成される。また、超解像処理部23は、復号画像Fから今回のピクチャの超解像画像Cを生成し、ぼやけ処理部24は、復号画像Fから今回のピクチャのぼやけ画像Dを生成する。
【選択図】図2
【特許請求の範囲】
【請求項1】
映像信号の入力画像から予測画像を減算して残差画像を生成し、当該残差画像に対し直交変換及び量子化を行ってエントロピー符号化を行い、符号化データを出力すると共に、前記量子化により生成した量子化インデックス列に対し逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に前記予測画像を加算して加算後画像を生成し、当該加算後画像に基づいて前記予測画像を生成する映像符号化装置において、
前記加算後画像に対しフィルタ処理を行うことにより復号画像を生成し、当該復号画像をメモリに格納するフィルタと、
前記フィルタにより生成された前記復号画像に対し、周波数帯域を制限するためのぼやけ処理を行うことによりぼやけ画像を生成し、当該ぼやけ画像を前記メモリに格納するぼやけ処理部と、
前記入力画像がIピクチャである場合、前記復号画像を用いて画面内予測を行うことにより前記予測画像を生成する画面内予測部と、
前記入力画像がPピクチャまたはBピクチャである場合、前記メモリに格納された前記復号画像及び前記ぼやけ画像のうちのいずれかを参照ピクチャとして選択する参照ピクチャ選択部と、
前記参照ピクチャ選択部により選択された前記参照ピクチャを用いて画面間予測を行うことにより前記予測画像を生成する画面間予測部と、を備え、
前記メモリには、
前記フィルタ及び前記ぼやけ処理部により、前記Iピクチャ、前記Pピクチャ及び前記Bピクチャのそれぞれについての前記復号画像及び前記ぼやけ画像が格納され、
前記参照ピクチャ選択部は、
前記入力画像における今回のピクチャの処理において、前記メモリから前回のピクチャの前記復号画像及び前記ぼやけ画像を読み出し、当該復号画像及び当該ぼやけ画像のそれぞれを参照ピクチャとして画面間予測により前記予測画像が生成され、今回のピクチャの前記入力画像との間の前記残差画像が生成され、当該残差画像に対応する前記復号画像がそれぞれ生成され、今回のピクチャと、前回のピクチャの前記復号画像及び前記ぼやけ画像に対応するそれぞれの前記復号画像とに基づいて、それぞれのRDコストを算出し、前記復号画像及び前記ぼやけ画像のうち、前記RDコストが小さい画像を前記参照ピクチャとして選択する、ことを特徴とする映像符号化装置。
【請求項2】
映像信号の入力画像から予測画像を減算して残差画像を生成し、当該残差画像に対し直交変換及び量子化を行ってエントロピー符号化を行い、符号化データを出力すると共に、前記量子化により生成した量子化インデックス列に対し逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に前記予測画像を加算して加算後画像を生成し、当該加算後画像に基づいて前記予測画像を生成する映像符号化装置において、
前記加算後画像に対しフィルタ処理を行うことにより復号画像を生成し、当該復号画像をメモリに格納するフィルタと、
前記フィルタにより生成された前記復号画像に対し超解像処理を行うことにより超解像画像を生成し、当該超解像画像を前記メモリに格納する超解像処理部と、
前記入力画像がIピクチャである場合、前記復号画像を用いて画面内予測を行うことにより前記予測画像を生成する画面内予測部と、
前記入力画像がPピクチャまたはBピクチャである場合、前記メモリに格納された前記復号画像及び前記超解像画像のうちのいずれかを参照ピクチャとして選択する参照ピクチャ選択部と、
前記参照ピクチャ選択部により選択された前記参照ピクチャを用いて画面間予測を行うことにより前記予測画像を生成する画面間予測部と、を備え、
前記メモリには、
前記フィルタ及び前記超解像処理部により、前記Iピクチャ、前記Pピクチャ及び前記Bピクチャのそれぞれについての前記復号画像及び前記超解像画像が格納され、
前記参照ピクチャ選択部は、
前記入力画像における今回のピクチャの処理において、前記メモリから前回のピクチャの前記復号画像及び前記超解像画像を読み出し、当該復号画像及び当該超解像画像のそれぞれを参照ピクチャとして画面間予測により前記予測画像が生成され、今回のピクチャの前記入力画像との間の前記残差画像が生成され、当該残差画像に対応する前記復号画像がそれぞれ生成され、今回のピクチャと、前回のピクチャの前記復号画像及び前記超解像画像に対応するそれぞれの前記復号画像とに基づいて、それぞれのRDコストを算出し、前記復号画像及び前記超解像画像のうち、前記RDコストが小さい画像を前記参照ピクチャとして選択する、ことを特徴とする映像符号化装置。
【請求項3】
請求項1に記載の映像符号化装置において、
さらに、前記フィルタにより生成された前記復号画像に対し超解像処理を行うことにより超解像画像を生成し、当該超解像画像を前記メモリに格納する超解像処理部を備え、
前記メモリには、
前記フィルタ、前記ぼやけ処理部及び前記超解像処理部により、前記Iピクチャ、前記Pピクチャ及び前記Bピクチャのそれぞれについての前記復号画像、前記ぼやけ画像及び前記超解像画像が格納され、
前記参照ピクチャ選択部は、
前記入力画像における今回のピクチャの処理において、前記メモリから前回のピクチャの前記復号画像、前記ぼやけ画像及び前記超解像画像を読み出し、当該復号画像、当該ぼやけ画像及び当該超解像画像のそれぞれを参照ピクチャとして画面間予測により前記予測画像が生成され、今回のピクチャの前記入力画像との間の前記残差画像が生成され、当該残差画像に対応する前記復号画像がそれぞれ生成され、今回のピクチャと、前回のピクチャの前記復号画像、前記ぼやけ画像及び前記超解像画像に対応するそれぞれの前記復号画像とに基づいて、それぞれのRDコストを算出し、前記復号画像、前記ぼやけ画像及び前記超解像画像のうち、前記RDコストが最小の画像を前記参照ピクチャとして選択する、ことを特徴とする映像符号化装置。
【請求項4】
請求項1または3に記載の映像符号化装置において、
前記ぼやけ処理部は、
前記復号画像をウェーブレットパケット分解し、周波数帯域毎の画像を生成し、当該周波数帯域毎の画像に対しゲイン調整を行い、ゲイン調整後の前記周波数帯域毎の画像に対しウェーブレットパケット再構成を行い、前記ぼやけ画像を生成する、ことを特徴とする映像符号化装置。
【請求項5】
請求項2または3に記載の映像符号化装置において、
前記超解像処理部は、
前記復号画像に対し複数階層の周波数分解を行って周波数分解画像を生成し、当該周波数分解画像のうち、第1の分解階数を有する第1分解画像及び第2の分解階数を有する第2分解画像を決定し、前記第1分解画像の低周波成分画像と前記第2分解画像の低周波成分画像との間で位置合わせを行ってその位置関係を示す位置合わせ情報を生成し、当該位置合わせ情報を用いて、前記第1分解画像の高周波成分画像と前記第2分解画像の高周波成分画像との間で割付けを行って超解像高周波成分画像を生成し、前記第1分解画像の低周波成分画像を低周波成分とし、前記超解像高周波成分画像を高周波成分として、周波数再構成処理を行って前記超解像画像を生成する、ことを特徴とする映像符号化装置。
【請求項6】
符号化データを入力し、当該符号化データをエントロピー復号し、逆量子化及び逆直交変換して復号残差画像を生成し、当該復号残差画像に予測画像を加算して加算後画像を生成し、元の映像信号の画像を復元すると共に、前記加算後画像に基づいて前記予測画像を生成する映像復号装置において、
前記符号化データには、当該符号化データを出力する映像符号化装置によりIピクチャ、Pピクチャ及びBピクチャのそれぞれについての予測画像の生成のために用いた参照ピクチャが復号画像である場合、復号選択情報のパラメータが含まれており、前記参照ピクチャがぼやけ画像である場合、ぼやけ選択情報のパラメータが含まれている場合に、
前記加算後画像に対しフィルタ処理を行うことにより復号画像を生成し、前記符号化データに含まれるパラメータが前記復号選択情報を示している場合、前記復号画像をメモリに格納するフィルタと、
前記符号化データに含まれるパラメータが前記ぼやけ選択情報を示している場合、前記フィルタにより生成された前記復号画像に対し、周波数帯域を制限するためのぼやけ処理を行うことによりぼやけ画像を生成し、当該ぼやけ画像を前記メモリに格納するぼやけ処理部と、
前記復号画像がIピクチャである場合、前記復号画像を用いて画面内予測を行うことにより前記予測画像を生成する画面内予測部と、
前記復号画像がPピクチャまたはBピクチャである場合、前記メモリから前記復号画像または前記ぼやけ画像を読み出し、前記復号画像または前記ぼやけ画像を前記参照ピクチャとして画面間予測を行うことにより前記予測画像を生成する画面間予測部と、
を備えたことを特徴とする映像復号装置。
【請求項7】
コンピュータを、請求項1から5までのいずれか一項に記載の映像符号化装置として機能させるためのプログラム。
【請求項8】
コンピュータを、請求項6に記載の映像復号装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像信号を符号化する符号化装置、符号化データを復号する復号装置及びプログラムに関する。
【背景技術】
【0002】
従来、解像度の高い4Kまたは8K映像を対象とした動画圧縮方式の標準規格として、H.265/HEVC(High Efficiency Video Coding)が知られている(例えば非特許文献1を参照)。このH.265/HEVCの規格は、既に符号化されたフレームを用いて動きを予測し、予測残差の信号を直交変換して符号化する、動き補償及び直交変換の技術を基本としている。
【0003】
しかしながら、H.265/HEVCの符号化処理により符号化されたフレームは、復号処理が行われると、空間高周波成分が失われてしまう。このため、復号画像に超解像処理を施す技術が採用されている(例えば特許文献1を参照)。
【0004】
具体的には、特許文献1の技術は、復号画像を雑音成分と信号成分とに分離し、信号成分及び雑音成分のそれぞれに超解像処理を施し、これらの超解像画像を加算して縮小画像 の超解像画像を生成するものである。これにより、符号化データを復号した際に、良好な画質の画像を得ることができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第5965760号公報
【非特許文献】
【0006】
【非特許文献1】大久保榮、「インプレス標準教科書シリーズ H.265/HEVC教科書」、インプレスジャパン
【発明の概要】
【発明が解決しようとする課題】
【0007】
前述のH.265/HEVCの規格において、符号化効率を向上させるためには、画面間予測(フレーム間予測)が行われる。符号化装置は、画面間予測処理において、処理対象のピクチャと参照ピクチャとの間で動きベクトルの検出及び予測を行うことで、動き補償を行い、動きベクトル情報及び残差信号のみを復号装置へ出力する。これにより、符号量を削減することができる。
【0008】
しかしながら、処理対象のピクチャと参照ピクチャとの間で被写界深度内外に移動するオブジェクトを含む場合の画面間予測処理においては、オブジェクトのぼやけ等が生じる。被写界深度内外に移動するオブジェクトは、例えば、被写界深度外のぼやけた状態から、被写界深度内のピントが合う状態へ変化し、または、その逆の状態に変化する。
【0009】
このため、被写界深度内外に移動するオブジェクトを含む場合に、動きべクトルの検出及び予測の精度及び確度が低くなり、残差信号のデータ量が多くなり、結果として符号化効率が低下するという問題があった。
【0010】
このような問題を解決するために、H.265/HEVCの規格に、前述の特許文献1の技術を適用することが想定される。前述の特許文献1の技術は、符号化処理の前段で画像縮小を行い、後段で超解像処理を行うものである。
【0011】
しかしながら、特許文献1の超解像処理は、H.265/HEVCによる符号化処理及び復号処理からなる符号化ループの外部で行われるものであり、符号化ループの内部で行われるものではない。このため、H.265/HEVCの規格に前述の特許文献1の技術をそのまま適用したとしても、H.265/HEVCによる符号化ループの内部は変わらないから、符号化効率は必ずしも効果的に改善できるとは限らない。
【0012】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、処理対象のピクチャと参照ピクチャとの間で被写界深度内外に移動するオブジェクトを含む場合に、符号化効率を改善可能な映像符号化装置及び映像復号装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0013】
前記課題を解決するために、請求項1の映像符号化装置は、映像信号の入力画像から予測画像を減算して残差画像を生成し、当該残差画像に対し直交変換及び量子化を行ってエントロピー符号化を行い、符号化データを出力すると共に、前記量子化により生成した量子化インデックス列に対し逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に前記予測画像を加算して加算後画像を生成し、当該加算後画像に基づいて前記予測画像を生成する映像符号化装置において、前記加算後画像に対しフィルタ処理を行うことにより復号画像を生成し、当該復号画像をメモリに格納するフィルタと、前記フィルタにより生成された前記復号画像に対し、周波数帯域を制限するためのぼやけ処理を行うことによりぼやけ画像を生成し、当該ぼやけ画像を前記メモリに格納するぼやけ処理部と、前記入力画像がIピクチャである場合、前記復号画像を用いて画面内予測を行うことにより前記予測画像を生成する画面内予測部と、前記入力画像がPピクチャまたはBピクチャである場合、前記メモリに格納された前記復号画像及び前記ぼやけ画像のうちのいずれかを参照ピクチャとして選択する参照ピクチャ選択部と、前記参照ピクチャ選択部により選択された前記参照ピクチャを用いて画面間予測を行うことにより前記予測画像を生成する画面間予測部と、を備え、前記メモリには、前記フィルタ及び前記ぼやけ処理部により、前記Iピクチャ、前記Pピクチャ及び前記Bピクチャのそれぞれについての前記復号画像及び前記ぼやけ画像が格納され、前記参照ピクチャ選択部が、前記入力画像における今回のピクチャの処理において、前記メモリから前回のピクチャの前記復号画像及び前記ぼやけ画像を読み出し、当該復号画像及び当該ぼやけ画像のそれぞれを参照ピクチャとして画面間予測により前記予測画像が生成され、今回のピクチャの前記入力画像との間の前記残差画像が生成され、当該残差画像に対応する前記復号画像がそれぞれ生成され、今回のピクチャと、前回のピクチャの前記復号画像及び前記ぼやけ画像に対応するそれぞれの前記復号画像とに基づいて、それぞれのRDコストを算出し、前記復号画像及び前記ぼやけ画像のうち、前記RDコストが小さい画像を前記参照ピクチャとして選択する、ことを特徴とする。
【0014】
また、請求項2の映像符号化装置は、映像信号の入力画像から予測画像を減算して残差画像を生成し、当該残差画像に対し直交変換及び量子化を行ってエントロピー符号化を行い、符号化データを出力すると共に、前記量子化により生成した量子化インデックス列に対し逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に前記予測画像を加算して加算後画像を生成し、当該加算後画像に基づいて前記予測画像を生成する映像符号化装置において、前記加算後画像に対しフィルタ処理を行うことにより復号画像を生成し、当該復号画像をメモリに格納するフィルタと、前記フィルタにより生成された前記復号画像に対し超解像処理を行うことにより超解像画像を生成し、当該超解像画像を前記メモリに格納する超解像処理部と、前記入力画像がIピクチャである場合、前記復号画像を用いて画面内予測を行うことにより前記予測画像を生成する画面内予測部と、前記入力画像がPピクチャまたはBピクチャである場合、前記メモリに格納された前記復号画像及び前記超解像画像のうちのいずれかを参照ピクチャとして選択する参照ピクチャ選択部と、前記参照ピクチャ選択部により選択された前記参照ピクチャを用いて画面間予測を行うことにより前記予測画像を生成する画面間予測部と、を備え、前記メモリには、前記フィルタ及び前記超解像処理部により、前記Iピクチャ、前記Pピクチャ及び前記Bピクチャのそれぞれについての前記復号画像及び前記超解像画像が格納され、前記参照ピクチャ選択部が、前記入力画像における今回のピクチャの処理において、前記メモリから前回のピクチャの前記復号画像及び前記超解像画像を読み出し、当該復号画像及び当該超解像画像のそれぞれを参照ピクチャとして画面間予測により前記予測画像が生成され、今回のピクチャの前記入力画像との間の前記残差画像が生成され、当該残差画像に対応する前記復号画像がそれぞれ生成され、今回のピクチャと、前回のピクチャの前記復号画像及び前記超解像画像に対応するそれぞれの前記復号画像とに基づいて、それぞれのRDコストを算出し、前記復号画像及び前記超解像画像のうち、前記RDコストが小さい画像を前記参照ピクチャとして選択する、ことを特徴とする。
【0015】
また、請求項3の映像符号化装置は、請求項1に記載の映像符号化装置において、さらに、前記フィルタにより生成された前記復号画像に対し超解像処理を行うことにより超解像画像を生成し、当該超解像画像を前記メモリに格納する超解像処理部を備え、前記メモリには、前記フィルタ、前記ぼやけ処理部及び前記超解像処理部により、前記Iピクチャ、前記Pピクチャ及び前記Bピクチャのそれぞれについての前記復号画像、前記ぼやけ画像及び前記超解像画像が格納され、前記参照ピクチャ選択部が、前記入力画像における今回のピクチャの処理において、前記メモリから前回のピクチャの前記復号画像、前記ぼやけ画像及び前記超解像画像を読み出し、当該復号画像、当該ぼやけ画像及び当該超解像画像のそれぞれを参照ピクチャとして画面間予測により前記予測画像が生成され、今回のピクチャの前記入力画像との間の前記残差画像が生成され、当該残差画像に対応する前記復号画像がそれぞれ生成され、今回のピクチャと、前回のピクチャの前記復号画像、前記ぼやけ画像及び前記超解像画像に対応するそれぞれの前記復号画像とに基づいて、それぞれのRDコストを算出し、前記復号画像、前記ぼやけ画像及び前記超解像画像のうち、前記RDコストが最小の画像を前記参照ピクチャとして選択する、ことを特徴とする。
【0016】
また、請求項4の映像符号化装置は、請求項1または3に記載の映像符号化装置において、前記ぼやけ処理部が、前記復号画像をウェーブレットパケット分解し、周波数帯域毎の画像を生成し、当該周波数帯域毎の画像に対しゲイン調整を行い、ゲイン調整後の前記周波数帯域毎の画像に対しウェーブレットパケット再構成を行い、前記ぼやけ画像を生成する、ことを特徴とする。
【0017】
また、請求項5の映像符号化装置は、請求項2または3に記載の映像符号化装置において、前記超解像処理部が、前記復号画像に対し複数階層の周波数分解を行って周波数分解画像を生成し、当該周波数分解画像のうち、第1の分解階数を有する第1分解画像及び第2の分解階数を有する第2分解画像を決定し、前記第1分解画像の低周波成分画像と前記第2分解画像の低周波成分画像との間で位置合わせを行ってその位置関係を示す位置合わせ情報を生成し、当該位置合わせ情報を用いて、前記第1分解画像の高周波成分画像と前記第2分解画像の高周波成分画像との間で割付けを行って超解像高周波成分画像を生成し、前記第1分解画像の低周波成分画像を低周波成分とし、前記超解像高周波成分画像を高周波成分として、周波数再構成処理を行って前記超解像画像を生成する、ことを特徴とする。
【0018】
さらに、請求項6の映像復号装置は、符号化データを入力し、当該符号化データをエントロピー復号し、逆量子化及び逆直交変換して復号残差画像を生成し、当該復号残差画像に予測画像を加算して加算後画像を生成し、元の映像信号の画像を復元すると共に、前記加算後画像に基づいて前記予測画像を生成する映像復号装置において、前記符号化データには、当該符号化データを出力する映像符号化装置によりIピクチャ、Pピクチャ及びBピクチャのそれぞれについての予測画像の生成のために用いた参照ピクチャが復号画像である場合、復号選択情報のパラメータが含まれており、前記参照ピクチャがぼやけ画像である場合、ぼやけ選択情報のパラメータが含まれている場合に、前記加算後画像に対しフィルタ処理を行うことにより復号画像を生成し、前記符号化データに含まれるパラメータが前記復号選択情報を示している場合、前記復号画像をメモリに格納するフィルタと、前記符号化データに含まれるパラメータが前記ぼやけ選択情報を示している場合、前記フィルタにより生成された前記復号画像に対し、周波数帯域を制限するためのぼやけ処理を行うことによりぼやけ画像を生成し、当該ぼやけ画像を前記メモリに格納するぼやけ処理部と、前記復号画像がIピクチャである場合、前記復号画像を用いて画面内予測を行うことにより前記予測画像を生成する画面内予測部と、前記復号画像がPピクチャまたはBピクチャである場合、前記メモリから前記復号画像または前記ぼやけ画像を読み出し、前記復号画像または前記ぼやけ画像を前記参照ピクチャとして画面間予測を行うことにより前記予測画像を生成する画面間予測部と、を備えたことを特徴とする。
【0019】
さらに、請求項7のプログラムは、コンピュータを、請求項1から5までのいずれか一項に記載の映像符号化装置として機能させることを特徴とする。
【0020】
さらに、請求項8のプログラムは、コンピュータを、請求項6に記載の映像復号装置として機能させることを特徴とする。
【発明の効果】
【0021】
以上のように、本発明によれば、処理対象のピクチャと参照ピクチャとの間で被写界深度内外に移動するオブジェクトを含む場合に、符号化効率を改善することができる。
【図面の簡単な説明】
【0022】
図1】本発明の実施形態による映像符号化装置の構成例を示すブロック図である。
図2】映像符号化装置に備えた予測部の構成例を示すブロック図である。
図3】入力画像を構成するGOPの処理例を示すフローチャートである。
図4】Iピクチャの処理例(ステップS301)を示すフローチャートである。
図5】Pピクチャの処理例(ステップS302)を示すフローチャートである。
図6】I,P,Bピクチャの処理の流れを説明する図である。
図7】超解像処理部の処理例を示すフローチャートである。
図8】位置合わせ処理(ステップS704)を説明する図である。
図9】超解像高周波成分画像生成処理(ステップS705)を説明する図である。
図10】ぼやけ処理部の処理例を示すフローチャートである。
図11】3階ウェーブレットパケット分解の処理(ステップS1002)を説明する図である。
図12】本発明の実施形態による映像復号装置の構成例を示すブロック図である。
図13】映像復号装置に備えた予測部の構成例を示すブロック図である。
【発明を実施するための形態】
【0023】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、H.265/HEVCの標準規格を改良した新たな符号化技術を提供するものである。
【0024】
以下に説明する本発明の実施形態は、処理対象のピクチャと参照ピクチャとの間で動きベクトルの検出及び予測を行い、動き補償を行う画面間予測処理において、復号画像、当該復号画像の超解像画像及びぼやけ画像のうち、RD(Rate Distortion)コストが最小の画像を参照ピクチャとして選択し、符号化処理を行う。
【0025】
尚、本発明の実施形態は、復号画像及び超解像画像のうち、RDコストが小さい方の画像を参照ピクチャとするようにしてもよく、復号画像及びぼやけ画像のうち、RDコストが小さい方の画像を参照ピクチャとするようにしてもよい。
【0026】
〔映像符号化装置〕
まず、本発明の実施形態による映像符号化装置について説明する。図1は、本発明の実施形態による映像符号化装置の構成例を示すブロック図である。この映像符号化装置1は、減算部10、直交変換部11、量子化部12、逆量子化部13、逆直交変換部14、加算部15、予測部16及びエントロピー符号化部17を備えている。
【0027】
減算部10は、映像信号の入力画像のピクチャ(Iピクチャ、Pピクチャ及びBピクチャ)を入力すると共に、予測部16から当該ピクチャの予測画像Yを入力する。そして、減算部10は、入力画像のピクチャから予測画像Yを減算し、減算結果の残差画像を生成し、残差画像を直交変換部11に出力する。
【0028】
直交変換部11は、減算部10から残差画像を入力し、残差画像に対し直交変換を行い、変換係数列を生成する。そして、直交変換部11は、変換係数列を量子化部12に出力する。
【0029】
量子化部12は、直交変換部11から変換係数列を入力し、変換係数列に対し量子化を行い、量子化インデックス列を生成する。そして、量子化部12は、量子化インデックス列を逆量子化部13及びエントロピー符号化部17に出力する。
【0030】
逆量子化部13は、量子化部12から量子化インデックス列を入力し、量子化部12の逆の処理を行うことで、量子化インデックス列を逆量子化し、変換係数列を生成する。そして、逆量子化部13は、変換係数列を逆直交変換部14に出力する。
【0031】
逆直交変換部14は、逆量子化部13から変換係数列を入力し、直交変換部11の逆の処理を行うことで、変換係数列を逆直交変換し、復号残差画像を生成する。そして、逆直交変換部14は、復号残差画像を加算部15に出力する。
【0032】
加算部15は、逆直交変換部14から復号残差画像を入力すると共に、予測部16から予測画像Yを入力する。そして、加算部15は、予測画像Yに復号残差画像を加算し、加算後の画像を復号画像Eとして生成し、復号画像Eを予測部16に出力する。
【0033】
予測部16は、加算部15から復号画像Eを入力し、所定の予測処理を行うことで予測画像Yを生成し、予測画像Yを減算部10及び加算部15に出力する。
【0034】
また、予測部16は、復号画像F、超解像画像C及びぼやけ画像Dのうち、RDコストが最小の画像を選択する処理において、実際に選択した画像(参照ピクチャとして選択した画像)の種類を選択画像種類としたパラメータを設定する。そして、予測部16は、選択画像種類を含むパラメータをエントロピー符号化部17に出力する。
【0035】
選択した画像が復号画像Fの場合、選択画像種類として、復号選択情報のパラメータが設定され、選択した画像が超解像画像Cの場合、選択画像種類として、超解像選択情報のパラメータが設定される。また、選択した画像がぼやけ画像Dの場合、選択画像種類として、ぼやけ選択情報のパラメータが設定される。予測部16の処理の詳細については後述する。
【0036】
エントロピー符号化部17は、量子化部12から量子化インデックス列を入力すると共に、予測部16から選択画像種類を含むパラメータを入力し、さらに、直交変換部11等からパラメータを入力する。そして、エントロピー符号化部17は、量子化インデックス列及びパラメータに対しエントロピー符号化を行い、符号化データを生成する。エントロピー符号化部17は、符号化データを後述する映像復号装置2へ出力する。
【0037】
(予測部16)
次に、図1に示した予測部16について詳細に説明する。図2は、映像符号化装置1に備えた予測部16の構成例を示すブロック図である。この予測部16は、ループ内フィルタ(In-Loopフィルタ)20、画面内予測部21、切替部22、超解像処理部23、ぼやけ処理部24、メモリ25、参照ピクチャ選択部26、画面間予測部27及びパラメータ処理部28を備えている。
【0038】
尚、図2の予測部16には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。
【0039】
ループ内フィルタ20は、加算部15から復号画像Eを入力し、復号画像Eに対しフィルタ処理を行い、復号画像Fを生成する。ループ内フィルタ20は、復号画像FがIピクチャである場合、画面内予測処理のための復号画像Fを画面内予測部21に出力する。
【0040】
また、ループ内フィルタ20は、復号画像FがIピクチャ、PピクチャまたはBピクチャである場合、復号画像Fをメモリ25に格納すると共に、超解像処理部23及びぼやけ処理部24に出力する。
【0041】
画面内予測部21は、ループ内フィルタ20からIピクチャの復号画像Fを入力し、復号画像Fに対し画面内予測を行い、Iピクチャの予測画像Yを生成する。そして、画面内予測部21は、予測画像Yを切替部22に出力する。
【0042】
切替部22は、画面内予測部21から予測画像Yを入力すると共に、画面間予測部27から予測画像Yを入力し、画面内予測部21からの予測画像Y及び画面間予測部27からの予測画像Yのいずれかを選択して切り替える。切替部22は、切り替え後の予測画像Yを減算部10及び加算部15に出力する。
【0043】
映像符号化装置1の入力画像がIピクチャの場合、画面内予測部21からのIピクチャの予測画像Yが切替部22から出力され、入力画像がP,Bピクチャの場合、画面間予測部27からのP,Bピクチャの予測画像Yが切替部22から出力される。
【0044】
超解像処理部23は、ループ内フィルタ20から復号画像Eを入力し、復号画像Eに対し超解像処理を行い、超解像画像Cを生成する。そして、超解像処理部23は、超解像画像Cをメモリ25に格納する。超解像処理部23の処理の詳細については後述する。
【0045】
ぼやけ処理部24は、ループ内フィルタ20から復号画像Eを入力し、復号画像Eに対しぼやけ処理を行い、ぼやけ画像Dを生成する。そして、ぼやけ処理部24は、ぼやけ画像Dをメモリ25に格納する。ぼやけ処理部24の処理の詳細については後述する。
【0046】
メモリ25には、Iピクチャ、Pピクチャ及びBピクチャのそれぞれについて、復号画像F、超解像画像C及びぼやけ画像Dが格納される。メモリ25に格納されたIピクチャの復号画像F、超解像画像C及びぼやけ画像Dは、次のPピクチャの予測画像Yを生成するために用いられる。
【0047】
また、Pピクチャの復号画像F、超解像画像C及びぼやけ画像Dは、次のBピクチャの予測画像Yを生成するために用いられ、Bピクチャの復号画像F、超解像画像C及びぼやけ画像Dは、次のBピクチャの予測画像Yを生成するために用いられる。
【0048】
予測部16が入力画像のピクチャに対する予測画像Yを生成する際に、参照ピクチャ選択部26は、メモリ25から、前回の(メモリ25に最新に格納された)ピクチャの復号画像F、超解像画像C及びぼやけ画像Dを読み出す。
【0049】
参照ピクチャ選択部26は、前回のピクチャの復号画像F、超解像画像C及びぼやけ画像Dのそれぞれについて、画面間予測部27、切替部22、減算部10、直交変換部11、量子化部12、逆量子化部13、逆直交変換部14、加算部15及びループ内フィルタ20による今回のピクチャの画面間予測符号化及び復号を行い、復号画像FF,FC,FDを生成する。この場合、画面間予測部27は、メモリ25から読み出した復号画像F、超解像画像C及びぼやけ画像Dのそれぞれを参照ピクチャとして、画面間予測を行い、予測画像YF,YC,YDを生成する。
【0050】
復号画像FF,FC,FD及び予測画像YF,YC,YDは、メモリ25から読み出した復号画像F、超解像画像C及びぼやけ画像Dにそれぞれ対応している。
【0051】
参照ピクチャ選択部26は、今回のピクチャと、前回のピクチャの復号画像Fを用いた画面間予測符号化及び復号により得られた復号画像FFとの間の差分に基づいて、復号画像FのRDコストを算出する。また、参照ピクチャ選択部26は、今回のピクチャと、前回のピクチャの超解像画像Cを用いた画面間予測符号化及び復号により得られた復号画像FCとの間の差分に基づいて、超解像画像CのRDコストを算出する。さらに、参照ピクチャ選択部26は、今回のピクチャと、前回のピクチャのぼやけ画像Dを用いた画面間予測符号化及び復号により得られた復号画像FDとの間の差分に基づいて、ぼやけ画像DのRDコストを算出する。
【0052】
参照ピクチャ選択部26は、復号画像F、超解像画像C及びぼやけ画像DのうちRDコストが最小の画像を、後段の画面間予測部27にて用いる参照ピクチャとして選択する。そして、参照ピクチャ選択部26は、選択した参照ピクチャ(復号画像F、超解像画像C及びぼやけ画像Dのうちのいずれか)を画面間予測部27に出力する。
【0053】
画面間予測部27は、参照ピクチャ選択部26から参照ピクチャ(復号画像F、超解像画像C及びぼやけ画像Dのうちのいずれか)を入力し、参照ピクチャを用いて画面間予測を行い、今回のピクチャの予測画像Yを生成する。そして、画面間予測部27は、予測画像Yを切替部22に出力する。
【0054】
パラメータ処理部28は、参照ピクチャ選択部26により選択された画像の種類(復号画像Fの種類(復号選択情報)、超解像画像Cの種類(超解像選択情報)またはぼやけ画像Dの種類(ぼやけ選択情報))を選択画像種類として設定する。そして、パラメータ処理部28は、選択画像種類を含むパラメータをエントロピー符号化部17に出力する。
【0055】
(映像符号化装置1の処理)
次に、図1に示した映像符号化装置1の処理について説明する。図3は、入力画像を構成するGOP(Group Of Picture)の処理例を示すフローチャートである。
【0056】
映像符号化装置1は、入力画像のGOPを単位として、例えばIピクチャの処理(ステップS301)、Pピクチャの処理(ステップS302)、Bピクチャの処理(ステップS303)、・・・、Bピクチャの処理(ステップS30n)を順番に行う。nは4以上の整数である。映像符号化装置1は、ステップS303からステップS30nまでの各ステップにおいて、Bピクチャの処理を行う。
【0057】
(Iピクチャの処理)
図4は、Iピクチャの処理例(ステップS301)を示すフローチャートであり、図6は、I,P,Bピクチャの処理の流れを説明する図である。
【0058】
図4及び図6を参照して、映像符号化装置1は、Iピクチャを入力すると、Iピクチャの画面内予測符号化及び復号を行い、符号化データを出力する(ステップS401)。画面内予測符号化及び復号は、画面内予測部21、切替部22、減算部10、直交変換部11、量子化部12、逆量子化部13、逆直交変換部14、加算部15及びループ内フィルタ20により行われ、符号化データは、エントロピー符号化部17により生成される。また、Iピクチャの復号画像Eは、図6に示すように、ステップS401にて、加算部15により生成される。
【0059】
映像符号化装置1は、加算部15にて生成した復号画像Eに対し、ループ内フィルタ20にてフィルタ処理を行い、Iピクチャの復号画像Fを生成する(ステップS402)。そして、映像符号化装置1は、復号画像Fに対し、超解像処理部23にて超解像処理を行い、Iピクチャの超解像画像Cを生成する(ステップS403)。また、映像符号化装置1は、復号画像Fに対し、ぼやけ処理部24にてぼやけ処理を行い、Iピクチャのぼやけ画像Dを生成する(ステップS404)。
【0060】
映像符号化装置1は、Iピクチャの復号画像F、超解像画像C及びぼやけ画像Dをメモリ25に格納する(ステップS405)。図6に示すように、Iピクチャの復号画像F、超解像画像C及びぼやけ画像Dは、次のPピクチャの処理において、Pピクチャの予測画像Yを生成するために用いられる。
【0061】
(Pピクチャの処理)
図5は、Pピクチャの処理例(ステップS302)を示すフローチャートである。図5及び図6を参照して、映像符号化装置1は、Pピクチャを入力すると、メモリ25から、前回のIピクチャの復号画像F、超解像画像C及びぼやけ画像Dを読み出す(ステップS501)。
【0062】
映像符号化装置1は、Iピクチャの復号画像F、超解像画像C及びぼやけ画像Dのそれぞれについて、これを参照ピクチャとしてPピクチャの画面間予測符号化及び復号を行い、Pピクチャの復号画像FF,FC,FDを生成する(ステップS502)。
【0063】
画面間符号化及び復号は、画面間予測部27、切替部22、減算部10、直交変換部11、量子化部12、逆量子化部13、逆直交変換部14、加算部15及びループ内フィルタ20により行わる。復号画像FF,FC,FDは、ループ内フィルタ20により生成される。
【0064】
Pピクチャの復号画像FFは、Iピクチャの復号画像Fを参照ピクチャとして用いた場合の復号画像であり、Pピクチャの復号画像FCは、Iピクチャの超解像画像Cを参照ピクチャとして用いた場合の復号画像である。また、Pピクチャの復号画像FDは、Iピクチャのぼやけ画像Dを参照ピクチャとして用いた場合の復号画像である。
【0065】
映像符号化装置1は、Iピクチャの復号画像F、超解像画像C及びぼやけ画像Dのそれぞれについて、入力したPピクチャと当該Pピクチャの復号画像FF,FC,FDとの間の差分に基づいて、RDコストを算出する(ステップS503)。
【0066】
これにより、復号画像Fを用いた場合のRDコスト、超解像画像Cを用いた場合のRDコスト、及びぼやけ画像Dを用いた場合のRDコストが得られる。
【0067】
映像符号化装置1は、復号画像F、超解像画像C及びぼやけ画像Dのうち、RDコストが最小の画像を選択する(ステップS504)。RDコストの算出及びRDコストの最小となる画像の選択は、参照ピクチャ選択部26により行われる。
【0068】
映像符号化装置1は、ステップS504にて選択した画像(Iピクチャの復号画像F、超解像画像C及びぼやけ画像Dのうちのいずれか)を参照ピクチャとし、画面間予測符号化及び復号を行い、符号化データを出力する(ステップS505)。
【0069】
画面間予測符号化及び復号は、画面間予測部27、切替部22、減算部10、直交変換部11、量子化部12、逆量子化部13、逆直交変換部14、加算部15及びループ内フィルタ20により行われ、符号化データは、エントロピー符号化部17により生成される。この場合、画面間予測部27により、ステップS504にて選択した画像(Iピクチャの復号画像F、超解像画像C及びぼやけ画像Dのうちのいずれか)が参照ピクチャとして用いられ、Pピクチャの予測画像Yが生成される。また、Pピクチャの復号画像Eは、図6に示すように、ステップS505にて、加算部15により生成される。
【0070】
映像符号化装置1は、加算部15にて生成した復号画像Eに対し、ループ内フィルタ20にてフィルタ処理を行い、Pピクチャの復号画像Fを生成する(ステップS506)。そして、映像符号化装置1は、復号画像Fに対し、超解像処理部23にて超解像処理を行い、Pピクチャの超解像画像Cを生成する(ステップS507)。また、映像符号化装置1は、復号画像Fに対し、ぼやけ処理部24にてぼやけ処理を行い、Pピクチャのぼやけ画像Dを生成する(ステップS508)。
【0071】
映像符号化装置1は、Pピクチャの復号画像F、超解像画像C及びぼやけ画像Dをメモリ25に格納する(ステップS509)。図6に示すように、Pピクチャの復号画像F、超解像画像C及びぼやけ画像Dは、次のBピクチャの処理において、Bピクチャの予測画像Yを生成するために用いられる。
【0072】
(Bピクチャの処理)
図3に示したBピクチャの処理例(ステップS303〜S30n)は、図5に示した処理例と同様である。映像符号化装置1は、Bピクチャを入力すると、ステップS501,S502と同様に、メモリ25から、前回のPピクチャ(またはBピクチャ)の復号画像F、超解像画像C及びぼやけ画像Dを読み出し、Bピクチャの復号画像FF,FC,FDを生成する。
【0073】
映像符号化装置1は、ステップS503,S504と同様に、前回のPピクチャ(またはBピクチャ)の復号画像F、超解像画像C及びぼやけ画像Dのそれぞれについて、RDコストを算出し、RDコストが最小の画像を選択する。
【0074】
映像符号化装置1は、ステップS505と同様に、選択した画像を参照ピクチャとし、画面間予測符号化及び復号を行い、符号化データを出力すると共に、ステップS506と同様に、Bピクチャの復号画像Fを生成する。
【0075】
映像符号化装置1は、ステップS507,S508と同様に、復号画像Fに対し超解像処理を行い、Pピクチャの超解像画像Cを生成すると共に、復号画像Fに対しぼやけ処理を行い、Pピクチャのぼやけ画像Dを生成する。
【0076】
映像符号化装置1は、ステップS509と同様に、Bピクチャの復号画像F、超解像画像C及びぼやけ画像Dをメモリ25に格納する。図6に示すように、今回のBピクチャの復号画像F、超解像画像C及びぼやけ画像Dは、次のBピクチャの処理において、予測画像Yを生成するために用いられる。
【0077】
以上のように、本発明の実施形態の映像符号化装置1によれば、予測部16の参照ピクチャ選択部26は、今回の入力画像のピクチャの処理において、今回の入力画像のピクチャと、前回のピクチャの復号画像F、超解像画像C及びぼやけ画像Dのそれぞれを参照ピクチャとして画面間予測符号化及び復号により得られた復号画像FF,FC,FDとに基づいて、それぞれのRDコストを算出する。そして、参照ピクチャ選択部26は、復号画像F、超解像画像C及びぼやけ画像DのうちRDコストが最小の画像を、後段の画面間予測部27にて用いる参照ピクチャとして選択する。
【0078】
画面間予測部27は、RDコストが最小の画像(復号画像F、超解像画像C及びぼやけ画像Dのうちのいずれか)を参照ピクチャとして画面間予測を行い、今回の入力画像のピクチャについての予測画像Yを生成する。
【0079】
そして、今回の入力画像及び予測画像Yに基づいて、直交変換等が行われて符号化データが生成され、逆直交変換等が行われて今回のピクチャの復号画像Fが生成される。
【0080】
超解像処理部23は、復号画像Fから今回のピクチャの超解像画像Cを生成し、ぼやけ処理部24は、復号画像Fから今回のピクチャのぼやけ画像Dを生成する。
【0081】
これにより、RDコストが最小の復号画像F、超解像画像Cまたはぼやけ画像Dを参照ピクチャとして選択するようにしたから、入力画像と予測画像Yとの間の差である残差画像のデータ量は少なくなる。
【0082】
したがって、処理対象のピクチャと参照ピクチャとの間で被写界深度内外に移動するオブジェクトを含む場合に、動きべクトルの検出及び予測の精度及び確度が高くなり、残差画像のデータ量が少なくなり、結果として符号化効率を改善することができる。
【0083】
(超解像処理部23の処理)
次に、図2に示した超解像処理部23の処理について説明する。超解像処理部23は、画面内予測符号化及び復号、または画面間予測符号化及び復号の処理により失われた空間高周波成分を補完し、空間解像度はそのままとした超解像画像Cを生成する。
【0084】
図7は、超解像処理部23の処理例を示すフローチャートである。超解像処理部23は、ループ内フィルタ20から復号画像Fを入力し(ステップS701)、復号画像Fに対して複数階層の周波数分解(多重解像度分解)を行い、周波数分解画像を生成する(ステップS702)。
【0085】
周波数分解画像は、復号画像Fの低周波成分画像LLnと、復号画像Fの高周波成分画像である水平高周波成分画像LHn、垂直高周波成分画像HLn及び対角高周波成分画像HHnとからなる。nは分解階数を示し、例えば、復号画像Fを3階周波数分解した場合、n=1,2,3の周波数分解画像が生成される。例えば、周波数分解の処理として、ウェーブレットパケット分解が行なわれる。
【0086】
超解像処理部23は、復号画像Fの高周波成分画像に基づいて分解階数を決定し、ステップS702にて生成した周波数分解画像のうち、位置合わせ及び超解像高周波成分画像の生成のために用いる第1分解画像及び第2分解画像を決定する(ステップS703)。
【0087】
具体的には、超解像処理部23は、復号画像Fの高周波成分画像LHn,HLn,HHnのパワー値としてRMS(Root Mean Square)値をそれぞれ算出する。そして、超解像処理部23は、いずれのRMS値が閾値未満となる分解階数αを第1の分解階数に決定すると共に、いずれかのRMS値が閾値以上となる分解階数βを第2の分解階数に決定する。
【0088】
そして、超解像処理部23は、第1の分解階数αを有する第1分解画像、及び第2の分解階数βを有する第2分解画像を決定する。第1分解画像の低周波成分画像LLα及び第2分解画像の低周波成分画像LLβは、後段のステップS704にて位置合わせの処理に用いられる。また、第1分解画像の高周波成分画像LHα,HLα,HHα及び第2分解画像の高周波成分画像LHβ,HLβ,HHβは、後段のステップS705にて超解像高周波成分画像の生成処理に用いられる。
【0089】
超解像処理部23は、ステップS703にて決定した第1分解画像の低周波成分画像LLαと第2分解画像の低周波成分画像LLβとの間で位置合わせを行い、その位置関係を示す位置合わせ情報を生成する(ステップS704)。
【0090】
図8は、位置合わせ処理(ステップS704)を説明する図である。第1分解画像の高周波成分画像LHα,HLα,HHαのRMS値のいずれもが閾値未満であり、第2分解画像の高周波成分画像LHβ,HLβ,HHβのRMS値のいずれかが閾値以上であるとする。
【0091】
超解像処理部23は、例えば低周波成分画像LLαと低周波成分画像LLβとの間でブロックマッチングを行い、両画像間で類似度(相関性)の高いブロックの位置関係を特定し、その位置関係を示す位置合わせ情報を生成する。
【0092】
ブロックマッチングは、絶対値誤差和(SAD:Sum of Absolute Difference)、二乗誤差和(SSD:Sum of Squared Difference)等の評価関数を用いて、既知の手法により行われる。また、ブロックマッチングは、例えば パラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。尚、SADまたはSSDの評価関数の値が閥値を超えた場合は、位置合わせ情報として採用しないようにしてもよい。
【0093】
図7に戻って、超解像処理部23は、ステップS704にて生成した位置合わせ情報を用いて、ステップS703にて決定した第1分解画像の高周波成分画像LHα,HLα,HHαと、第2分解画像の高周波成分画像LHβ,HLβ,HHβとの間で割付けを行う。そして、超解像処理部23は、超解像高周波成分画像LHα’,HLα’,HHα’を生成する(ステップS705)。
【0094】
図9は、超解像高周波成分画像生成処理(ステップS705)を説明する図である。超解像処理部23は、位置合わせ情報に従って、第2分解画像の高周波成分画像LHβ,HLβ,HHβを、第1分解画像の高周波成分画像LHα,HLα,HHαの小数画素位置(1画素未満の画素位置)に割付ける。
【0095】
ここで、第2分解画像の高周波成分画像LHβ,HLβ,HHβを割付ける際には、第2分解画像の低周波成分画像LLβと同じ位相位置の位置合わせ情報に従うこととする。これは、第2分解画像の低周波成分画像LLβ内のあるブロックPが第1分解画像の低周波成分画像LLα内のブロックQに対応(類似)している場合、第2分解画像の各高周波成分画像LHβ,HLβ,HHβ内におけるブロックPと同じ位相位置のブロックが、第1分解画像の各高周波成分画像LHα,HLα,HHα内におけるブロックQと同じ位相位置のブロックとそれぞれ類似する可能性が高いからである。
【0096】
尚、超解像処理部23は、ステップS705において、割付けた値を用いて、再構成(例えばMAP再構成)するようにしてもよい。MAP再構成の詳細については、例えば、以下の文献を参照されたい。
E. Levitan and G. Herman,“A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography”, IEEE Transactions on Medical Imaging,vol.6,no.3,pp.185-192,Sep.1987.
【0097】
また、その他の方法として、ML法、割付けた画素の距離に応じた重み付けにより、再構成するようにしてもよい。
【0098】
図7に戻って、超解像処理部23は、ステップS703にて決定した第1分解画像の低周波成分画像LLαを低周波成分とし、ステップS705にて生成した超解像高周波成分画像LHα’,HLα’,HHα’を高周波成分とする。そして、超解像処理部23は、周波数再構成処理を行って超解像画像Cを生成し、超解像画像Cをメモリ25に格納する(ステップS706,S707)。
【0099】
尚、超解像処理部23は、ステップS702の周波数分解の処理としてウェーブレットパケット分解を行った場合、ステップS706の周波数再構成の処理としてウェーブレットパケット再構成を行う。
【0100】
以上のように、超解像処理部23は、復号画像Fに対して周波数分解を行い、周波数分解した第1分解画像における低周波成分画像LLαと第2分解画像における低周波成分画像LLβとの間で位置合わせを行う。
【0101】
そして、超解像処理部23は、第1分解画像における高周波成分画像LHα,HLα,HHαと第2分解画像における高周波成分画像LHβ,HLβ,HHβとの間で割付けを行う。超解像処理部23は、超解像高周波成分画像LHα’,HLα’,HHα’を生成し、第1画像の低周波成分画像LLαと超解像高周波成分画像LHα’,HLα’,HHα’とを用いて、超解像画像Cを生成する。
【0102】
これにより、低い空間周波数から高い空間周波数に渡り、高画質の超解像画像Cが生成されるから、画面内予測符号化及び復号、または画面間予測符号化及び復号の処理により失われた空間高周波成分を補完することができる。したがって、復号画像Fの高周波成分を高精度で補完した超解像画像Cを得ることができる。
【0103】
尚、超解像処理部23は、図7に示した処理を行うようにしたが、線形及び非線形フィルタを用いる等、既知の処理を行うようにしてもよい。
【0104】
(ぼやけ処理部24の処理)
次に、図2に示したぼやけ処理部24の処理について説明する。図10は、ぼやけ処理部24の処理例を示すフローチャートである。ぼやけ処理部24は、ループ内フィルタ20から復号画像Fを入力し(ステップS1001)、復号画像Fを3階ウェーブレットパケット分解し(ステップS1002)、周波数帯域毎の周波数分解画像を生成する。
【0105】
ぼやけ処理部24は、周波数分解画像に対しゲイン調整を行い(ステップS1003)、ゲイン調整後の周波数分解画像に対しウェーブレットパケット再構成を行い、ぼやけ画像Dを生成する(ステップS1004)。そして、ぼやけ処理部24は、ぼやけ画像Dをメモリ25に格納する(ステップS1005)。
【0106】
図11は、3階ウェーブレットパケット分解の処理(ステップS1002)を説明する図である。周波数分解画像LLP,LHP,HLP,HHPは、それぞれ低周波成分画像、水平高周波成分画像、垂直高周波成分画像及び対角高周波成分画像である。Pは、周波数帯域の番号(帯域番号)を示す。
【0107】
復号画像Fが1階ウェーブレットパケット分解されることで、4個の周波数分解画像LL1,LH1,HL1,HH1が生成される。また、復号画像Fが2階ウェーブレットパケット分解されることで、16個の周波数分解画像LL1〜4,LH1〜4,HL1〜4,HH1〜4が生成される。さらに、復号画像Fが3階ウェーブレットパケット分解されることで、図11に示すように、64個の周波数分解画像LL1〜16,LH1〜16,HL1〜16,HH1〜16が生成される。
【0108】
ここで、図11に示したように、復号画像Fが、以下の周波数帯域に3階ウェーブレットパケット分解された場合を想定する。
{LLP,LHP,HLP,HHP|p∈1〜16}
【0109】
ぼやけ処理部24は、ステップS1003のゲイン調整処理において、P=13〜16の周波数分解画像の成分を0とすることで、水平方向に1/2、垂直方向に1/2の周波数帯域制限がなされたぼやけ画像Dを生成することができる。
【0110】
以上のように、ぼやけ処理部24は、復号画像Fに対し、ウェーブレットパケット分解及びゲイン調整を行い、ウェーブレットパケット再構成を行うことで、ぼやけ画像Dを生成する。これにより、簡易な処理にてぼやけ画像Dを得ることができる。
【0111】
尚、ぼやけ処理部24は、図10に示した処理を行うようにしたが、フィルタを用いる等、既知の処理を行うようにしてもよい。
【0112】
〔映像復号装置〕
次に、本発明の実施形態による映像復号装置について説明する。図12は、本発明の実施形態による映像復号装置の構成例を示すブロック図である。この映像復号装置2は、エントロピー復号部30、逆量子化部31、逆直交変換部32、加算部33及び予測部34を備えている。
【0113】
エントロピー復号部30は、映像符号化装置1により出力された符号化データを入力し、図1に示したエントロピー符号化部17の逆の処理を行うことで、符号化データに対しエントロピー復号を行い、量子化インデックス列及びパラメータを生成する。
【0114】
エントロピー復号部30は、量子化インデックス列を逆量子化部31に出力し、選択画像種類を含むパラメータを予測部34に出力すると共に、パラメータを逆量子化部31等に出力する。
【0115】
逆量子化部31は、エントロピー復号部30から量子化インデックス列を入力し、図1に示した量子化部12の逆の処理を行うことで、量子化インデックス列を逆量子化し、変換係数列を生成する。そして、逆量子化部31は、変換係数列を逆直交変換部32に出力する。
【0116】
逆直交変換部32は、逆量子化部31から変換係数列を入力し、図1に示した直交変換部11の逆の処理を行うことで、変換係数列を逆直交変換し、復号残差画像を生成する。そして、逆直交変換部32は、復号残差画像を加算部33に出力する。
【0117】
加算部33は、逆直交変換部32から復号残差画像を入力すると共に、予測部34から予測画像Y’を入力する。そして、加算部33は、予測画像Y’に復号残差画像を加算し、加算後の画像を復号画像E’として生成し、復号画像E’を予測部34に出力する。
【0118】
予測部34は、図1に示した予測部16に対応する処理を行う。予測部34は、エントロピー復号部30から選択画像種類を含むパラメータを入力すると共に、加算部33から復号画像E’を入力する。そして、予測部34は、パラメータに基づいて所定の予測処理を行うことで予測画像Y’を生成し、予測画像Y’を加算部33に出力し、元の映像信号の復号画像Oを出力する。これにより、元の映像信号の画像が復元される。
【0119】
ここで、予測部34は、画面間予測処理において、パラメータに含まれる選択画像種類が復号画像Fを示している場合、復号画像F’を用いて画面間予測を行う。一方、予測部34は、画面間予測処理において、パラメータに含まれる選択画像種類が超解像画像Cを示している場合、復号画像F’に基づいて生成した超解像画像C’を用いて、画面間予測を行う。また、予測部34は、画面間予測処理において、パラメータに含まれる選択画像種類がぼやけ画像Dを示している場合、復号画像F’に基づいて生成したぼやけ画像D’を用いて、画面間予測を行う。予測部34の処理の詳細については後述する。
【0120】
(予測部34)
次に、図12に示した予測部34について詳細に説明する。図13は、映像復号装置2に備えた予測部34の構成例を示すブロック図である。この予測部34は、ループ内フィルタ20、画面内予測部21、切替部22、超解像処理部23、ぼやけ処理部24、メモリ25、画面間予測部27及びパラメータ処理部29を備えている。
【0121】
図2に示した予測部16とこの予測部34とを比較すると、両予測部16,34は、ループ内フィルタ20、画面内予測部21、切替部22、超解像処理部23、ぼやけ処理部24、メモリ25及び画面間予測部27を備えている点で共通する。一方、予測部34は、予測部16の参照ピクチャ選択部26を備えておらず、予測部16のパラメータ処理部28とは異なるパラメータ処理部29を備えている点で相違する。
【0122】
尚、図13において、図2と同一部分には同一符号を付し、重複する説明は省略する。また、図13の予測部34には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。
【0123】
ループ内フィルタ20は、加算部33から復号画像E’を入力し、復号画像E’に対しフィルタ処理を行う。ループ内フィルタ20は、復号画像F’がIピクチャである場合、画面内予測処理のための復号画像F’を画面内予測部21に出力する。
【0124】
ループ内フィルタ20は、パラメータ処理部29から選択画像種類を入力し、選択画像種類が復号画像Fを示している場合、復号画像F’をメモリ25に格納する。また、ループ内フィルタ20は、選択画像種類が超解像画像Cを示している場合、復号画像F’を超解像処理部23に出力し、選択画像種類がぼやけ画像Dを示している場合、復号画像F’をぼやけ処理部24に出力する。
【0125】
画面内予測部21は、Iピクチャの復号画像F’を用いて画面内予測を行い、Iピクチャの予測画像Y’を生成し、予測画像Y’を切替部22に出力する。
【0126】
切替部22は、画面内予測部21からの予測画像Y’及び画面間予測部27からの予測画像Y’のいずれかを選択して切り替える。切替部22は、切り替え後の予測画像Y’を加算部33に出力する。
【0127】
映像復号装置2が入力した符号化データがIピクチャの場合、Iピクチャの予測画像Y’が切替部22から出力される。符号化データがPピクチャの場合、Pピクチャの予測画像Y’が出力され、符号化データがBピクチャの場合、Bピクチャの予測画像Y’が出力される。
【0128】
超解像処理部23は、パラメータ処理部29から選択画像種類を入力し、選択画像種類が超解像画像Cを示している場合、ループ内フィルタ20から入力した復号画像E’に対し前述の超解像処理を行い、超解像画像C’を生成する。そして、超解像処理部23は、超解像画像C’をメモリ25に格納する。
【0129】
ぼやけ処理部24は、パラメータ処理部29から選択画像種類を入力し、選択画像種類がぼやけ画像Dを示している場合、ループ内フィルタ20から入力した復号画像E’に対し前述のぼやけ処理を行い、ぼやけ画像D’を生成する。そして、ぼやけ処理部24は、ぼやけ画像D’をメモリ25に格納する。
【0130】
メモリ25には、Iピクチャ、Pピクチャ及びBピクチャのそれぞれについて、復号画像F’、超解像画像C’及びぼやけ画像D’のうちのいずれかが順次格納され、復号画像Oが形成される。メモリ25に格納されたIピクチャの復号画像F’、超解像画像C’及びぼやけ画像D’のうちのいずれかは、次のPピクチャの予測画像Y’を生成するために用いられる。
【0131】
また、メモリ25に格納されたPピクチャの復号画像F’、超解像画像C’及びぼやけ画像D’のうちのいずれかは、次のBピクチャの予測画像Y’を生成するために用いられる。また、メモリ25に格納されたBピクチャの復号画像F’、超解像画像C’及びぼやけ画像D’のうちのいずれかは、次のBピクチャの予測画像Y’を生成するために用いられる。
【0132】
予測部34が符号化データのピクチャに対する予測画像Y’を生成する際に、画面間予測部27は、メモリ25から、前回の(メモリ25に最新に格納された)ピクチャの画像(復号画像F’、超解像画像C’及びぼやけ画像D’のうちのいずれか)を読み出す。
【0133】
画面間予測部27は、メモリ25から読み出した画像(復号画像F’、超解像画像C’及びぼやけ画像D’のうちのいずれか)を参照ピクチャとして画面間予測を行い、今回のピクチャの予測画像Y’を生成する。そして、画面間予測部27は、予測画像Y’を切替部22に出力する。
【0134】
パラメータ処理部29は、エントロピー復号部30から選択画像種類を含むパラメータを入力し、パラメータから選択画像種類を抽出し、選択画像種類をループ内フィルタ20、超解像処理部23及びぼやけ処理部24に出力する。図示しない読み出し部は、メモリ25から復号画像Oを読み出して出力する。
【0135】
以上のように、本発明の実施形態の映像復号装置2によれば、予測部34のループ内フィルタ20は、映像符号化装置1から出力された符号化データのパラメータに含まれる選択画像種類が復号画像Fである場合、生成した復号画像F’をメモリ25に格納する。
【0136】
超解像処理部23は、パラメータに含まれる選択画像種類が超解像画像Cである場合、生成した超解像画像C’をメモリ25に格納する。また、ぼやけ処理部24は、パラメータに含まれる選択画像種類がぼやけ画像Dである場合、生成したぼやけ画像D’をメモリ25に格納する。
【0137】
メモリ25には、Iピクチャ、Pピクチャ及びBピクチャのそれぞれについて、復号画像F’、超解像画像C’及びぼやけ画像D’のうちのいずれかが順次格納され、復号画像Oが形成される。そして、メモリ25から復号画像Oが読み出され、出力される。
【0138】
画面内予測部21は、Iピクチャの処理において、ループ内フィルタ20により生成された復号画像F’に対し画面内予測を行い、予測画像Y’を生成する。一方、画面間予測部27は、PピクチャまたはBピクチャの処理において、メモリ25から画像(復号画像F’、超解像画像C’及びぼやけ画像D’のうちのいずれか)を読み出し、これを参照ピクチャとして画面間予測を行い、予測画像Y’を生成する。加算部33は、予測画像Y’に、逆直交変換部32により生成された復号残差画像を加算して復号画像E’を生成する。復号画像E’は、ループ内フィルタ20に入力される。
【0139】
ここで、パラメータに含まれる選択画像種類に従ってメモリ25に格納された復号画像F’、超解像画像C’及びぼやけ画像D’のうちのいずれかは、映像符号化装置1において、RDコストが最小となるように選択された画像である。つまり、パラメータに含まれる選択画像種類に従った画像(復号画像F’、超解像画像C’及びぼやけ画像D’のうちのいずれか)は、映像符号化装置1において残差画像のデータ量が最小となるように用いた参照ピクチャに対応する画像である。
【0140】
したがって、処理対象のピクチャと参照ピクチャとの間で被写界深度内外に移動するオブジェクトを含む場合に、動きべクトルの検出及び予測の精度及び確度が高くなる。そして、映像符号化装置1における残差画像のデータ量が少なくなり、結果として符号化効率を改善することができる。
【0141】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態は、図2及び図13に示したとおり、予測部16,34は、超解像処理部23及びぼやけ処理部24の両方を備えるようにした。これに対し、予測部16,34は、超解像処理部23及びぼやけ処理部24のうちのいずれか一方を備えるようにしてもよい。
【0142】
つまり、予測部16,34は、復号画像F,F’及び超解像画像C,C’のうち、RDコストが小さい方の画像を参照ピクチャとするようにしてもよい。また、予測部16,34は、復号画像F,F’及びぼやけ画像D,D’のうち、RDコストが小さい方の画像を参照ピクチャとするようにしてもよい。
【0143】
また、本発明の実施形態は、ピクチャ間で被写界深度内外に移動するオブジェクトを含む場合だけでなく、オブジェクトが静止状態から動作状態に変化し、またはその逆の状態に変化した場合にも適用がある。すなわち、画面全体で大きな変化があった場合にも適用がある。例えばカメラが突然パンまたはチルトの動作をした場合、これらの動作が停止した場合、画面内でオブジェクトが奥から手前へ移動した場合、この逆に移動した場合等に適用がある。
【0144】
尚、本発明の実施形態による映像符号化装置1及び映像復号装置2のハードウェア構成としては、通常のコンピュータを使用することができる。映像符号化装置1及び映像復号装置2は、CPU、RAM等の揮発性の記憶媒体、ROM等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【0145】
映像符号化装置1の減算部10、直交変換部11、量子化部12、逆量子化部13、逆直交変換部14、加算部15、予測部16及びエントロピー符号化部17の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
【0146】
また、映像復号装置2のエントロピー復号部30、逆量子化部31、逆直交変換部32、加算部33及び予測部34の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
【0147】
これらのプログラムは、前記記憶媒体に格納されており、CPUに読み出されて実行される。また、これらのプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【0148】
1 映像符号化装置
2 映像復号装置
10 減算部
11 直交変換部
12 量子化部
13,31 逆量子化部
14,32 逆直交変換部
15,33 加算部
16,34 予測部
17 エントロピー符号化部
20 ループ内フィルタ(In-Loopフィルタ)
21 画面内予測部
22 切替部
23 超解像処理部
24 ぼやけ処理部
25 メモリ
26 参照ピクチャ選択部
27 画面間予測部
28,29 パラメータ処理部
30 エントロピー復号部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13