特許第5835585号(P5835585)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧
特許5835585映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム
<>
  • 特許5835585-映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム 図000010
  • 特許5835585-映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム 図000011
  • 特許5835585-映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム 図000012
  • 特許5835585-映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム 図000013
  • 特許5835585-映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム 図000014
  • 特許5835585-映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム 図000015
  • 特許5835585-映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム 図000016
  • 特許5835585-映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム 図000017
  • 特許5835585-映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム 図000018
  • 特許5835585-映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム 図000019
  • 特許5835585-映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム 図000020
  • 特許5835585-映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム 図000021
  • 特許5835585-映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム 図000022
  • 特許5835585-映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム 図000023
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5835585
(24)【登録日】2015年11月13日
(45)【発行日】2015年12月24日
(54)【発明の名称】映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム
(51)【国際特許分類】
   H04N 19/433 20140101AFI20151203BHJP
   H04N 19/426 20140101ALI20151203BHJP
【FI】
   H04N19/433
   H04N19/426
【請求項の数】17
【全頁数】27
(21)【出願番号】特願2012-523809(P2012-523809)
(86)(22)【出願日】2011年6月21日
(86)【国際出願番号】JP2011064102
(87)【国際公開番号】WO2012005106
(87)【国際公開日】20120112
【審査請求日】2014年5月12日
(31)【優先権主張番号】特願2010-155601(P2010-155601)
(32)【優先日】2010年7月8日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100079005
【弁理士】
【氏名又は名称】宇高 克己
(72)【発明者】
【氏名】田治米 純二
(72)【発明者】
【氏名】青木 啓史
(72)【発明者】
【氏名】蝶野 慶一
(72)【発明者】
【氏名】仙田 裕三
(72)【発明者】
【氏名】先崎 健太
【審査官】 岩井 健二
(56)【参考文献】
【文献】 特開2009−260977(JP,A)
【文献】 特開2007−266970(JP,A)
【文献】 特開2007−174602(JP,A)
【文献】 特開2007−166323(JP,A)
【文献】 特開2003−348592(JP,A)
【文献】 特開平10−271516(JP,A)
【文献】 特開平09−261635(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 − 19/98
(57)【特許請求の範囲】
【請求項1】
予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、
予測用の非圧縮の再構築画像が格納される第1のメモリと、予測用の圧縮された再構築画像が格納される第2のメモリと、
前記再構築画像を圧縮する圧縮手段と、
圧縮された再構築画像を伸張する伸張手段と、
予測に基づき生成された復号対象フレームの再構築画像を前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測で参照されない再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、
を備え、
前記映像復号手段は、復号対象フレームの復号時においてフレーム内予測をする場合、前記第1のメモリから当該復号対象フレームの再構築画像を読み出す
ことを特徴とする映像復号装置。
【請求項2】
前記第1のメモリには、フレーム内予測用の再構築画像が格納され、
前記第2のメモリには、フレーム間予測用の再構築画像が格納される
請求項1に記載の映像復号装置。
【請求項3】
映像ビットストリームと符号化時の圧縮伸張の制御に関する動作パラメータとが多重化されたビットストリームを受信する受信手段と、
前記ビットストリームの多重化を解除して、前記映像ビットストリームと前記動作パラメータとを抽出する多重化解除手段と、
前記動作パラメータに基づいて前記圧縮手段と前記伸張手段とを制御する圧縮伸張制御手段と、
を備えることを特徴とする請求項1又は2に記載の映像復号装置。
【請求項4】
予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、
予測用の非圧縮の再構築画像が格納される第1のメモリと、予測用の圧縮された再構築画像が格納される第2のメモリと、
前記再構築画像を圧縮する圧縮手段と、
圧縮された再構築画像を伸張する伸張手段と、
予測に基づき生成された、復号対象フレームの再構築画像を前記第1のメモリに格納するとともに、当該復号対象フレームの再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、
を備え、
前記映像復号手段は、復号対象フレームの復号時においてフレーム内予測をする場合、前記第1のメモリから当該復号対象フレームの再構築画像を読み出す
ことを特徴とする映像復号装置。
【請求項5】
前記第1のメモリには、フレーム内予測用の再構築画像が格納され、
前記第2のメモリには、フレーム間予測用の再構築画像が格納される
請求項4に記載の映像復号装置。
【請求項6】
予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、
予測用の再構築画像が格納される第1と第2のメモリと、
前記再構築画像を圧縮する第1と第2の圧縮手段と、
前記第1の圧縮手段により圧縮された再構築画像を伸張する第1の伸張手段と、
前記第2の圧縮手段により圧縮された再構築画像を伸張する第2の伸張手段と、
予測に基づき生成された、復号対象フレームの再構築画像を前記第1の圧縮手段を介して圧縮して前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測で参照されない再構築画像を前記第1の伸張手段を介して伸張し、当該伸張した再構築画像を前記第2の圧縮手段を介して圧縮して第2のメモリに格納し、伸張された前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納されている再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、
を備え、
前記第1の圧縮手段は、前記第2の圧縮手段より圧縮率の低いあるいは高能率な圧縮方式で圧縮を施し、
前記映像復号手段は、復号対象フレームの復号時においてフレーム内予測をする場合、前記第1のメモリから当該復号対象フレームの再構築画像を読み出す
ことを特徴とする映像復号装置。
【請求項7】
前記第1のメモリには、フレーム内予測用の再構築画像が格納され、
前記第2のメモリには、フレーム間予測用の再構築画像が格納される
請求項6に記載の映像復号装置。
【請求項8】
入力画像を予測に基づいて映像ビットストリームへ符号化する映像符号化装置であって、
予測用の非圧縮の再構築画像が格納される第1のメモリと、予測用の圧縮された再構築画像が格納される第2のメモリと、
前記再構築画像を圧縮する圧縮手段と、
圧縮された再構築画像を伸張する伸張手段と、
予測に基づき生成された符号化対象フレームの再構築画像を前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記符号化対象フレームの予測で参照されない再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて入力画像を映像ビットストリームへ符号化する映像符号化手段と、
前記圧縮手段と前記伸張手段とを制御する圧縮伸張制御手段と、
前記映像ビットストリームと前記圧縮伸張制御手段の動作パラメータとを多重化し、ビットストリームを出力する多重化手段と、
を備え、
前記映像符号化手段は、符号対象フレームの符号化時においてフレーム内予測をする場合、前記第1のメモリから当該符号化対象フレームの再構築画像を読み出す
ことを特徴とする映像符号化装置。
【請求項9】
前記第1のメモリには、フレーム内予測用の再構築画像が格納され、
前記第2のメモリには、フレーム間予測用の再構築画像が格納される
請求項8に記載の映像符号化装置。
【請求項10】
予測に基づき生成された復号対象フレームの再構築画像を、非圧縮の再構築画像が格納される第1のメモリに格納し、
前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測で参照されない再構築画像を圧縮して第2のメモリに格納し、
前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号し、
復号対象フレームの復号時においてフレーム内予測をする場合、前記第1のメモリから当該復号対象フレームの再構築画像を読み出す
ことを特徴とする映像復号方法。
【請求項11】
前記第1のメモリには、フレーム内予測用の再構築画像が格納され、
前記第2のメモリには、フレーム間予測用の再構築画像が格納される
請求項10に記載の映像復号方法。
【請求項12】
予測に基づき生成された符号化対象フレームの再構築画像を、非圧縮の再構築画像が格納される第1のメモリに格納し、
前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測で参照されない再構築画像を圧縮して第2のメモリに格納し、
前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化し、
前記再構築画像の圧縮伸張を制御し、
前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力し、
符号対象フレームの符号化時においてフレーム内予測をする場合、前記第1のメモリから当該復号対象フレームの再構築画像を読み出す
ことを特徴とする映像符号化方法。
【請求項13】
前記第1のメモリには、フレーム内予測用の再構築画像が格納され、
前記第2のメモリには、フレーム間予測用の再構築画像が格納される
請求項12に記載の映像符号化方法。
【請求項14】
コンピュータに、
予測に基づき生成された復号対象フレームの再構築画像を、非圧縮の再構築画像が格納される第1のメモリに格納する処理、
前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測で参照されない再構築画像を圧縮して第2のメモリに格納する処理、
前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する処理、
を実行させ、
前記映像復号処理は、復号対象フレームの復号時においてフレーム内予測をする場合、前記第1のメモリから当該復号対象フレームの再構築画像を読み出す
プログラム。
【請求項15】
前記第1のメモリには、フレーム内予測用の再構築画像が格納され、
前記第2のメモリには、フレーム間予測用の再構築画像が格納される
請求項14に記載のプログラム。
【請求項16】
コンピュータに、
予測に基づき生成された符号化対象フレームの再構築画像を、非圧縮の再構築画像が格納される第1のメモリに格納する処理、
前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測で参照されない再構築画像を圧縮して第2のメモリに格納する処理、
前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化する処理、
前記再構築画像の圧縮伸張を制御する処理、
前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力する処理、
を実行させ、
前記映像符号化処理は、符号対象フレームの符号化時においてフレーム内予測をする場合、前記第1のメモリから当該復号対象フレームの再構築画像を読み出す
プログラム。
【請求項17】
前記第1のメモリには、フレーム内予測用の再構築画像が格納され、
前記第2のメモリには、フレーム間予測用の再構築画像が格納される
請求項16に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラムに関する。
【背景技術】
【0002】
入力映像の各フレームに対して、所定の映像符号化方式に準拠した符号化処理を行い、符号化データすなわち映像ビットストリームを生成する映像符号化装置がある。また、このような映像ビットストリームを入力とし、復号映像を生成する映像復号装置がある。
【0003】
映像符号化方式の一例として、ISO/IEC 14496−10 AVC(Advanced Video Coding)がある。ISO/IEC 14496−10 AVCは、各フレームをMB(Macro Block)とよばれる16×16画素サイズのブロックに分割する。さらにMBを4×4画素サイズのブロックに分割し、この4×4ブロックを符号化の最小単位とする。フレームの空間解像度がQCIF(Quarter Common Intermediate Format)、4:2:0フォーマットの場合でのブロック分割の一例を図14に示す。
【0004】
分割されたブロックは、予測に基づいて符号化される。フレーム内予測は、現在符号化処理対象のフレームの再構築画像を用いて画像を予測する。フレーム間予測、階層間予測、あるいはビュー間予測は、現在の符号化処理対象のフレームよりも過去に符号化されたフレームの再構築画像を用いて画像を予測する。さらに圧縮歪みを低減するために、符号化処理対象のフレームの再構築画像にはインループフィルタが適用される。映像符号化装置と映像復号装置は、再構築画像(参照ピクチャ)を含むフレームを格納するための参照ピクチャメモリを備える。
【0005】
映像符号化装置の出力した映像ビットストリームを復号して復号映像を得る映像復号装置に関し、例えば、特許文献1乃至3には、映像復号装置のメモリ帯域やメモリ容量を削減するため、参照ピクチャに非可逆圧縮を適用して参照ピクチャメモリに格納することが記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第4384130号
【特許文献2】特許第3928815号
【特許文献3】特許第3918263号
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、上記のように、映像復号装置において非可逆圧縮を参照ピクチャに適用すると、圧縮歪みが生じるため、復号映像の画質劣化が問題となる。
【0008】
本発明は、上記問題点に鑑みてなされたもので、その目的は、復号映像の画質劣化を低減する映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
本発明は、予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、予測用の再構築画像が格納される第1と第2のメモリと、前記再構築画像を圧縮する圧縮手段と、圧縮された再構築画像を伸張する伸張手段と、予測に基づき生成された復号対象フレームの再構築画像を前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、を備えることを特徴とする映像復号装置である。
【0010】
本発明は、予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、予測用の再構築画像が格納される第1と第2のメモリと、前記再構築画像を圧縮する圧縮手段と、圧縮された再構築画像を伸張する伸張手段と、予測に基づき生成された、復号対象フレームの再構築画像を前記第1のメモリに格納するとともに、当該復号対象フレームの再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、を備えることを特徴とする映像復号装置である。
【0011】
本発明は、予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、予測用の再構築画像が格納される第1と第2のメモリと、前記再構築画像を圧縮する第1と第2の圧縮手段と、前記第1の圧縮手段により圧縮された再構築画像を伸張する第1の伸張手段と、前記第2の圧縮手段により圧縮された再構築画像を伸張する第2の伸張手段と、予測に基づき生成された、復号対象フレームの再構築画像を前記第1の圧縮手段を介して圧縮して前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記第1の伸張手段を介して伸張し、当該伸張した再構築画像を前記第2の圧縮手段を介して圧縮して第2のメモリに格納し、伸張された前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納されている再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、を備えることを特徴とする映像復号装置である。
【0012】
本発明は、入力画像を予測に基づいて映像ビットストリームへ符号化する映像符号化装置であって、予測用の再構築画像が格納される第1と第2のメモリと、前記再構築画像を圧縮する圧縮手段と、圧縮された再構築画像を伸張する伸張手段と、予測に基づき生成された符号化対象フレームの再構築画像を前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて入力画像を映像ビットストリームへ符号化する映像符号化手段と、前記圧縮手段と前記伸張手段とを制御する圧縮伸張制御手段と、前記映像ビットストリームと前記圧縮伸張制御手段の動作パラメータとを多重化し、ビットストリームを出力する多重化手段と、を備えることを特徴とする映像符号化装置である。
【0013】
本発明は、予測に基づき生成された復号対象フレームの再構築画像を第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納し、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号することを特徴とする映像復号方法である。
【0014】
本発明は、予測に基づき生成された符号化対象フレームの再構築画像を第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納し、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化し、前記再構築画像の圧縮伸張を制御し、前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力することを特徴とする映像符号化方法である。
【0015】
本発明は、コンピュータに、予測に基づき生成された復号対象フレームの再構築画像を第1のメモリに格納する処理、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納する処理、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する処理、を実行させるためのプログラムである。
【0016】
本発明は、コンピュータに、予測に基づき生成された符号化対象フレームの再構築画像を第1のメモリに格納する処理、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納する処理、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化する処理、前記再構築画像の圧縮伸張を制御する処理、前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力する処理、を実行させるためのプログラムである。
【発明の効果】
【0017】
本発明によれば、復号映像の画質劣化を低減することができる。
【図面の簡単な説明】
【0018】
図1図1は本発明の第1の実施形態に係る映像復号装置のブロック図である。
図2図2は第1の実施形態の映像復号装置による映像復号処理を説明するためのフローチャートである。
図3図3は第1の実施形態の実施例に係る映像復号装置の構成を例示する図である。
図4図4はMMSQ方式の符号化疑似コードを示す図である。
図5図5は本発明の第2の実施形態に係る映像復号装置のブロック図である。
図6図6は本発明の第3の実施形態に係る映像復号装置のブロック図である。
図7図7は本発明の第4の実施形態に係る映像符号化装置のブロック図である。
図8図8は第4の実施形態の映像符号化装置による映像符号化処理を説明するためのフローチャートである。
図9図9はシーケンスパラメータへの補助情報の多重化例を示す図である。
図10図10はシーケンスパラメータへの補助情報の多重化例を示す図である。
図11図11は本発明の第5の実施形態に係る映像復号装置のブロック図である。
図12図12は第5の実施形態の映像復号装置による映像復号処理を説明するためのフローチャートである。
図13図13は映像復号装置と映像符号化装置をコンピュータシステムで実現した場合の構成図である。
図14図14はフレームのブロック分割例を示す図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施形態について図面を参照して説明する。
【0020】
(第1の実施形態)
図1は、本発明の第1の実施形態に係る映像復号装置のブロック図である。図示されるように、第1の実施形態に係る映像復号装置は、映像復号器201と、参照ピクチャメモリ202と、メモリ圧縮器203と、メモリ伸張器204とを備える。参照ピクチャメモリ202は、予測用の再構築画像が格納されるメモリであり、非圧縮参照ピクチャメモリ2021と、圧縮参照ピクチャメモリ2022とを備える。
【0021】
映像復号器201は、映像ビットストリームと、復号時に参照される再構築画像とを入力とし、復号映像を出力する。
【0022】
映像復号器201は、復号対象フレームの復号時において復号対象フレームの再構築画像を参照する場合、すなわち、フレーム内予測や圧縮歪み低減処理等をする場合、非圧縮参照ピクチャメモリ2021から再構築画像を読み込む。また、映像復号器201は、復号対象フレームの復号時において復号対象フレーム以外の再構築画像を参照する場合、すなわち、フレーム間予測、階層間予測あるいはビュー間予測等をする場合、メモリ伸張器204を介して圧縮参照ピクチャメモリ2022から再構築画像を読み込む。
【0023】
映像復号器201は、復号対象フレームの復号時において、参照される可能性のある復号対象フレームの再構築画像を非圧縮参照ピクチャメモリ2021に格納する。また、映像復号器201は、復号対象フレームの復号時において、参照されなくなった(予測に用いられない)復号対象フレームの再構築画像を非圧縮参照ピクチャメモリ2021から読み出し、メモリ圧縮器203を介して圧縮参照ピクチャメモリ2022に圧縮データとして格納する。
【0024】
メモリ圧縮器203は、非圧縮参照ピクチャメモリ2021から読み出されて供給される画像に対して、非可逆圧縮を施して圧縮データを生成し、圧縮データを圧縮参照ピクチャメモリ2022に格納する。
【0025】
メモリ伸張器204は、映像復号器201から要求された再構築画像を含む、圧縮参照ピクチャメモリ2022に格納された圧縮データを伸張する。
【0026】
本発明の第1の実施形態に係る映像復号装置による映像復号処理について図2を参照して説明する。
【0027】
映像復号器201は、復号対象フレームの復号時に、予測において、再構築画像を参照するか否かを判断する(ステップS101)。
【0028】
再構築画像を参照すると判断された場合(ステップS101:YES)、映像復号器201は、復号対象フレームの再構築画像を参照するか(予測に用いるか)を判断する(ステップS102)。
【0029】
復号対象フレームの再構築画像を参照すると判断された場合(ステップS102:YES)、映像復号器201は、参照する再構築画像を非圧縮参照ピクチャメモリ2021から読み込む(ステップS104)。
【0030】
また、復号対象のフレームの再構築画像を参照しないと判断された場合(ステップS102:NO)、映像復号器201は、メモリ伸張器204を介して、参照する再構築画像を圧縮参照ピクチャメモリ2022から読み込む(ステップS103)。
【0031】
映像復号器201は、映像ビットストリームと再構築画像とを入力とし、復号処理を行って復号画像を出力する(ステップS105)。
【0032】
映像復号器201は、参照される可能性のある復号対象フレームの再構築画像を、参照ピクチャとして、非圧縮参照ピクチャメモリ2021に格納する(ステップS106)。
【0033】
映像復号器201は、復号対象フレームの復号時に参照されなくなった復号対象フレームの再構築画像が非圧縮参照ピクチャメモリ2021に存在するかを判断する(ステップS107)。
【0034】
復号対象フレームの復号時に参照されなくなった復号対象フレームの再構築画像が存在する場合(ステップS107:YES)、映像復号器201は、その再構築画像を非圧縮参照ピクチャメモリ2021から読み出し、メモリ圧縮器203を介して、圧縮参照ピクチャメモリ2022に圧縮データとして格納する(ステップS108)。
【0035】
ステップS107で該当する再構築画像が存在しないと判断された場合(ステップS107:NO)、又は、ステップS108で圧縮データが圧縮参照ピクチャメモリ2022に格納された後、映像復号器201は、復号した映像ビットストリームが映像復号の最後のフレームであるか判断する(ステップS109)。最後のフレームであると判断された場合(ステップS109:YES)映像復号を終了する。また、最後のフレームでないと判断された場合(ステップ109:NO)、フローはステップS101に戻る。
【0036】
以上のように、第1の実施形態に係る映像復号装置によれば、復号画像の画質劣化を低減できる。その理由は、復号対象フレームの復号時に参照される可能性のある復号対象のフレームの再構築画像を圧縮せずに非圧縮参照ピクチャメモリ2021に格納し、予測に非圧縮の再構築画像を用いることにより、復号対象フレームの圧縮歪みを低減できるからである。
【0037】
なお、本実施の形態では、映像復号器201は、映像ビットストリームを復号した情報を用いて、参照ピクチャメモリ202への参照ピクチャの格納や読み出しを制御するが、これに限定されず、例えば、映像ビットストリームを復号した情報を用いて、参照ピクチャメモリ202への参照ピクチャの格納や読み出しを制御する参照ピクチャメモリ制御器をさらに備えるようにしてもよい。
【0038】
この場合、参照ピクチャメモリ制御器は、映像復号器201での復号対象フレームの復号時において復号対象フレームの再構築画像を参照する場合、すなわち、フレーム内予測や圧縮歪み低減処理などをする場合、参照する再構築画像を非圧縮参照ピクチャメモリ2021から映像復号器201へ供給するよう制御する。また、参照ピクチャメモリ制御器は、復号対象フレーム以外の再構築画像を参照する場合、すなわち、フレーム間予測、階層間予測、あるいはビュー間予測などをする場合、参照する再構築画像を、メモリ伸張器204を介して、圧縮参照ピクチャメモリ2022から映像復号器201へ供給するよう制御する。
【0039】
また、参照ピクチャメモリ制御器は、映像復号器201で復号した、参照される可能性のある復号対象フレームの再構築画像を参照ピクチャとして非圧縮参照ピクチャメモリ2021に格納するように制御する。参照ピクチャメモリ制御器は、映像復号器201での復号対象フレームの復号時に、参照されなくなった復号対象フレームの再構築画像を非圧縮参照ピクチャメモリ2021から読み出し、メモリ圧縮器203を介して圧縮参照ピクチャメモリ2022に圧縮データとして格納するよう制御する。
【0040】
上述した第1の実施形態に係る映像復号装置の具体的な実施例について以下説明する。
【0041】
図3は、本実施例に係る映像復号装置の構成を例示する。図示されるように、本実施例における映像復号器201は、可変長復号器301、スケーリング/逆量子化/逆整数変換器302、加算器303、インループフィルタ器304、フレーム内予測器305、フレーム間予測器306を含む。
【0042】
また、本実施例では、映像符号化方式がISO/IEC 14496−10 AVC(Advanced Video Coding)であり、メモリ圧縮器203及びメモリ伸張器204が、N画素を処理周期とし、予測誤差をMビットで符号化する差分パルス符号化変調(DPCM:Differential Pulse Code Modulation)に対応する(DPCMメモリ圧縮器307及びDPCMメモリ伸張器308)こととする。
【0043】
映像復号器201は、H.264ビットストリーム及び復号時に参照される再構築画像を入力とし、復号映像を出力する。
【0044】
復号対象のMB(Macro Block)の復号時にフレーム内予測する場合、フレーム内予測器305は、非圧縮参照ピクチャメモリ2021から、参照する再構築画像を読み込む。また、フレーム間予測する場合、フレーム間予測器306は、参照する再構築画像を、DPCMメモリ伸張器308を介して、圧縮参照ピクチャメモリ2022から読み込む。
【0045】
加算器303は、可変長復号器301とスケーリング/逆量子化/逆整数変換器302を介して復号された差分信号と、参照する再構築画像とを加算し、対象MBの画像を復号する。
【0046】
映像復号器201は、復号された対象MBの画像を、参照ピクチャとして非圧縮参照ピクチャメモリ2021に格納する。
【0047】
インループフィルタ器304は、復号対象フレームの復号について、インループフィルタを除く処理が終了した後に、参照される再構築画像を圧縮参照ピクチャメモリ2021から読み込み、ラスタースキャン順にMB毎にインループフィルタを施して、非圧縮参照ピクチャメモリ2021に格納する。
【0048】
映像復号器201は、インループフィルタ器304で参照されない再構築画像を非圧縮参照ピクチャメモリ2021から読み出し、DPCMメモリ圧縮器307を介して、圧縮データとして圧縮参照ピクチャメモリ2022に格納する。
【0049】
なお、復号対象フレームがラスタースキャン順に符号化されている場合、MB単位でインループフィルタを施すようにしてもよい。この場合、非圧縮参照ピクチャメモリ2021の容量は、1フレーム分よりも小さくすることができる。具体的には、ラスタースキャン順にMB単位で復号する場合に、イントラ予測、インループフィルタで参照される再構築画像のみを格納すればよい。
【0050】
DPCMメモリ圧縮器307及びDPCMメモリ伸張器308の動作を説明する。
【0051】
処理周期分の入力画像の画素値をx(n)=0,1,...,N−1とすれば、圧縮した出力信号y(n)は式1で求める。
【0052】
【数1】
【0053】
ブロック左端の画素値x(0)は予測の基準画素としてPCMで符号化、すなわち、入力した画素値が保存される。それ以外は、量子化代表値epqr(n)に対する量子化代表値配列の固定長インデックス値epqridx(n)となる。epqridx(n)は式2、式3、式4、式5を用いて求める。
【0054】
【数2】
【0055】
【数3】
【0056】
【数4】
【0057】
【数5】
【0058】
ここで、ep(n)は予測誤差、xp(n)は予測画素値、xr(n)は復号画素値を表す。
【0059】
出力信号x(n)’の伸張は式6で求める。
【0060】
【数6】
【0061】
本実施例では、メモリ圧縮、メモリ伸張にDPCMを適用したがこれに限定されず、他の方式を用いてもよい。例えば、M.Budagavi and M.Zhou,“VIDEO CODING USING COMPRESSED REFERENCE FRAMES”,ICASSP’2008,pp.1165‐1168,2008.に記載されているMin‐max‐scalar‐quantization(MMSQ)方式を用いてもよい。MMSQ方式の符号化疑似コードを図4に示す。ここで、入力画像は8ビットで表現されているものとする。処理周期内の最大画素値max、処理周期内の最小画素値minはMビットで表現する。また、処理周期はN画素とする。MMSQ方式は画素値x[n]と処理周期内の最小画素値との誤差に対して、線形量子化を行う。量子化時に利用する量子化パラメータqpは式7により求める。
【0062】
【数7】
【0063】
ここでLは量子化代表値数パラメータである。
【0064】
(第2の実施形態)
次に、本発明の第2の実施形態に係る映像復号装置について説明する。本実施形態については、第1の実施形態との相違点についてのみ説明する。
【0065】
図5は、本発明の第2の実施形態に係る映像復号装置のブロック図である。メモリ圧縮器203は、映像復号器201から供給される画像に対して、非可逆圧縮を施し、圧縮データを生成する。
【0066】
第2の実施形態に係る映像復号装置の処理動作は、図2のフローチャートに示す第1の実施形態の映像復号装置の処理動作と比較して、ステップS106とステップS108で異なる。
【0067】
ステップS106において、映像復号器201は、参照される可能性のある復号対象フレームの再構築画像を、参照ピクチャとして、非圧縮参照ピクチャメモリ2021に格納するとともに、その再構築画像に対して、メモリ圧縮器203を介して非可逆圧縮を施し、圧縮データを圧縮参照ピクチャメモリ2022に格納する。そして、ステップS108では、圧縮処理は行わず、ステップS109に進む。
【0068】
以上のように、第2の実施形態に係る映像復号装置によれば、復号画像の画質劣化を低減するとともに、非可逆圧縮の処理タイミングを短縮することができる。その理由は、復号対象フレームの復号時に参照される可能性のある復号対象フレームの再構築画像を、非圧縮参照ピクチャメモリ2021と圧縮参照ピクチャメモリ2022に同時に格納するからである。
【0069】
(第3の実施形態)
次に、本発明の第3の実施形態に係る映像復号装置について説明する。本実施形態については、第1の実施形態との相違点についてのみ説明する。
【0070】
図6は、本発明の第3の実施形態に係る映像復号装置のブロック図である。第3の実施形態に係る映像復号装置は、第2メモリ圧縮器205と、第2メモリ伸張器206をさらに備える。また、非圧縮参照ピクチャメモリ2021の代わりに第2圧縮参照ピクチャメモリ2023を備える。
【0071】
第2メモリ圧縮器205は、映像復号器201から供給される画像に対して、メモリ圧縮器203より圧縮率の低いあるいは高能率な符号化方式により圧縮を施し、圧縮データを生成し、圧縮データを第2圧縮参照ピクチャメモリ2023に格納する。
【0072】
第2メモリ伸張器206は、映像復号器201から要求される再構築画像を含む、第2圧縮参照ピクチャメモリ2023に格納された圧縮データを伸張する。
【0073】
第3の実施形態に係る映像復号装置の処理動作は、図2のフローチャートに示す第1の実施形態の映像復号装置の処理動作と比較して、ステップS104とステップS106とステップS108で異なる。
【0074】
ステップS104において、映像復号器201は、参照する再構築画像を含む圧縮データを、第2メモリ伸張器206を介して第2圧縮参照ピクチャメモリ2023から読み出して伸張する。
【0075】
ステップS106において、映像復号器201は、参照される可能性のある復号対象フレームの再構築画像を、参照ピクチャとして、第2メモリ圧縮器205を介して圧縮を施し、圧縮データを第2圧縮参照ピクチャメモリ2023に格納する。
【0076】
ステップS108において、映像復号器201は、参照されなくなった再構築画像を含む、第2圧縮参照ピクチャメモリ2023に格納された圧縮データを第2メモリ伸張器206を介して伸張する。そして、伸張された再構築画像をメモリ圧縮器203を介して、圧縮参照ピクチャメモリ2022に圧縮データとして格納する。
【0077】
以上のように、第3の実施形態に係る映像復号装置によれば、復号画像の画質劣化を低減するとともに、第2圧縮参照ピクチャメモリ2023のメモリ容量を削減できる。その理由は、映像復号器201から供給される画像に対し、復号対象フレームの復号時に参照される可能性のある復号対象フレームの再構築画像を圧縮率の低いあるいは高能率な符号化方式により圧縮を施して第2圧縮参照ピクチャメモリ2023に格納するからである。
【0078】
(第4の実施形態)
図7は、本発明の第4の実施形態に係る映像符号化装置のブロック図である。図示されるように、第4の実施形態に係る映像符号化装置は、映像符号化器101と、参照ピクチャメモリ102と、メモリ圧縮器103と、メモリ伸張器104と、メモリ圧縮伸張制御器105と、多重化器106とを備える。参照ピクチャメモリ102は、非圧縮参照ピクチャメモリ1021と、圧縮参照ピクチャメモリ1022とを備える。
【0079】
映像符号化器101は、入力映像と符号化時に参照される再構築画像を用いて各フレームを符号化し、その映像ビットストリームを多重化器106に供給する。
【0080】
映像符号化器101は、符号化対象フレームの符号化時に、符号化対象フレームの再構築画像を参照する場合、非圧縮参照ピクチャメモリ1021から再構築画像を読み込む。また、符号化対象フレーム以外の再構築画像を参照する場合、メモリ伸張器104を介して圧縮参照ピクチャメモリ1022から再構築画像を読み込む。
【0081】
映像符号化器101は、参照される可能性のある符号化対象フレームの再構築画像を非圧縮参照ピクチャメモリ1021に格納する。また、映像符号化器101は、符号化対象フレームの符号化時において、参照されなくなった符号化対象フレームの再構築画像を非圧縮参照ピクチャメモリ1021から読み出し、メモリ圧縮器103を介して圧縮参照ピクチャメモリ1022に圧縮データとして格納する。
【0082】
メモリ圧縮器103は、非圧縮参照ピクチャメモリ1021から供給される画像に対して、非可逆圧縮を施して圧縮データを生成し、圧縮データを圧縮参照ピクチャメモリ1022に格納する。
【0083】
メモリ伸張器104は、映像符号化器101から要求された再構築画像を含む、圧縮参照ピクチャメモリ2022に格納された圧縮データを伸張する。
【0084】
メモリ圧縮伸張制御器105は、圧縮及び伸張に必要な補助情報を、メモリ圧縮器103、メモリ伸張器104にシグナリングする。メモリ圧縮伸張制御器105は、映像復号装置において、映像符号化装置と同一の参照ピクチャが得られるように、圧縮及び伸張に必要な補助情報を多重化器106に供給する。
【0085】
多重化器106は、映像ビットストリームと補助情報とを多重化してビットストリームを出力する。
【0086】
本発明の第4の実施形態に係る映像符号化装置による映像符号化処理について図8を参照して説明する。ここでは、メモリ圧縮伸張制御と、圧縮及び伸張に必要な補助情報の多重化とは符号化処理で一回のみ行う。しかし、これらの処理は、フレーム単位毎や複数フレーム単位毎に行うこともできる。
【0087】
メモリ圧縮伸張制御器105は、圧縮及び伸張に必要な補助情報を、メモリ圧縮器103、メモリ伸張器104にシグナリングする(ステップS201)。また、メモリ圧縮伸張制御器105は、映像復号装置において、映像符号化装置と同一の参照ピクチャが得られるように、圧縮及び伸張に必要な補助情報を多重化器106に供給する。
【0088】
多重化器106は、映像ビットストリームと補助情報とを多重化してビットストリームを出力する(ステップS202)。
【0089】
映像符号化器101は、符号化対象フレームの符号化時に、再構築画像を参照するかを判断する(ステップS203)。
【0090】
再構築画像を参照すると判断された場合(ステップS203:YES)、映像符号化器101は、符号化対象フレームの再構築画像を参照するかを判断する(ステップS204)。
【0091】
符号化対象フレームの再構築画像を参照すると判断された場合(ステップS204:YES)、映像符号化器101は、参照する再構築画像を非圧縮参照ピクチャメモリ1021から読み込む(ステップS206)。
【0092】
また、符号化対象のフレームの再構築画像を参照しないと判断された場合(ステップS204:NO)、映像符号化器101は、メモリ伸張器104を介して、参照する再構築画像を圧縮参照ピクチャメモリ1022から読み込む(ステップS205)。
【0093】
映像符号化器101は、入力画像と再構築画像とを入力とし、符号化処理を行って映像ビットストリームを出力する(ステップS207)。
【0094】
映像符号化器101は、参照される可能性のある符号化対象フレームの再構築画像を、参照ピクチャとして、非圧縮参照ピクチャメモリ1021に格納する(ステップS208)。
【0095】
映像符号化器101は、符号化対象フレームの符号化時に参照されなくなった符号化対象フレームの再構築画像が存在するかを判断する(ステップS209)。
【0096】
符号化対象フレームの符号化時に参照されなくなった符号化対象フレームの再構築画像が存在する場合(ステップS209:YES)、映像符号化器101は、その再構築画像を非圧縮参照ピクチャメモリ1021から読み出し、メモリ圧縮器103を介して、圧縮参照ピクチャメモリ1022に圧縮データとして格納する(ステップS210)。
【0097】
ステップS209で該当する再構築画像が存在しないと判断された場合(ステップS209:NO)、又は、ステップS210で圧縮データが圧縮参照ピクチャメモリ1022に格納された後、映像符号化器101は、符号化した映像ビットストリームが映像符号化の最後のフレームであるか判断する(ステップS211)。最後のフレームであると判断された場合(ステップS211:YES)映像符号化を終了する。また、最後のフレームでないと判断された場合(ステップ211:NO)、フローはステップS203に戻る。
【0098】
本実施形態では、映像符号化器101は、対象処理ブロック位置、対象処理、予測方法などの符号化時の情報を用いて、参照ピクチャメモリ102への参照ピクチャの格納や読み出し制御を制御しているが、これに限定されず、例えば第1の実施形態と同様に、参照ピクチャメモリ102への参照ピクチャの格納や読み出しを制御する参照ピクチャメモリ制御器をさらに備えるようにしてもよい。また、メモリ圧縮伸張制御器105が参照ピクチャメモリ制御器と同様の制御を行ってもよい。
【0099】
上述した第4の実施形態に係る映像符号化装置の具体的な実施例について以下説明する。
【0100】
本実施例では、メモリ圧縮器103及びメモリ伸張器104が、N画素を処理周期とし、予測誤差をMビットで符号化する差分パルス符号化変調(DPCM:Differential Pulse Code Modulation)に対応することとする。
【0101】
メモリ圧縮伸張制御器105は、DPCM圧縮及びDPCM伸張に必要な補助情報をメモリ圧縮器103、メモリ伸張器104にシグナリングする。
【0102】
メモリ圧縮伸張制御器105は、映像復号装置において、映像符号化装置と同一の参照ピクチャが得られるように、DPCM圧縮及びDPCM伸張に必要な補助情報を多重化器106に供給する。
【0103】
ここで、補助情報は、例えば、圧縮伸張処理を適用するかのフラグ、圧縮参照ピクチャメモリの参照ピクチャ枚数、非圧縮参照ピクチャメモリの参照ピクチャ枚数、非圧縮参照ピクチャメモリ容量、圧縮参照ピクチャメモリ容量、DPCM圧縮の処理周期N、予測誤差に対する符号化ビット数M、量子化代表値配列及び量子化代表値配列の数を含む。これらの補助情報は、一組だけでもよいし、輝度信号や色差信号毎に複数持ってもよい。また、補助情報は、映像シーケンス毎、フレーム毎に持ってもよい。また、補助情報の全部または一部に関しては、映像符号化装置と映像復号装置で共通の固定値を設定することもできる。
【0104】
例えば、補助情報として、映像シーケンス毎に圧縮伸張処理を適用するかのフラグmem_compression_flag、圧縮参照ピクチャメモリの参照ピクチャ枚数num_compressed_ref_picを多重化する場合を考える。ISO/IEC 14496−10 AVCのSpecification of syntax function,categories,and descriptorshの記述に準じ、図9のリストに例示するようにシーケンスパラメータに補助情報を多重化してもよい。ここでは参照ピクチャメモリの総量MemSize、非圧縮参照ピクチャのメモリ容量UCMemSizePerPic、圧縮器の圧縮率CRがシーケンスパラメータで一意に定まるとする。
【0105】
圧縮参照ピクチャメモリの参照ピクチャ枚数を多重化した場合、非圧縮参照ピクチャメモリの参照ピクチャ枚数num_uncompressed_ref_picは式8により求めることができる。
【0106】
【数8】
【0107】
このようにすることで、復号装置では、復号開始前にメモリ配置を確定することができる。この例では、圧縮参照ピクチャメモリの参照ピクチャ枚数を多重化したが、非圧縮参照ピクチャメモリの参照ピクチャ枚数num_uncompressed_ref_picを多重化してもよい。また、この例では、参照ピクチャ枚数を多重化したが、参照ピクチャメモリ容量について、非圧縮ピクチャメモリのMB数、画素数、メモリ容量等を多重化することもできる。例えば、MB数を指定する場合、対象MBを含む、最近デコードしたMB画像数を非圧縮画像として蓄積するようにしてもよい。また、直接、蓄積する非圧縮MBのMBアドレスを別途多重化してもよい。
【0108】
また、別の補助情報として、映像シーケンス毎に圧縮伸張技術を適用するかのフラグmem_compression_flag、圧縮器に指定可能な圧縮率の数、非圧縮参照ピクチャメモリの参照ピクチャ枚数num_uncompressed_ref_pic、圧縮参照ピクチャメモリの参照ピクチャ枚数num_compressed_ref_pic[]を多重化する場合のリストを図10に例示する。これにより、図9のリストと同様に異なる圧縮率を備えた圧縮器を利用する場合でも、復号装置では、復号開始前にメモリ配置を確定することができる。この例では、圧縮率の数を多重化したが、圧縮器の符号化方式が異なる場合は、符号化方式の圧縮率毎に参照ピクチャ数を多重化することもできる。
【0109】
同様に、メモリ圧縮器103及びメモリ伸張器104が、N画素を処理周期とし、予測誤差をMビットで符号化するMMSQ方式に対応するとする。ここで、補助情報は、例えば、圧縮伸張処理を適用するかのフラグ、MMSQ圧縮の処理周期N、処理周期内の最大画素値、処理周期内の最小画素値に対する符号化ビット数M、量子化代表値数パラメータLを含む。
【0110】
以上のように、第4の実施形態に係る映像符号化装置によれば、復号映像の画質劣化を低減することができる。その理由は、映像符号化装置と映像復号装置間で参照ピクチャの画素値を完全に一致させることで、参照ピクチャの差異で生じた誤差の蓄積を無くすことができるからである。
【0111】
(第5の実施形態)
次に、本発明の第5の実施形態に係る映像復号装置について説明する。本実施形態については、第1の実施形態との相違点についてのみ説明する。
【0112】
図11は、本発明の第5の実施形態に係る映像復号装置のブロック図である。第5の実施形態に係る映像復号装置は、多重化解除器207、メモリ圧縮伸張制御器208をさらに備える。
【0113】
多重化解除器207は、ビットストリームの多重化を解除して、映像ビットストリームと、圧縮及び伸張に必要な補助情報を抽出する。補助情報は、メモリ圧縮伸張制御器208に、映像ビットストリームは、映像復号器201に供給される。
【0114】
メモリ圧縮伸張制御器208は、供給される補助情報に基づいて、映像復号装置においても、映像符号化装置と同一の参照ピクチャ圧縮及び参照ピクチャ伸張を参照ピクチャに適用するように、メモリ圧縮器203及びメモリ伸張器204の動作を設定する。
【0115】
第5の実施形態に係る映像復号装置の動作について図12のフローチャートを参照して説明する。ここでは、メモリ圧縮伸張制御と、圧縮及び伸張に必要な補助情報の多重化とは符号化処理で一回のみ行う。しかし、これらの処理は、映像符号化時と同一の単位毎(フレーム単位毎や複数フレーム単位毎)に行うこともできる。第1の実施形態の図2のフローチャートと比較して、ステップS110とステップS111が追加される。この追加されたステップについて説明する。
【0116】
ステップS110において、多重化解除器207は、ビットストリームの多重化を解除して、映像ビットストリームと、圧縮及び伸張に必要な補助情報を抽出する。そして、補助情報をメモリ圧縮伸張制御器208に供給し、映像ビットストリームを映像復号器201に供給する。
【0117】
ステップS111において、メモリ圧縮伸張制御器208は、供給される補助情報に基づいて、映像復号装置においても、映像符号化装置と同一の参照ピクチャ圧縮及び参照ピクチャ伸張を参照ピクチャに適用するように、メモリ圧縮器203及びメモリ伸張器204の動作を設定する。
【0118】
本実施形態では、映像復号器201が、ビットストリームを復号した情報を用いて、参照ピクチャメモリ202への参照ピクチャの格納や読み出し制御を制御しているが、これに限定されず、例えば第1の実施形態と同様に、参照ピクチャメモリ202への参照ピクチャの格納や読み出しを制御する参照ピクチャメモリ制御器をさらに備えるようにしてもよい。また、メモリ圧縮伸張制御器208が参照ピクチャメモリ制御器と同様の制御を行ってもよい。
【0119】
以上のように、第5の実施形態に係る映像復号装置によれば、復号映像の画質劣化を低減することができる。その理由は、その理由は、映像符号化装置と映像復号装置間で参照ピクチャの画素値を完全に一致させることで、参照ピクチャの差異で生じた誤差の蓄積を無くすことができるからである。
【0120】
以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
【0121】
また、本発明は、例えば、”画素ビット長拡張による動画像符号化効率改善方式”,情報科学フォーラム2006 J‐009,2006、に記載されるような、入力映像のビット深度を伸張して映像符号化する場合に、伸張したビット深度に応じて増加する参照ピクチャメモリを削減する用途にも応用できる。
【0122】
また、本発明は、復号対象フレームの再構築画像を圧縮せずに、非圧縮参照ピクチャメモリ2021に格納したが、これに限定されず、例えば、AVCにおけるアクセスユニット内の参照ピクチャの再構築画像を圧縮せずに、非圧縮参照ピクチャメモリ2021に格納してもよい。また、AVCスケーラブル符号化におけるベースレイヤの再構築画像を圧縮せずに、非圧縮参照ピクチャメモリ2021に格納してもよい。また、AVCマルチビュー符号化におけるベースビューの再構築画像を圧縮せずに、非圧縮参照ピクチャメモリ2021に格納してもよい。
【0123】
上述した本発明の実施形態に係る映像復号装置と映像符号化装置は、プロセッサがメモリ又は記録媒体に格納された動作プログラム等を読み出して実行することにより実現されてもよく、また、ハードウェアで構成されてもよい。上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することもできる。
【0124】
本実施形態に係る映像復号装置と映像符号化装置を情報処理システムで実現した場合の構成図を図13に例示する。この情報処理システムは、プロセッサ401、プログラムメモリ402、記憶媒体403及び404を備える。プロセッサ401は、プログラムメモリ402に記憶されるプログラムを実行することにより、映像復号装置と映像符号化装置のいずれか、又は、双方の機能を実現する。記憶媒体403及び404は、別個の記憶媒体であってもよく、同一の記憶媒体であってもよい。記憶媒体は、ハードディスク、CD−ROM等の記憶媒体を含む。
【0125】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0126】
(付記1)
予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、
予測用の再構築画像が格納される第1と第2のメモリと、
前記再構築画像を圧縮する圧縮手段と、
圧縮された再構築画像を伸張する伸張手段と、
予測に基づき生成された復号対象フレームの再構築画像を前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、
を備えることを特徴とする映像復号装置。
【0127】
(付記2)
前記映像復号手段は、
予測において復号対象フレームの再構築画像を参照する場合、前記第1のメモリに格納されている再構築画像を読み出し、
前記予測において前記復号対象フレーム以外の再構築画像を参照する場合、前記第2のメモリから前記再構築画像を読み出し、前記伸張手段を介して伸張する、
ことを特徴とする付記1に記載の映像復号装置。
【0128】
(付記3)
前記映像復号手段は、予測において参照される可能性のある復号対象フレームの再構築画像を、前記第1のメモリに格納する、
ことを特徴とする付記1又は2に記載の映像復号装置。
【0129】
(付記4)
前記映像復号手段は、
参照されなくなった復号対象フレームの再構築画像を、前記第1のメモリから読み出し、前記圧縮手段を介して前記第2のメモリに圧縮データとして格納する、
ことを特徴とする付記1乃至3のいずれか1項に記載の映像復号装置。
【0130】
(付記5)
映像ビットストリームと符号化時の圧縮伸張の制御に関する動作パラメータとが多重化されたビットストリームを受信する受信手段と、
前記ビットストリームの多重化を解除して、前記映像ビットストリームと前記動作パラメータとを抽出する多重化解除手段と、
前記動作パラメータに基づいて前記圧縮手段と前記伸張手段とを制御する圧縮伸張制御手段と、
を備えることを特徴とする付記1乃至4のいずれか1項に記載の映像復号装置。
【0131】
(付記6)
予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、
予測用の再構築画像が格納される第1と第2のメモリと、
前記再構築画像を圧縮する圧縮手段と、
圧縮された再構築画像を伸張する伸張手段と、
予測に基づき生成された、復号対象フレームの再構築画像を前記第1のメモリに格納するとともに、当該復号対象フレームの再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、
を備えることを特徴とする映像復号装置。
【0132】
(付記7)
予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、
予測用の再構築画像が格納される第1と第2のメモリと、
前記再構築画像を圧縮する第1と第2の圧縮手段と、
前記第1の圧縮手段により圧縮された再構築画像を伸張する第1の伸張手段と、
前記第2の圧縮手段により圧縮された再構築画像を伸張する第2の伸張手段と、
予測に基づき生成された、復号対象フレームの再構築画像を前記第1の圧縮手段を介して圧縮して前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記第1の伸張手段を介して伸張し、当該伸張した再構築画像を前記第2の圧縮手段を介して圧縮して第2のメモリに格納し、伸張された前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納されている再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、
を備えることを特徴とする映像復号装置。
【0133】
(付記8)
入力画像を予測に基づいて映像ビットストリームへ符号化する映像符号化装置であって、
予測用の再構築画像が格納される第1と第2のメモリと、
前記再構築画像を圧縮する圧縮手段と、
圧縮された再構築画像を伸張する伸張手段と、
予測に基づき生成された符号化対象フレームの再構築画像を前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて入力画像を映像ビットストリームへ符号化する映像符号化手段と、
前記圧縮手段と前記伸張手段とを制御する圧縮伸張制御手段と、
前記映像ビットストリームと前記圧縮伸張制御手段の動作パラメータとを多重化し、ビットストリームを出力する多重化手段と、
を備えることを特徴とする映像符号化装置。
【0134】
(付記9)
前記映像符号化手段は、
予測において符号化対象フレームの再構築画像を参照する場合、前記第1のメモリに格納されている再構築画像を読み出し、
前記予測において前記符号化対象フレーム以外の再構築画像を参照する場合、前記第2のメモリから前記再構築画像を読み出し、前記伸張手段を介して伸張する、
ことを特徴とする付記8に記載の映像符号化装置。
【0135】
(付記10)
前記映像符号化手段は、予測において参照される可能性のある符号化対象フレームの再構築画像を、前記第1のメモリに格納する、
ことを特徴とする付記8又は9に記載の映像符号化装置。
【0136】
(付記11)
前記映像符号化手段は、
参照されなくなった符号化対象フレームの再構築画像を、前記第1のメモリから読み出し、前記圧縮手段を介して前記第2のメモリに圧縮データとして格納する、
ことを特徴とする付記8乃至10のいずれか1項に記載の映像符号化装置。
【0137】
(付記12)
予測に基づき生成された復号対象フレームの再構築画像を第1のメモリに格納し、
前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納し、
前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する、
ことを特徴とする映像復号方法。
【0138】
(付記13)
予測において復号対象フレームの再構築画像を参照する場合、前記第1のメモリに格納されている再構築画像を読み出し、
前記予測において前記復号対象フレーム以外の再構築画像を参照する場合、前記第2のメモリから前記再構築画像を読み出し、前記伸張手段を介して伸張する、
ことを特徴とする付記12に記載の映像復号方法。
【0139】
(付記14)
予測において参照される可能性のある前記復号対象フレームの再構築画像を、前記第1のメモリに格納する、
ことを特徴とする付記12又は13に記載の映像復号方法。
【0140】
(付記15)
参照されなくなった復号対象フレームの再構築画像を、前記第1のメモリから読み出し、前記圧縮手段を介して前記第2のメモリに圧縮データとして格納する、
ことを特徴とする付記12乃至14のいずれか1項に記載の映像復号方法。
【0141】
(付記16)
映像ビットストリームと符号化時の圧縮伸張に関する動作パラメータが多重化されたビットストリームを受信し、
前記ビットストリームの多重化を解除して、前記映像ビットストリームと前記動作パラメータとを抽出し、
前記動作パラメータに基づいて前記再構築画像の圧縮と伸張を制御する、
ことを特徴とする付記12乃至15のいずれか1項に記載の映像復号方法。
【0142】
(付記17)
予測に基づき生成された、復号対象フレームの再構築画像を第1のメモリに格納するとともに、当該復号対象フレームの再構築画像を圧縮して第2のメモリに格納し、
前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する、
ことを特徴とする映像復号方法。
【0143】
(付記18)
予測に基づき生成された、復号対象フレームの再構築画像を第1の圧縮方式により圧縮して第1のメモリに格納し、
前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を伸張し、第2の圧縮方式により圧縮して第2のメモリに格納し、
伸張された前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納されている再構築画像とを用いて前記映像ビットストリームを映像へ復号する、
ことを特徴とする映像復号方法。
【0144】
(付記19)
予測に基づき生成された符号化対象フレームの再構築画像を第1のメモリに格納し、
前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納し、
前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化し、
前記再構築画像の圧縮伸張を制御し、
前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力する、
ことを特徴とする映像符号化方法。
【0145】
(付記20)
予測において符号化対象フレームの再構築画像を参照する場合、前記第1のメモリに格納されている再構築画像を読み出し、
前記予測において前記符号化対象フレーム以外の再構築画像を参照する場合、前記第2のメモリから前記再構築画像を読み出し、前記伸張手段を介して伸張する、
ことを特徴とする付記19に記載の映像符号化方法。
【0146】
(付記21)
予測において参照される可能性のある符号化対象フレームの再構築画像を、前記第1のメモリに格納する、
ことを特徴とする付記19又は20に記載の映像符号化方法。
【0147】
(付記22)
参照されなくなった符号化対象フレームの再構築画像を、前記第1のメモリから読み出して圧縮し、前記第2のメモリに格納する、
ことを特徴とする付記19乃至21のいずれか1項に記載の映像符号化方法。
【0148】
(付記23)
コンピュータに、
予測に基づき生成された復号対象フレームの再構築画像を第1のメモリに格納する処理、
前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納する処理、
前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する処理、
を実行させるためのプログラム。
【0149】
(付記24)
コンピュータに、
予測に基づき生成された、復号対象フレームの再構築画像を第1のメモリに格納するとともに、当該復号対象フレームの再構築画像を圧縮して第2のメモリに格納する処理、
前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する処理、
を実行させるためのプログラム。
【0150】
(付記25)
コンピュータに、
予測に基づき生成された、復号対象フレームの再構築画像を第1の圧縮方式により圧縮して第1のメモリに格納する処理、
前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を伸張し、第2の圧縮方式により圧縮して第2のメモリに格納する処理、
伸張された前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納されている再構築画像とを用いて前記映像ビットストリームを映像へ復号する処理、
を実行させるためのプログラム。
【0151】
(付記26)
コンピュータに、
予測に基づき生成された符号化対象フレームの再構築画像を第1のメモリに格納する処理、
前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納する処理、
前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化する処理、
前記再構築画像の圧縮伸張を制御する処理、
前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力する処理、
を実行させるためのプログラム。
【0152】
以上、実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。この出願は、2010年7月8日に出願された日本出願特願2010−155601を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【0153】
101 映像符号化器
102 参照ピクチャメモリ
1021 非圧縮参照ピクチャメモリ
1022 圧縮参照ピクチャメモリ
103 メモリ圧縮器
104 メモリ伸張器
105 メモリ圧縮伸張制御器
106 多重化器
201 映像復号器
202 参照ピクチャメモリ
2021 非圧縮参照ピクチャメモリ
2022 圧縮参照ピクチャメモリ
203 メモリ圧縮器
204 メモリ伸張器
207 多重化解除器
208 メモリ圧縮伸張制御器
301 可変長復号器
302 スケーリング/逆量子化/逆整数変換器
303 加算器
304 インループフィルタ器
305 フレーム内予測器
306 フレーム間予測器
307 DPCMメモリ圧縮器
308 DPCMメモリ伸張器
401 プロセッサ
402 プログラムメモリ
403、404 記憶媒体
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14