特許 6042899 映像符号化方法および装置、映像復号方法および装置、それらのプログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6042899

(24)【登録日】2016年11月18日

(45)【発行日】2016年12月14日

(54)【発明の名称】映像符号化方法および装置、映像復号方法および装置、それらのプログラム及び記録媒体

(51)【国際特許分類】

   H04N 19/132 20140101AFI20161206BHJP

   H04N 19/154 20140101ALI20161206BHJP

   H04N 19/176 20140101ALI20161206BHJP

   H04N 19/597 20140101ALI20161206BHJP

【ＦＩ】

   H04N19/132

   H04N19/154

   H04N19/176

   H04N19/597

【請求項の数】53

【全頁数】35

(21)【出願番号】特願2014-538466(P2014-538466)

(86)(22)【出願日】2013年9月20日

(86)【国際出願番号】JP2013075482

(87)【国際公開番号】WO2014050741

(87)【国際公開日】20140403

【審査請求日】2014年10月23日

(31)【優先権主張番号】特願2012-211156(P2012-211156)

(32)【優先日】2012年9月25日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】杉本 志織

(72)【発明者】

【氏名】志水 信哉

(72)【発明者】

【氏名】木全 英明

(72)【発明者】

【氏名】小島 明

【審査官】 堀井 啓明

(56)【参考文献】

【文献】 特表２００７−５３２０６１（ＪＰ，Ａ）

【文献】 特開平１０−３４１４４３（ＪＰ，Ａ）

【文献】 特表２０１０−５２８５５５（ＪＰ，Ａ）

【文献】 特表２００８−５１５３５０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測復号を行う映像復号方法であって、
低解像度予測残差から仮に画像を復号した仮復号画像を生成する仮復号ステップと、
前記仮復号画像の復号値を更新することによって最終復号画像を生成する復号画像生成ステップと、
前記低解像度予測残差を有する画素を補間サンプリングする補間処理によって補間予測残差を生成する補間サンプリングステップとを有し、
前記仮復号ステップでは、前記補間予測残差に基づいて前記仮復号画像を生成し、
前記補間サンプリングステップでは、前記映像と相関を持つ補助情報をさらに参照して前記補間処理を行うことを特徴とする映像復号方法。

【請求項2】

映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測復号を行う映像復号方法であって、
低解像度予測残差から仮に画像を復号した仮復号画像を生成する仮復号ステップと、
前記仮復号画像の復号値を更新することによって最終復号画像を生成する復号画像生成ステップと、
前記低解像度予測残差を有する各画素と対応する前記仮復号画像の各画素の対応位置関係を決定する残差対応画素決定ステップとを有し、
前記仮復号ステップでは、前記対応位置関係に基づき、前記仮復号画像の画素のうち前記低解像度予測残差に対応する画素があるものを復号することにより前記仮復号画像を生成し、
前記復号画像生成ステップでは、前記低解像度予測残差の各画素と対応する前記仮復号画像の各画素の復号値を参照して、その他の画素の復号値を更新することにより前記最終復号画像を生成することを特徴とする映像復号方法。

【請求項3】

前記復号画像生成ステップでは、前記映像と相関を持つ補助情報をさらに参照して前記最終復号画像を生成することを特徴とする請求項１または２に記載の映像復号方法。

【請求項4】

前記残差対応画素決定ステップでは、前記対応位置関係を予め定められたものとすることを特徴とする請求項２に記載の映像復号方法。

【請求項5】

前記残差対応画素決定ステップでは、前記対応位置関係を適応的に決定することを特徴とする請求項２に記載の映像復号方法。

【請求項6】

前記残差対応画素決定ステップでは、前記映像と相関を持つ補助情報を参照して前記対応位置関係を適応的に決定することを特徴とする請求項２に記載の映像復号方法。

【請求項7】

前記復号画像生成ステップでは、前記映像と相関を持つ補助情報をさらに参照して前記最終復号画像を生成することを特徴とする請求項１または２に記載の映像復号方法。

【請求項8】

前記低解像度予測残差を有する画素を補間サンプリングする補間処理によって補間予測残差を生成する補間サンプリングステップをさらに有し、
前記仮復号ステップでは、前記対応位置関係に基づき、前記仮復号画像の画素のうち前記低解像度予測残差に対応する画素があるものを復号し、対応する画素がないものについて前記補間予測残差に基づいて復号することにより前記仮復号画像を生成し、
前記復号画像生成ステップでは、前記低解像度予測残差の各画素と対応する前記仮復号画像の各画素の復号値を参照して、その他の画素の復号値を更新することにより前記最終復号画像を生成することを特徴とする請求項２に記載の映像復号方法。

【請求項9】

前記残差対応画素決定ステップでは、前記対応位置関係を予め定められたものとすることを特徴とする請求項２に記載の映像復号方法。

【請求項10】

前記残差対応画素決定ステップでは、前記対応位置関係を適応的に決定することを特徴とする請求項２に記載の映像復号方法。

【請求項11】

前記残差対応画素決定ステップでは、前記映像と相関を持つ補助情報を参照して前記対応位置関係を適応的に決定することを特徴とする請求項２に記載の映像復号方法。

【請求項12】

前記復号画像生成ステップでは、前記映像と相関を持つ補助情報をさらに参照して前記最終復号画像を生成することを特徴とする請求項１または２に記載の映像復号方法。

【請求項13】

前記補助情報は、前記映像の予測画像であることを特徴とする請求項１に記載の映像復号方法。

【請求項14】

前記補助情報は、前記映像が複数の成分から成る信号である場合の一部の成分であることを特徴とする請求項１に記載の映像復号方法。

【請求項15】

前記補助情報は、前記映像と相関をもつ補助映像であることを特徴とする請求項１に記載の映像復号方法。

【請求項16】

前記補助情報は、前記映像と同一のシーンを対象とした別の映像であることを特徴とする請求項１記載の映像復号方法。

【請求項17】

前記補助情報は、前記映像が多視点映像のうちの一つの視点映像である場合における他の視点映像であることを特徴とする請求項１に記載の映像復号方法。

【請求項18】

前記補助情報は、前記映像に対応するデプスマップであることを特徴とする請求項１に記載の映像復号方法。

【請求項19】

前記補助情報は、前記映像がデプスマップである場合における対応するテクスチャであることを特徴とする請求項１に記載の映像復号方法。

【請求項20】

前記補助情報は、前記映像と相関をもつ補助映像から前記映像の予測情報に基づいて生成される補助映像予測画像であり、
前記補助映像から前記映像の予測情報に基づいて前記補助映像予測画像を生成する補助映像予測画像生成ステップを
さらに有することを特徴とする請求項１に記載の映像復号方法。

【請求項21】

前記補助情報は、前記映像と相関をもつ補助映像と補助映像予測画像から生成される補助映像予測残差であり、
前記補助映像と前記補助映像予測画像から前記補助映像予測残差を生成する補助映像予測残差生成ステップを
さらに有することを特徴とする請求項１に記載の映像復号方法。

【請求項22】

前記符号データを逆多重化し補助情報符号データと映像符号データとに分離する逆多重化ステップと、
前記補助情報符号データを復号し前記補助情報を生成する補助情報復号ステップと
をさらに有することを特徴とする請求項１に記載の映像復号方法。

【請求項23】

映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測復号を行う映像復号方法であって、
低解像度予測残差から仮に画像を復号した仮復号画像を生成する仮復号ステップと、
前記仮復号画像の復号値を更新することによって最終復号画像を生成する復号画像生成ステップとを有し、
画素毎に仮復号値を２つ持ち、いずれか１つの仮復号値を選択することを特徴とする映像復号方法。

【請求項24】

前記選択は、高解像度予測画像を参照しながら行うことを特徴とする請求項２３に記載の映像復号方法。

【請求項25】

前記選択は、予測値距離に応じた重み付けによって行うことを特徴とする請求項２３に記載の映像復号方法。

【請求項26】

映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測符号化を行う際に、高解像度予測残差をダウンサンプリングして低解像度予測残差を生成する映像符号化方法であって、
前記高解像度予測残差のうち一部の画素のみをサンプリングするサブサンプリング処理によってサブサンプリング予測残差を生成するサブサンプリングステップと
前記サブサンプリング予測残差を前記低解像度予測残差とする残差ダウンサンプリングステップと、
前記サブサンプリングステップでは、前記サンプリングする画素を適応的に決定することを特徴とする映像符号化方法。

【請求項27】

映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測符号化を行う際に、高解像度予測残差をダウンサンプリングして低解像度予測残差を生成する映像符号化方法であって、
前記高解像度予測残差のうち一部の画素のみをサンプリングするサブサンプリング処理によってサブサンプリング予測残差を生成するサブサンプリングステップと、
前記サブサンプリング予測残差を前記低解像度予測残差とする残差ダウンサンプリングステップと、
前記高解像度予測残差の画素を補間サンプリングする補間処理によって補間予測残差を生成する補間サンプリングステップとを有し、
前記残差ダウンサンプリングステップでは、前記サブサンプリング予測残差と前記補間予測残差とから前記低解像度予測残差を生成することを特徴とする映像符号化方法。

【請求項28】

前記サブサンプリングステップでは、前記映像と相関を持つ補助情報を参照して前記サンプリングする画素を適応的に決定することを特徴とする請求項２６または２７に記載の映像符号化方法。

【請求項29】

前記残差ダウンサンプリングステップでは、前記低解像度予測残差の予め定められた位置に前記サブサンプリング予測残差を当てはめ、それ以外の位置において前記補間予測残差を当てはめることで前記低解像度予測残差を生成することを特徴とする請求項２７に記載の映像符号化方法。

【請求項30】

前記残差ダウンサンプリングステップでは、前記映像と相関を持つ補助情報を参照して、前記サブサンプリング予測残差と前記補間予測残差とから前記低解像度予測残差を生成することを特徴とする請求項２７に記載の映像符号化方法。

【請求項31】

前記補助情報は、前記映像の予測画像であることを特徴とする請求項２８に記載の映像符号化方法。

【請求項32】

前記補助情報は、前記映像が複数の成分から成る信号である場合の一部の成分であることを特徴とする請求項２８に記載の映像符号化方法。

【請求項33】

前記補助情報は、前記映像と相関をもつ補助映像であることを特徴とする請求項２８に記載の映像符号化方法。

【請求項34】

前記補助情報は、前記映像と同一のシーンを対象とした別の映像であることを特徴とする請求項２８に記載の映像符号化方法。

【請求項35】

前記補助情報は、前記映像が多視点映像のうちの一つの視点映像である場合における他の視点映像であることを特徴とする請求項２８に記載の映像符号化方法。

【請求項36】

前記補助情報は、前記映像に対応するデプスマップであることを特徴とする請求項２８に記載の映像符号化方法。

【請求項37】

前記補助情報は、前記映像がデプスマップである場合における対応するテクスチャであることを特徴とする請求項２８に記載の映像符号化方法。

【請求項38】

前記補助情報は、前記映像と相関をもつ補助映像から前記映像の予測情報に基づいて生成される補助映像予測画像であり、
前記補助映像から前記映像の予測情報に基づいて前記補助映像予測画像を生成する補助映像予測画像生成ステップを
さらに有することを特徴とする請求項２８に記載の映像符号化方法。

【請求項39】

前記補助情報は、前記映像と相関をもつ補助映像と補助映像予測画像から生成される補助映像予測残差であり、
前記補助映像と前記補助映像予測画像から前記補助映像予測残差を生成する補助映像予測残差生成ステップを
さらに有することを特徴とする請求項２８に記載の映像符号化方法。

【請求項40】

前記補助情報を符号化した補助情報符号データを生成する補助情報符号化ステップと、 前記補助情報符号データを映像符号データと多重化し符号データを生成する多重化ステップと
をさらに有することを特徴とする請求項２８に記載の映像符号化方法。

【請求項41】

映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測符号化を行う際に、高解像度予測残差をダウンサンプリングして低解像度予測残差を生成する映像符号化方法であって、
前記高解像度予測残差のうち一部の画素のみをサンプリングするサブサンプリング処理によってサブサンプリング予測残差を生成するサブサンプリングステップと、
前記サブサンプリング予測残差を前記低解像度予測残差とする残差ダウンサンプリングステップとを有し、
画素毎に仮復号値を２つ持ち、いずれか１つの仮復号値を選択することを特徴とする映像符号化方法。

【請求項42】

前記選択は、高解像度予測画像を参照しながら行うことを特徴とする請求項４１に記載の映像符号化方法。

【請求項43】

前記選択は、予測値距離に応じた重み付けによって行うことを特徴とする請求項４１に記載の映像符号化方法。

【請求項44】

映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測復号を行う映像復号装置であって、
低解像度予測残差から仮に画像を復号した仮復号画像を生成する仮復号手段と、
前記仮復号画像の復号値を更新することによって最終復号画像を生成する復号画像生成手段と
前記低解像度予測残差を有する画素を補間サンプリングする補間処理によって補間予測残差を生成する補間サンプリング手段とを備え、
前記仮復号手段は、前記補間予測残差に基づいて前記仮復号画像を生成し、
前記補間サンプリング手段は、前記映像と相関を持つ補助情報をさらに参照して前記補間処理を行うことを特徴とする映像復号装置。

【請求項45】

映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測復号を行う映像復号装置であって、
低解像度予測残差から仮に画像を復号した仮復号画像を生成する仮復号手段と、
前記仮復号画像の復号値を更新することによって最終復号画像を生成する復号画像生成手段と、
前記低解像度予測残差を有する各画素と対応する前記仮復号画像の各画素の対応位置関係を決定する残差対応画素決定手段とを備え、
前記仮復号手段は、前記対応位置関係に基づき、前記仮復号画像の画素のうち前記低解像度予測残差に対応する画素があるものを復号することにより前記仮復号画像を生成し、
前記復号画像生成手段は、前記低解像度予測残差の各画素と対応する前記仮復号画像の各画素の復号値を参照して、その他の画素の復号値を更新することにより前記最終復号画像を生成することを特徴とする映像復号装置。

【請求項46】

映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測復号を行う映像復号装置であって、
低解像度予測残差から仮に画像を復号した仮復号画像を生成する仮復号手段と、
前記仮復号画像の復号値を更新することによって最終復号画像を生成する復号画像生成手段とを備え、
画素毎に仮復号値を２つ持ち、いずれか１つの仮復号値を選択することを特徴とする映像復号装置。

【請求項47】

映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測符号化を行う際に、高解像度予測残差をダウンサンプリングして低解像度予測残差を生成する映像符号化装置であって、
前記高解像度予測残差のうち一部の画素のみをサンプリングするサブサンプリング処理によってサブサンプリング予測残差を生成するサブサンプリング手段と、
前記サブサンプリング予測残差を前記低解像度予測残差とする残差ダウンサンプリング手段とを備え、
前記サブサンプリング手段は、前記サンプリングする画素を適応的に決定することを特徴とする映像符号化装置。

【請求項48】

映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測符号化を行う際に、高解像度予測残差をダウンサンプリングして低解像度予測残差を生成する映像符号化装置であって、
前記高解像度予測残差のうち一部の画素のみをサンプリングするサブサンプリング処理によってサブサンプリング予測残差を生成するサブサンプリング手段と、
前記サブサンプリング予測残差を前記低解像度予測残差とする残差ダウンサンプリング手段と、
前記高解像度予測残差の画素を補間サンプリングする補間処理によって補間予測残差を生成する補間サンプリング手段とを備え、
前記残差ダウンサンプリング手段は、前記サブサンプリング予測残差と前記補間予測残差とから前記低解像度予測残差を生成することを特徴とする映像符号化装置。

【請求項49】

映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測符号化を行う際に、高解像度予測残差をダウンサンプリングして低解像度予測残差を生成する映像符号化装置であって、
前記高解像度予測残差のうち一部の画素のみをサンプリングするサブサンプリング処理によってサブサンプリング予測残差を生成するサブサンプリング手段と、
前記サブサンプリング予測残差を前記低解像度予測残差とする残差ダウンサンプリング手段とを有し、
画素毎に仮復号値を２つ持ち、いずれか１つの仮復号値を選択することを特徴とする映像符号化装置。

【請求項50】

コンピュータに、請求項１から２５のいずれか一項に記載の映像復号方法を実行させるための映像復号プログラム。

【請求項51】

コンピュータに、請求項２６から４３のいずれか一項に記載の映像符号化方法を実行させるための映像符号化プログラム。

【請求項52】

請求項５０に記載の映像復号プログラムを記録した、コンピュータ読み取り可能な記録媒体。

【請求項53】

請求項５１に記載の映像符号化プログラムを記録した、コンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラムに関する。
本願は、２０１２年９月２５日に出願された特願２０１２−２１１１５６号に基づき優先権を主張し、その内容をここに援用する。

【背景技術】

【0002】

一般的な映像符号化においては、被写体の空間的／時間的な連続性を利用して、映像の各フレームを処理単位となるブロックに分割し、ブロック毎にその映像信号を空間的／時間的に予測し、その予測方法を示す予測情報と予測残差とを符号化することで、映像信号そのものを符号化する場合に比べて大幅な符号化効率の向上を図っている。

【0003】

ＲＲＵ（Reduced Resolution Update）は、予測残差の変換・量子化の前に画像の少なくとも一部の予測残差の解像度を低下させることで、更なる符号化効率の向上を図るものである（例えば、非特許文献１参照）。予測を高解像度基準において行い、また低解像度の予測残差に対して復号時にアップサンプリングプロセスを適用するために、最終的な画像は高解像度で再構成できる。
このプロセスの結果、客観的な品質は低下するが、符号化対象ビットの減少により結果的にビットレートが向上する。また、主観品質に対する影響は客観品質に対する影響と比較して大きくない。

【0004】

この機能はＩＴＵ−Ｔ Ｈ．２６３標準によりサポートされており、シーケンス内に激しい動的領域が存在する場合に特に有効であることが知られている。これは、ＲＲＵモードを利用することによりエンコーダのフレームレートを高く維持することができ、一方で静的領域等の予測残差の分散が少ない領域の解像度と品質を良好に保つことが出来るためである。
しかしながら、動的領域等、予測残差の分散が大きい領域の品質は予測残差のアップサンプリング精度に大きく影響を受けるという問題がある。したがって、このような問題点を解消することができるＲＲＵ映像符号化及び復号化のための方法及び装置を有することが、望ましくかつ効果的である。

【0005】

ここで、自由視点映像符号化について説明する。自由視点映像とは、対象シーンを多数の撮像装置を用いて様々な位置・角度から撮像することでシーンの光線情報を取得し、これを元に任意の視点における光線情報を復元することで任意の視点から見た映像を生成するものである。
シーンの光線情報は様々なデータ形式によって表現されるが、最も一般的な形式としては、映像とその映像の各フレームにおけるデプスマップと呼ばれる奥行き画像を用いる方式がある（例えば、非特許文献２参照）。

【0006】

デプスマップとは、カメラから被写体までの距離（奥行き・デプス）を画素毎に記述したものであり、被写体のもつ３次元情報の簡易な表現である。２つのカメラから同一の被写体を観測するとき、被写体のデプス値はカメラ間の視差の逆数に比例するために、デプスマップはディスパリティマップ（視差画像）と呼ばれることもある。
これに対して、デプスマップの対応するカメラの映像のことをテクスチャと呼ぶこともある。デプスマップは画像の各画素につき一つの値を持つ表現であるために、グレースケール画像とみなして記述することができる。
また、デプスマップの時間的に連続した記述であるデプスマップ映像（以下では画像／映像の区別なしにデプスマップと呼ぶ）は、映像信号と同様に、被写体の空間的／時間的な連続性から、空間的・時間的相関を持つと言える。
したがって、通常の映像信号を符号化するために用いられる映像符号化方式によって、空間的／時間的冗長性を取り除きながらデプスマップを効率的に符号化することが可能である。

【0007】

一般にテクスチャとデプスマップの間には高い相関があり、そのため自由視点映像符号化のようにテクスチャとデプスマップを合わせて符号化する場合には、両者の間の相関を利用して更なる符号化効率の向上が実現できる。
非特許文献３では、両者の符号化に用いる予測情報（ブロック分割、動きベクトル、参照フレーム）を共通化することで冗長性を排除し、効率的な符号化を実現している。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】A.M. Tourapis, J. Boyce, “Reduced Resolution Update Mode for Advanced Video Coding”, ITU-T Q6/SG16, document VCEG-V05, Munich, March 2004.

【非特許文献2】Y. Mori, N. Fukusima, T. Fuji, and M. Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV ",In Proceedings of 3DTV-CON2008, pp. 229-232, May 2008.

【非特許文献3】I. Daribo, C. Tillier, and B. P. Popescu, "Motion Vector Sharing and Bitrate Allocation for 3D Video-Plus-Depth Coding," EURASIP Journal onAdvances in Signal Processing, vol. 2009, Article ID 258920, 13 pages, 2009.

【発明の概要】

【発明が解決しようとする課題】

【0009】

従来のＲＲＵは、ブロック外からのいずれかの情報も利用することなく、各ブロックの予測残差を処理する。低解像度予測残差は高解像度予測残差からサンプルの相対的位置に基づくダウンサンプリング補間（二次元バイリニア補間など）を利用して計算される。復号化されたブロックを取得するためには、当該低解像度予測残差が符号化、再構成、アップサンプリング補間によって高解像度予測残差として復元され、予測画像に加えられる。

【0010】

図１５Ａ，１５Ｂは、従来のＲＲＵについての高解像度予測残差サンプルに対する低解像度予測残差サンプルの空間配置と、アップサンプリング補間を行うための計算例を示す図である。
これら各図において、白丸は高解像度予測残差サンプルの配置を示し、斜線付きの丸は、低解像度予測残差サンプルの配置を示す。また、各丸内の文字ａ〜ｅ、Ａ〜Ｄは画素値の例であり、高解像度予測残差サンプルの画素値ａ〜eの各々が、周囲の低解像度予測残差サンプルの画素値Ａ〜Ｄからどのように算出されるかを図内に示している。
２つ以上の残差値が互いに大きく異なるサンプルを含むブロックにおいては、このアップサンプリングに伴う補間によって再構成された残差の精度が落ち、復号画像の品質を低下させる。また、一般にブロック境界部のアップサンプリングにはブロック内のサンプルのみを利用し、異なるブロックのサンプルは参照しない。このため、補間精度によってはブロック境界部にブロック歪（ブロック境界付近に特有の歪）が発生することがある。

【0011】

こうした品質低下や歪みを回避するためには、残差のアップサンプリング補間に用いる補間フィルタを改善するという方法が考えられるが、ダウンサンプリング補間によって損失した残差情報を完全に復元することは一般的には困難であるという問題ある。

【0012】

本発明は、このような事情に鑑みてなされたもので、ＲＲＵにおける予測残差アップサンプリングによる復号画像の品質低下やブロック歪みを回避し、最終的に得られる復号画像を全解像度かつよい品質で再構成することができる映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラムを提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明は、映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測復号を行う映像復号方法であって、低解像度予測残差から仮に画像を復号した仮復号画像を生成する仮復号ステップと、前記仮復号画像の復号値を更新することによって最終復号画像を生成する復号画像生成ステップとを有する映像復号方法を提供する。

【0014】

好適例では、前記低解像度予測残差を有する（当該残差が設定された）画素を補間サンプリングする補間処理によって補間予測残差を生成する補間サンプリングステップをさらに有し、前記仮復号ステップでは、前記補間予測残差に基づいて前記仮復号画像を生成することを特徴とする。

【0015】

この場合、前記補間サンプリングステップでは、前記映像と相関を持つ補助情報をさらに参照して前記補間処理を行うようにしても良い。

【0016】

また、前記復号画像生成ステップでは、前記映像と相関を持つ補助情報をさらに参照して前記最終復号画像を生成するようにしても良い。

【0017】

別の好適例では、前記低解像度予測残差を有する各画素と対応する前記仮復号画像の各画素の対応位置関係を決定する残差対応画素決定ステップをさらに有し、前記仮復号ステップでは、前記対応位置関係に基づき、前記仮復号画像の画素のうち前記低解像度予測残差に対応する画素があるものを復号することにより前記仮復号画像を生成し、前記復号画像生成ステップでは、前記低解像度予測残差の各画素と対応する前記仮復号画像の各画素の復号値を参照して、その他の画素の復号値を更新することにより前記最終復号画像を生成することを特徴とする。

【0018】

この場合、前記残差対応画素決定ステップでは、前記対応位置関係を予め定められたものとしても良い。

【0019】

また、前記残差対応画素決定ステップでは、前記対応位置関係を適応的に決定するようにしても良い。

【0020】

この場合、前記残差対応画素決定ステップでは、前記映像と相関を持つ補助情報を参照して前記対応位置関係を適応的に決定するようにしても良い。

【0021】

また、前記復号画像生成ステップでは、前記映像と相関を持つ補助情報をさらに参照して前記最終復号画像を生成するようにしても良い。

【0022】

また、前記低解像度予測残差を有する画素を補間サンプリングする補間処理によって補間予測残差を生成する補間サンプリングステップをさらに有し、前記仮復号ステップでは、前記対応位置関係に基づき、前記仮復号画像の画素のうち前記低解像度予測残差に対応する画素があるものを復号し、対応する画素がないものについて前記補間予測残差に基づいて復号することにより前記仮復号画像を生成し、前記復号画像生成ステップでは、前記低解像度予測残差の各画素と対応する前記仮復号画像の各画素の復号値を参照して、その他の画素の復号値を更新することにより前記最終復号画像を生成するようにしても良い。

【0023】

この場合、前記残差対応画素決定ステップでは、前記対応位置関係を予め定められたものとしても良い。

【0024】

また、前記残差対応画素決定ステップでは、前記対応位置関係を適応的に決定するようにしても良い。

【0025】

この場合、前記残差対応画素決定ステップでは、前記映像と相関を持つ補助情報を参照して前記対応位置関係を適応的に決定するようにしても良い。

【0026】

また、前記復号画像生成ステップでは、前記映像と相関を持つ補助情報をさらに参照して前記最終復号画像を生成するようにしても良い。

【0027】

典型例として、前記補助情報は、前記映像の予測画像である。

【0028】

別の典型例として、前記補助情報は、前記映像が複数の成分から成る信号である場合の一部の成分である。

【0029】

別の典型例として、前記補助情報は、前記映像と相関をもつ補助映像であることを特徴とする。

【0030】

この場合、前記補助映像は、前記映像と同一のシーンを対象とした別の映像であっても良い。

【0031】

また、前記補助映像は、前記映像が多視点映像のうちの一つの視点映像である場合における他の視点映像であっても良い。

【0032】

また、前記補助映像は、前記映像に対応するデプスマップであっても良い。

【0033】

また、前記補助映像は、前記映像がデプスマップである場合における対応するテクスチャであっても良い。

【0034】

別の典型例として、前記補助情報は、前記映像と相関をもつ補助映像から前記映像の予測情報に基づいて生成される補助映像予測画像であり、前記補助映像から前記映像の予測情報に基づいて前記補助映像予測画像を生成する補助映像予測画像生成ステップをさらに有するようにしても良い。

【0035】

この場合、前記補助情報は、前記補助映像と前記補助映像予測画像から生成される補助映像予測残差であり、前記補助映像と前記補助映像予測画像から前記補助映像予測残差を生成する補助映像予測残差生成ステップをさらに有するようにしても良い。

【0036】

別の典型例として、前記符号データを逆多重化し補助情報符号データと映像符号データとに分離する逆多重化ステップと、前記補助情報符号データを復号し前記補助情報を生成する補助情報復号ステップとをさらに有するようにしても良い。

【0037】

本発明はまた、映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測符号化を行う際に、高解像度予測残差をダウンサンプリングして低解像度予測残差を生成する映像符号化方法であって、前記高解像度予測残差のうち一部の画素のみをサンプリングするサブサンプリング処理によってサブサンプリング予測残差を生成するサブサンプリングステップと前記サブサンプリング予測残差を前記低解像度予測残差とする残差ダウンサンプリングステップとを有する映像符号化方法も提供する。

【0038】

好適例では、前記サブサンプリングステップでは、前記サンプリングする画素を予め定められた位置の画素とすることを特徴とする。

【0039】

別の好適例では、前記サブサンプリングステップでは、前記サンプリングする画素を適応的に決定することを特徴とする。

【0040】

この場合、前記サブサンプリングステップでは、前記映像と相関を持つ補助情報を参照して前記サンプリングする画素を適応的に決定するようにしても良い。

【0041】

別の好適例では、前記高解像度予測残差の画素を補間サンプリングする補間処理によって補間予測残差を生成する補間サンプリングステップをさらに有し、前記残差ダウンサンプリングステップでは、前記サブサンプリング予測残差と前記補間予測残差とから前記低解像度予測残差を生成することを特徴とする。

【0042】

この場合、前記残差ダウンサンプリングステップでは、前記低解像度予測残差の予め定められた位置に前記サブサンプリング予測残差を当てはめ、それ以外の位置において前記補間予測残差を当てはめることで前記低解像度予測残差を生成するようにしても良い。

【0043】

また、前記残差ダウンサンプリングステップでは、前記映像と相関を持つ補助情報を参照して、前記サブサンプリング予測残差と前記補間予測残差とから前記低解像度予測残差を生成するようにしても良い。

【0044】

典型例として、前記補助情報は、前記映像の予測画像である。

【0045】

別の典型例として、前記補助情報は、前記映像が複数の成分から成る信号である場合の一部の成分である。

【0046】

別の典型例として、前記補助情報は、前記映像と相関をもつ補助映像である。

【0047】

この場合、前記補助映像は、前記映像と同一のシーンを対象とした別の映像であっても良い。

【0048】

また、前記補助映像は、前記映像が多視点映像のうちの一つの視点映像である場合における他の視点映像であっても良い。

【0049】

また、前記補助映像は、前記映像に対応するデプスマップであっても良い。

【0050】

また、前記補助映像は、前記映像がデプスマップである場合における対応するテクスチャであっても良い。

【0051】

別の典型例として、前記補助情報は、前記映像と相関をもつ補助映像から前記映像の予測情報に基づいて生成される補助映像予測画像であり、前記補助映像から前記映像の予測情報に基づいて前記補助映像予測画像を生成する補助映像予測画像生成ステップをさらに有するようにしても良い。

【0052】

この場合、前記補助情報は、前記補助映像と前記補助映像予測画像から生成される補助映像予測残差であり、前記補助映像と前記補助映像予測画像から前記補助映像予測残差を生成する補助映像予測残差生成ステップをさらに有するようにしても良い。

【0053】

別の典型例として、前記補助情報を符号化した補助情報符号データを生成する補助情報符号化ステップと、前記補助情報符号データを映像符号データと多重化し符号データを生成する多重化ステップとをさらに有するようにしても良い。

【0054】

本発明はまた、映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測復号を行う映像復号装置であって、低解像度予測残差から仮に画像を復号した仮復号画像を生成する仮復号手段と、前記仮復号画像の復号値を更新することによって最終復号画像を生成する復号画像生成手段とを備える映像復号装置も提供する。

【0055】

本発明はまた、映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測符号化を行う際に、高解像度予測残差をダウンサンプリングして低解像度予測残差を生成する映像符号化装置であって、前記高解像度予測残差のうち一部の画素のみをサンプリングするサブサンプリング処理によってサブサンプリング予測残差を生成するサブサンプリング手段と、前記サブサンプリング予測残差を前記低解像度予測残差とする残差ダウンサンプリング手段とを備える映像符号化装置も提供する。

【0056】

本発明は、コンピュータに、前記映像復号方法を実行させるための映像復号プログラムも提供する。

【0057】

本発明は、コンピュータに、前記映像符号化方法を実行させるための映像符号化プログラムも提供する。

【0058】

本発明は、前記映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体も提供する。

【0059】

本発明は、前記映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体も提供する。

【発明の効果】

【0060】

本発明によれば、ＲＲＵにおける予測残差アップサンプリングによる復号画像の品質低下やブロック歪みを回避し、最終復号画像を全解像度かつよい品質で再構成することができるという効果が得られる。

【図面の簡単な説明】

【0061】

【図1】本発明の第１実施形態による映像符号化装置１００の構成を示すブロックである。

【図2】図１に示す映像符号化装置１００の動作を示すフローチャートである。

【図3】同第１実施形態による映像復号装置２００の構成を示すブロック図である。

【図4】図３に示す映像復号装置２００の動作を示すフローチャートである。

【図5】本発明の第２実施形態による映像符号化装置１００ａの構成を示すブロック図である。

【図6】図５に示す映像符号化装置１００ａの動作を示すフローチャートである。

【図7】同第２実施形態による映像復号装置２００ａの構成を示すブロック図である。

【図8】図７に示す映像復号装置２００ａの動作を示すフローチャートである。

【図9】本発明の第３実施形態による映像符号化装置１００ｂの構成を示すブロック図である。

【図10】図９に示す映像符号化装置１００ｂの動作を示すフローチャートである。

【図11】同第３実施形態による映像復号装置２００ｂの構成を示すブロック図である。

【図12】図１１に示す映像復号装置２００ｂの動作を示すフローチャートである。

【図13】映像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図である。

【図14】映像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図である。

【図15A】従来のＲＲＵについての高解像度予測残差サンプルに対する低解像度予測残差サンプルの空間配置と、アップサンプリング補間を行うための計算例を示す図である。

【図15B】従来のＲＲＵについての高解像度予測残差サンプルに対する低解像度予測残差サンプルの空間配置と、アップサンプリング補間を行うための、別の計算例を示す図である。

【発明を実施するための形態】

【0062】

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像符号化装置及び映像復号装置を説明する。
始めに映像符号化装置について説明する。図１は同実施形態による映像符号化装置の構成を示すブロック図である。
映像符号化装置１００は、図１に示すように、符号化対象映像入力部１０１、入力フレームメモリ１０２、予測部１０３、減算部１０４、残差ダウンサンプル部１０５、変換・量子化部１０６、逆量子化・逆変換部１０７、仮復号部１０８、アップデート部１０９、ループフィルタ部１１０、参照フレームメモリ１１１及びエントロピー符号化部１１２を備えている。

【0063】

符号化対象映像入力部１０１は、符号化対象となる映像を映像符号化装置１００に入力する。以下では、この符号化対象となる映像のことを符号化対象映像と呼び、特に処理を行うフレームを符号化対象フレームまたは符号化対象画像と呼ぶ。
入力フレームメモリ１０２は、入力した符号化対象映像を記憶する。
予測部１０３は、入力フレームメモリ１０２に記憶された符号化対象画像に対して予測処理を行い、高解像度予測画像を生成する。
減算部１０４は、入力フレームメモリ１０２に記憶された符号化対象画像と予測部１０３が生成した高解像度予測画像の差分値をとり、高解像度予測残差を生成する。
残差ダウンサンプル部１０５は、生成した高解像度予測残差をダウンサンプリングし低解像度予測残差を生成する。
変換・量子化部１０６は、生成された低解像度予測残差を変換・量子化し、量子化データを生成する。
逆量子化・逆変換部１０７は、生成された量子化データを逆量子化・逆変換し、復号低解像度予測残差を生成する。

【0064】

仮復号部１０８は、予測部１０３が出力した高解像度予測画像と、逆量子化・逆変換部１０７が出力した復号低解像度予測残差とから、仮復号画像を生成する。
アップデート部１０９は、仮復号画像をアップデートし、高解像度復号画像を生成する。
ループフィルタ部１１０は、生成された高解像度復号画像（復号フレーム）にループフィルタをかけ、参照フレームを生成する。
参照フレームメモリ１１１は、ループフィルタ部１１０が生成した参照フレームを記憶する。
エントロピー符号化部１１２は、量子化データと予測情報をエントロピー符号化し、符号データ（または符号化データ）を生成して出力する。

【0065】

次に、図２を参照して、図１に示す映像符号化装置１００の動作を説明する。図２は、図１に示す映像符号化装置１００の動作を示すフローチャートである。
ここでは符号化対象映像中のある１フレームを符号化する処理について説明する。当該処理をフレームごとに繰り返すことで、映像（動画像）を符号化することができる。

【0066】

まず、符号化対象映像入力部１０１は符号化対象フレームを映像符号化装置１００に入力し、入力フレームメモリ１０２に記憶する（ステップＳ１）。なお、符号化対象映像中の幾つかのフレームは既に符号化されているものとし、その復号フレームが参照フレームメモリ１１１に記憶されているものとする。
映像入力の後、符号化対象フレームを符号化対象ブロックに分割し、ブロック毎に符号化対象フレームの映像信号を符号化するルーチンを行なう（ステップＳ２）。すなわち、以下のステップＳ３〜Ｓ１０までの処理を、フレーム内の全てのブロックが順次処理されるまで、繰り返し実行する。

【0067】

符号化対象ブロックごとに繰り返される処理では、まず、予測部１０３が、符号化対象フレーム及び参照フレームを用いて何れかの予測処理を行い、予測画像を生成する（ステップＳ３）。以下では、この予測画像のことを区別のために高解像度予測画像と呼ぶ。
予測方法は、復号側で予測情報などを使用して正しく高解像度予測画像を生成できるのであれば、どのような方法でも構わない。一般的な映像符号化では、画面内予測や動き補償などの予測方法を用いる。また、一般にはこのとき用いる予測情報を符号化し映像符号データと多重化するが、特に予測情報を用いずに予測が行えるのであれば当該多重化は行わなくても構わない。

【0068】

次に、減算部１０４は、高解像度予測画像と符号化対象画像との差分を取り、予測残差を生成する（ステップＳ４）。以下では、この予測残差のことを区別のために高解像度予測残差と呼ぶ。
高解像度予測残差の生成が終了したら、残差ダウンサンプル部１０５は、高解像度予測残差のダウンサンプリングを実行し、低解像度予測残差を生成する（ステップＳ５）。このときのダウンサンプリング方法は、どのような方法を用いても構わない。

【0069】

ここで、従来のＲＲＵの抱える問題の１つである、残差値の平均化による損失を回避するダウンサンプリング方法と、対応する復号画像アップデートの方法について説明する。
簡単のため、縦横１／ｎずつにダウンサンプリングする場合、高解像度残差のｎ×ｎの画素の組に対し何らかの処理を行なって低解像度残差の画素を１つ求めることとする。
一般のＲＲＵでは、組の残差の平均をとるなど、何らかのダウンサンプリング補間による補間値を低解像度残差の値として持ち、復号時にはこの補間値をｎ×ｎにアップサンプリング補間し、それぞれの画素の残差値とすることで高解像度残差を生成し、予測画像と足し合わせることで復号画像を得る。
この場合、全体的に予測の当たっている組では残差の分散が少なく、補間値を用いることによる影響は少ない。

【0070】

一方、一部予測が外れている組では残差の分散が大きく、補間値を用いることにより全体的に誤差が生じることになる。
これに対して、例えば高解像度予測残差の特定の位置の残差を残すサブサンプル処理によって低解像度予測残差を生成することで、後述する仮復号の時点で特定の位置では正しい復号画像を得ることができる。この方法では、この特定の位置の正しい復号画素値を参照し、周辺の復号画素の復号値のアップデートを行うことが出来る。詳しいアップデート方法は後述する。

【0071】

サブサンプル位置（予測残差が残される位置）は、予め定められた位置でも構わないし、復号時に特定可能であれば適応的に決定しても構わない。
例えば、ｎ×ｎ内の左上や右下など決まった位置の画素をサブサンプルする場合も考えられるし、ｎ×ｎの組ごとに違う位置の画素をサブサンプルする場合も考えられる。
あるいは、ｎ×ｎの組ごとに最も予測の外れている画素、つまり残差最大の画素のみをサブサンプルする方法なども適用できる。この場合、復号側で残差最大になりうる位置を推定しても構わないし、後述の方法と組み合わせてサブサンプル位置を決定してもかまわない。

【0072】

また、高解像度予測画像やその他の情報を参照してサブサンプル位置を決定しても構わない。
具体的には、高解像度予測画像を参照して処理領域内の残差が集中する領域を推定し、その領域中心にサブサンプル位置を決定する方法などが適用できる。この場合、予測画像における輪郭部に残差が集中すると仮定して、予測画像の輪郭周辺をサブサンプルしてもよいし、他の推定方法でも構わない。

【0073】

または、残差の分散の大きい領域ではサブサンプル位置が疎である場合に損失が大きくなる可能性があるとして、残差の分散の大きい領域を推定し、その領域において密にサブサンプルされるようにサブサンプル位置を決定するという方法も適用できる。
この場合例えば、前述の例のように予測画像の特徴によって領域を推定しても構わないし、あるいは処理領域毎に予め定められた数だけは予め定められた位置でサブサンプルを行い、そののちにそのサブサンプルされた残差値の分散を取り、分散が大きいと見られる領域においてさらに密にサブサンプルされるように追加のサブサンプル位置を決定するという方法も適用できる。

【0074】

また、上記の方法を組み合わせても構わない。
例えば、予測画像の輪郭部周辺で予め定められた数だけサブサンプルを行い、そののちにそのサブサンプルされた残差値の分散を取り、分散が大きいと見られる領域においてさらに密にサブサンプルされるように追加のサブサンプル位置を決定するという方法も適用できる。

【0075】

また、サブサンプル位置を符号化して符号データに含めても構わないし、処理領域ごとのサブサンプル位置パターンを予め定めても構わないし、そのパターンの識別情報を符号化して符号データに含めても構わない。
また別の方法として、生成される低解像度予測残差の一部の位置の画素については高解像度予測残差の残差値をサブサンプルすることで生成し、別の位置の画素については高解像度予測残差の複数の残差値（残差値の組）から補間により生成する方法などが適用できる。
ここで、組内の画素の残差値が全てある閾値以下である場合には、組内の画素の残差値を補間して低解像度予測残差とするなどの方法が適用できる。この場合、復号側で低解像度予測残差の残差値が閾値以下である場合には、組内のすべての画素にこの閾値の残差を対応付けるといった復号方法などが可能である。
このときの仮復号と復号画像アップデートはどのような方法を用いても構わない。詳しい仮復号方法とアップデート方法は後述する。

【0076】

次に、変換・量子化部１０６は、低解像度予測残差を変換・量子化し、量子化データを生成する（ステップＳ６）。この変換・量子化は、復号側で正しく逆量子化・逆変換できるものであればどのような方法を用いても構わない。
続いて、変換・量子化が終了したら、逆量子化・逆変換部１０７は、量子化データを逆量子化・逆変換し、復号低解像度予測残差を生成する（ステップＳ７）。

【0077】

次に、仮復号部１０８は、上記ステップＳ３で生成された高解像度予測画像と、上記ステップＳ７で生成された復号低解像度予測残差とから、仮復号画像を生成する（ステップＳ８）。
仮復号画像の生成は、どのような方法を用いても構わない。
例えば、復号低解像度予測残差の各画素と、それに対応する高解像度予測画像の画素とを足しあわせることで生成する方法が適用できる。この場合の対応関係は１対１でも構わないし、１対多でも構わない。
例えば、高解像度予測残差のサブサンプルによって生成された残差値は、サブサンプル位置の画素と一対一対応するとしてもよいし、同じ組の他の画素にも対応するとしてもよい。あるいは、高解像度予測残差の補間によって生成された残差値は、補間に用いた画素全てに対応するとしても良い。他にどのような対応関係でも構わない。
また、二種類以上の対応関係の種類が混在する場合も適用できる。
例えば、前述のように低解像度予測残差の画素のうち一部の画素についてはサブサンプル処理によって残差値を決定し、また別の画素については補間によって残差値を決定する場合などが考えられる。

【0078】

また、この対応関係を、予め定められた対応関係として決定しても構わないし、前述のように高解像度予測画像やその他の情報を参照して決定しても構わない。あるいは、符号化された対応関係を示す情報に基づいて決定しても構わない。
また、生成される仮復号画像において、対応する低解像度予測残差の画素を持たない仮復号画素の仮復号値は、予測値を使用しても構わないし、あるいは低解像度予測残差と対応する画素の仮復号値を補間して生成しても構わないし、特に仮復号値を設けなくても構わない。
あるいは、低解像度予測残差からアップサンプル補間によって高解像度予測残差を生成し、高解像度予測画像と足し合わせることで仮復号画像を生成しても構わない。
また、仮復号においては低解像度予測残差の一部の画素のみを使用して仮復号を行っても構わない。例えばサブサンプル残差値の対応する画素についてのみ復号を行い、復号画像アップデートにおいては補間される残差値を参照しながら、残り全ての画素についてアップデートを行なうといった方法が適用できる。

【0079】

次に、仮復号が終了したら、アップデート部１０９は、仮復号画像の仮復号値のアップデート（更新）を行い、高解像度復号画像を生成する。また、ループフィルタ部１１０は、ループフィルタをかけた後に、参照フレームのブロックとして参照フレームメモリ１１１に記憶する（ステップＳ９）。アップデート方法はどのような方法を用いても構わない。

【0080】

ここでは、ダウンサンプルにおいて予測残差値をサブサンプルして符号化した場合の、仮復号において一部の画素については正しい復号値がえられる場合のアップデート方法を説明する。また、この仮復号において正しい復号値が得られている画素のことを既復号画素と呼び、この画素については更新を行わないものとする。またこのとき、既復号画素以外の画素を仮復号画素と呼ぶ。

【0081】

最も単純な方法では、単に既復号画素の補間によって仮復号画素の復号値を決める方法が適用できる。
また例えば、この既復号画素の補間値を第１の仮復号値とし、既復号画素の残差値（復号低解像度予測残差）の補間値を仮復号画素の予測値と足しあわせたものを第２の仮復号値とし、両者を比較して尤もらしいものを選択するといった方法も適用できる。
選択はどのように行なっても構わない。例えば残差の平均化による損失としてよく見られるノイズが発生する部分においては第１仮復号値を選択する等の方法が適用できる。

【0082】

また、選択に際して、高解像度予測画像やその他の情報を使用しても構わない。
高解像度予測画像を参照しながら、仮復号画素の尤もらしい復号値を決定するような方法は、様々なものが適用できる。
例えば、隣接する既復号画素同士の残差値の差分が大きく、残差補間や復号値補間によって復号値を決定しては平均化に伴う損失が顕著であるような場合に、仮復号画素と周囲の隣接既復号画素との予測値距離（予測値の差）を比較し、近い方（差が少ない方）の隣接既復号画素の残差や復号値に基づいて仮復号画素の復号値を決定するという方法も適用できる。
あるいは、予測値距離に応じた重み付けによって復号値を決定しても構わない。あるいは、隣接よりもさらに広い範囲で推測を行なっても構わない。

【0083】

また、ダウンサンプルにおいてサブサンプル位置を高解像度予測画像を参照して適応的に決定している場合で、高解像度予測画像の輪郭部分などにおいてサンプリング密度を高くとっている場合、上記の方法やその他の方法で周辺の既復号画素を参照してアップデートを行い、サンプリング密度が低い部分では代表の既復号画素を参照してアップデートを行うなどの方法が適用できる。代表画素は予め定められた位置の画素でも構わないし、適応的に決定しても構わない。
例えば、アップデート対象の仮復号画素と最も距離の近い既復号画素を参照しても構わないし、仮復号画素の値から参照すべき既復号画素を決定しても構わない。その他にも、サブサンプル位置の決定方法に応じて様々なアップデート方法が適用できる。

【0084】

さらに、ダウンサンプルにおいて一部の予測残差値をサブサンプルし、一部の予測残差値を補間して符号化した場合などには、例えばアップデート対象の仮復号画素の仮復号値が補間残差に基づいて与えられ、サブサンプル残差に基づいて既復号画素が与えられるとき、仮復号値と周辺の既復号画素から上記の方法やその他の方法で求められる値とを比較して尤もらしい方を選択する方法なども適用できる。
その他にも、サブサンプルと補間の組み合わせ方などに応じて様々なアップデート方法が適用できる。

【0085】

上記の例では、予測値や残差値や仮復号値等を用いて推定を行なっているが、他に映像符号データに含まれる何れの参照可能な値を用いても構わない。
例えば、動き補償や視差補償により予測を行なっている場合に、動きベクトルや視差ベクトルを用いる場合などが考えられる。あるいはＹＣｂＣｒの輝度成分に対しＲＲＵを施す場合に、色差成分を参照して復号を行っても構わないし、逆でも構わない。

【0086】

以上は復号画像アップデート方法の例であるが、何れも上記の例に限定されるものではなく、ほかに任意の方法を用いることができる。
ループフィルタは必要がなければ特にかけなくてもかまわないが、通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。もしくは、ＲＲＵによる劣化を除去するためのフィルタを使用してもよい。また、このループフィルタを、復号画像アップデートと同様に、又は同時に適応的に生成してもよい。

【0087】

次に、エントロピー符号化部１１２は、量子化データをエントロピー符号化し符号データを生成する（ステップＳ１０）。必要であれば、予測情報やその他の付加情報も符号化し符号データに含めても構わない。
全てのブロックについて処理が終了したら（ステップＳ１１）、符号データを出力する。

【0088】

次に、映像復号装置について説明する。図３は、本発明の第１実施形態による映像復号装置の構成を示すブロック図である。
映像復号装置２００は、図３に示すように、符号データ入力部２０１、符号データメモリ２０２、エントロピー復号部２０３、逆量子化・逆変換部２０４、予測部２０５、仮復号部２０６、アップデート部２０７、ループフィルタ部２０８及び参照フレームメモリ２０９を備えている。

【0089】

符号データ入力部２０１は、復号対象となる映像符号データを映像復号装置２００に入力する。この復号対象となる映像符号データのことを復号対象映像符号データと呼び、特に処理を行うフレームを復号対象フレームまたは復号対象画像と呼ぶ。
符号データメモリ２０２は、入力した復号対象映像符号データを記憶する。
エントロピー復号部２０３は、復号対象フレームの符号データをエントロピー復号し、量子化データを生成する。
逆量子化・逆変換部２０４は、当該量子化データに逆量子化／逆変換を施して復号低解像度予測残差を生成する。

【0090】

予測部２０５は、復号対象画像に対して予測処理を行い、高解像度予測画像を生成する。
仮復号部２０６は、逆量子化・逆変換部２０４で生成された復号低解像度予測残差と、予測部２０５で生成された高解像度予測画像とを足しあわせ、仮復号画像を生成する。
このとき、上記のように適応的にサブサンプル位置を決定している場合には、ここでも同様の方法を用いて低解像度予測残差の高解像度における対応位置を決定して構わない。
アップデート部２０７は、予測部２０５が出力する高解像度予測画像から（手法によっては復号低解像度予測残差も使用）、仮復号画像の未復号画素をアップデートし、高解像度復号画像を生成する。
ループフィルタ部２０８は、生成された復号フレーム（高解像度復号画像）にループフィルタをかけ、参照フレームを生成する。
参照フレームメモリ２０９は、生成された参照フレームを記憶する。

【0091】

次に、図４を参照して、図３に示す映像復号装置２００の動作を説明する。図４は、図３に示す映像復号装置２００の動作を示すフローチャートである。
ここでは符号データ中のある１フレームを復号する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の復号が実現できる。

【0092】

まず、符号データ入力部２０１は符号データを入力し、符号データメモリ２０２に記憶する（ステップＳ２１）。なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、参照フレームメモリ２０９に記憶されているものとする。

【0093】

次に、復号対象フレームを対象ブロックに分割し、ブロック毎に復号対象フレームの映像信号を復号するルーチンを行なう（ステップＳ２２）。すなわち、以下のステップＳ２３〜Ｓ２７までの処理を、フレーム内の全てのブロックが順次処理されるまで、繰り返し実行する。
復号対象ブロックごとに繰り返される処理では、まず、エントロピー復号部２０３は符号データをエントロピー復号し、逆量子化・逆変換部２０４はで逆量子化・逆変換を行い、復号低解像度予測残差を生成する（ステップＳ２３）。
予測情報やその他の付加情報が符号データに含まれる場合は、それらも復号し、適宜必要な情報を生成しても構わない。

【0094】

次に、予測部２０５は、復号対象ブロック及び参照ブロック（あるいは参照フレーム）を用いて予測処理を行い、高解像度予測画像を生成する（ステップＳ２４）。
一般的な映像符号化では、画面内予測や動き補償などの予測方法を用い、このとき用いる予測情報が映像符号データと多重化されているが、特に予測情報を用いずに予測が行えるのであれば、係る予測情報は無くても構わない。

【0095】

次に、仮復号部２０６は、上記ステップＳ２４で生成された高解像度予測画像に、上記ステップＳ２３で生成された復号低解像度予測残差の対応する画素を足し合わせ、仮復号画像を生成する（ステップＳ２５）。
復号対象の符号データがサブサンプル位置の適応的な決定を実施しているものの場合には、ここでもサブサンプル位置の適応的な決定を実施しても構わない。

【0096】

次に、仮復号が終了したら、アップデート部２０７は、仮復号画像と、高解像度予測画像（手法によっては復号低解像度予測残差も）を用いて仮復号画像の仮復号画素のアップデートを行い、高解像度復号画像を生成する。そして、ループフィルタ部２０８は、生成された高解像度復号画像にループフィルタをかけ、その出力を参照ブロックとして参照フレームメモリ２０９に記憶する（ステップＳ２６）。
仮復号方法とアップデート方法はどのような方法を用いても構わない。
ただし、この方法と映像符号化装置で使用したダウンサンプリングの方法とを互いに対応させることにより、より高い復号性能を得ることが可能である。
ダウンサンプリング方法と対応する復号画像アップデート方法は、前述のとおりである。
ループフィルタは必要がなければ特にかけなくてもかまわないが、通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。もしくは、ＲＲＵによる劣化を除去するためのフィルタを使用してもよい。また、このループフィルタを、復号画像アップデートと同様に、又は同時に適応的に生成してもよい。
最後に、全てのブロックについて処理が終了したら（ステップＳ２７）、復号フレームとして出力する。

【0097】

なお、図２、図４に示す処理動作は、その順序が前後しても構わない。

【0098】

＜第２実施形態＞
次に、本発明の第２実施形態による映像符号化装置及び映像復号装置を説明する。図５は、本発明の第２実施形態による映像符号化装置１００ａの構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図１に示す装置と異なる点は、図５に示すように、補助映像入力部１１３と、補助フレームメモリ１１４を新たに備えている点である。
補助映像入力部１１３は、復号画像アップデートに用いる参照用の映像を映像符号化装置１００ａに入力する。以下では、この参照用の映像のことを補助映像と呼び、特に処理に用いるフレームを補助フレームまたは補助画像と呼ぶ。
補助フレームメモリ１１４は、入力された補助映像を記憶する。

【0099】

次に、図６を参照して、図５に示す映像符号化装置１００ａの動作を説明する。図６は、図５に示す映像符号化装置１００ａの動作を示すフローチャートである。
図６は、外部から符号化対象映像と相関を持つ補助映像を入力し、復号映像アップデートに利用する場合の処理を示している。図６において、図２に示す処理と同一の部分には同一の符号を付し、その説明を省略する。

【0100】

まず、符号化対象映像入力部１０１は符号化対象映像のフレームを映像符号化装置１００ａに入力し、入力したフレームメモリ１０２に記憶する。これと並行して、補助映像入力部１１３は補助映像フレームを映像符号化装置１００ａに入力し、補助フレームメモリ１１４に記憶する（ステップＳ１ａ）。
なお、符号化対象映像中の幾つかのフレームは既に符号化されているものとし、その復号フレームが参照フレームメモリ１１１に、対応する補助映像が補助フレームメモリ１１４に記憶されているものとする。
また、ここでは入力された符号化対象フレームが順次符号化されるものとしているが、入力順と符号化順は必ずしも一致している必要はない。入力順と符号化順が異なる場合には、次に符号化するフレームが入力されるまで、入力されたフレームは入力フレームメモリ１０２に記憶される。
入力フレームメモリ１０２に記憶された符号化対象フレームは、以下で説明する符号化処理によって符号化されたら、入力フレームメモリ１０２から削除しても構わない。しかし、補助フレームメモリ１１４に記憶された補助映像フレームは、対応する符号化対象フレームの復号フレームが参照フレームメモリ１１１から削除されるまで記憶しておいても構わない。

【0101】

なお、ステップＳ１ａにおいて入力される補助映像は、符号化対象映像と相関を持っているものであればどのようなものであっても構わない。
例えば、符号化対象映像が多視点映像のうちの一つの視点映像である場合、別視点の映像を補助映像として用いることができる。
または、符号化対象映像に対応するデプスマップが存在する場合にデプスマップを補助映像としてもよいし、符号化対象映像がデプスマップ(形式の情報）である場合には、対応するテクスチャを補助映像としても構わない。
また、ステップＳ１ａにおいて入力される補助映像は復号側で得られる補助映像とは異なるものであっても構わないが、復号側で得られる補助映像と同じ物を利用することによって復号品質を高めることも可能である。
例えば、補助映像を符号化し映像と共に符号データとするような場合には、補助映像は符号化・復号を経たものを用いることで、補助映像の符号化ノイズによる復号エラーを回避することができる。
他に復号側で得られる補助映像の例としては、例えば符号化対象フレームとは異なるフレームに対応した符号化済みの別視点の映像を復号したものから、符号化対象フレームと同じフレームの映像を動き補償予測などによって合成したものなどがある。
あるいは、別視点の映像に対応する符号化済みデプスマップを復号したものから符号化対象映像に対応するデプスマップを仮想視点合成などによって合成したものや、別視点映像の符号化済み画像群を復号したものからステレオマッチングなどによって推定したデプスマップなどがある。

【0102】

以下、ステップＳ２からＳ４までは、図２に示す処理動作と同様に実行する。
高解像度予測残差の生成が終了したら、残差ダウンサンプル部１０５は、高解像度予測残差のダウンサンプリングを実行し、低解像度予測残差を生成する（ステップＳ５ａ）。このときのダウンサンプリング方法は、どのような方法を用いても構わないし、第１実施形態で示したものと同様の方法でも構わない。
例えば、予め定められた位置の画素をサブサンプリングするなどである。ただし、補助映像を参照して適応的にダウンサンプリングを行うことにより、より高い復号性能を得ることも可能である。
例えば、各画像単位・ブロック単位・画素単位などで対応する補助映像を参照して、サブサンプリング位置を決定する方法などが適用できる。
また、補助映像に二値化やエッジ抽出や領域セグメンテーション等の画像処理を施し、被写体の境界部やその他の残差の集中すると思われる領域を推定し、高解像度予測残差の各画素のうち、対応する補助映像で推定した領域にあたる画素をサブサンプルすることで、従来のＲＲＵが抱える問題の１つである残差値の平均化による損失を回避するといった方法がある。
この推定には画像処理の一般的な方法を用いても構わないし、単に隣接画素値を比較するだけでも構わないし、他にどのような方法を用いても構わない。

【0103】

また、例えば二値化に使用するパラメータなどの情報を符号化して符号データに含めても構わない。このとき、最も復元効率が高くなるようパラメータの最適化を実施しても構わない。また、このときさらに予測画像を用いて残差集中領域を推定しても構わない。
例えば、補助映像と予測画像の両方から推定した領域を合わせて残差集中領域としても構わないし、他にどのような方法を用いても構わない。
また、このときの復号画像アップデートの方法はどのようなものでも構わない。後述する補助映像を参照する方法を用いても構わないし、単に線形補間を行うなど、補助映像を使用しない方法を用いても構わない。
ここで示した方法は一例であり、他にどのような方法を用いても構わない。

【0104】

次に、変換・量子化部１０６は、低解像度予測残差を変換・量子化し、量子化データを生成する（ステップＳ６）。この変換・量子化は、復号側で正しく逆量子化・逆変換できるものであればどのような方法を用いても構わない。
変換・量子化が終了したら、逆量子化・逆変換部１０７は、量子化データを逆量子化・逆変換し復号低解像度予測残差を生成する（ステップＳ７）。

【0105】

次に、仮復号部１０８は、高解像度予測画像に復号低解像度予測残差の対応する画素を足し合わせ、仮復号画像を生成する（ステップＳ８ａ）。
上記のように補助映像を利用してサブサンプル位置の決定を実施している場合には、ここでも補助映像を参照して低解像度残差の高解像度における対応位置を決定して構わない。

【0106】

次に、仮復号が終了したら、アップデート部１０９は、仮復号画像と、補助映像を用いて仮復号画像の未復号画素のアップデートを行い、高解像度復号画像を生成する。そして、ループフィルタ部１１０はループフィルタをかけ、参照フレームとして参照フレームメモリ１１１に記憶する（ステップＳ９ａ）。

【0107】

ここでは、ダウンサンプルにおいて予測残差値をサブサンプルして符号化した場合の、仮復号において一部の画素については正しい復号値がえられる場合のアップデート方法を説明する。また、この仮復号において正しい復号値が得られている画素のことを既復号画素と呼び、この画素については更新を行わないものとする。またこのとき、既復号画素以外の画素を仮復号画素と呼ぶ。
特に第２実施形態では、補助映像の対応する画素や領域を参照してアップデートを行う方法を説明する。あるいはさらに、第１実施形態のように当該画素を含めた周辺画素の予測値と、当該画素を含む組や周辺の組の復号済み画素の残差値・復号値を参照することもできる。

【0108】

アップデートの方法として、例えば第１実施形態で示したような方法を、補助映像を使用して実施しても構わない。
あるいは他の方法として、補助映像において何らかの領域分割を行い、各領域に対応する復号画像の領域毎に残差値あるいは復号値の補間を行うことで、残差の平均化による輪郭などの損失を回避する方法などが適用できる。
例えば、特に符号化対象映像がデプスマップ形式の情報で、対応するテクスチャが補助映像である場合や、あるいはその逆などの場合は、両者の輪郭が一致する場合が多いために、補助映像の輪郭部分にそって残差値や復号値を埋めることで復号性能を向上できるとも考えられる。

【0109】

あるいは、予測画像を用いて前述の処理を実施してもよいし、両方法を組み合わせても構わない。
例えば、補助映像を用いて分割した領域をさらに予測画像を用いて分割するなどの方法が適用できる。またあるいは、先述の補助映像を参照したダウンサンプリング方法と組み合わせることによって、さらに復元性能を向上することも可能である。
ループフィルタは必要がなければ特にかけなくてもかまわないが、通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。もしくは、ＲＲＵによる劣化を除去するためのフィルタを使用してもよい。また、このループフィルタを、復号画像アップデートと同様に、又は同時に適応的に生成してもよい。

【0110】

次に、エントロピー符号化部１１２は、量子化データをエントロピー符号化し符号データを生成する（ステップＳ１０）。必要であれば、予測情報やその他の付加情報も符号化し符号データに含めても構わない。
全てのブロックについて処理が終了したら（ステップＳ１１）、符号データを出力する。

【0111】

次に、映像復号装置について説明する。図７は、本発明の第２実施形態による映像復号装置２００ａの構成を示すブロック図である。この図において、図３に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図３に示す装置と異なる点は、図７に示すように、補助映像入力部２１０と、補助フレームメモリ２１１を新たに備えている点である。
補助映像入力部２１０は、復号画像アップデートに用いる参照用の映像を映像復号装置２００ａに入力する。補助フレームメモリ２１１は、入力された補助映像を記憶する。

【0112】

次に、図８を参照して、図７に示す映像復号装置２００ａの動作を説明する。図８は、図７に示す映像復号装置２００ａの動作を示すフローチャートである。
図８は、外部から符号化対象映像と相関を持つ補助映像を入力し、復号映像アップデートに利用する場合の処理を示している。図８において、図４に示す処理と同一の部分には同一の符号を付し、その説明を省略する。

【0113】

まず、符号データ入力部２０１は符号データを入力し、符号データメモリ２０２に記憶する。これと並行して、補助映像入力部２１０は、補助映像フレームを入力し、補助フレームメモリ２１１に記憶する（ステップＳ２１ａ）。
なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、参照フレームメモリ２０９に記憶されているものとする。

【0114】

以下、ステップＳ２２からＳ２４までは、図４に示す処理動作と同様に実行する。
次に、仮復号部２０６は、高解像度予測画像に復号低解像度予測残差の対応する画素を足し合わせ、仮復号画像を生成する（ステップＳ２５ａ）。
復号対象の符号データが補助映像を利用してサブサンプル位置の決定を実施しているものの場合には、ここでも補助映像を参照して低解像度残差の高解像度における対応位置を決定して構わない。

【0115】

次に、仮復号が終了したら、アップデート部２０７は、仮復号画像と、補助映像やその他の情報を用いて仮復号画像の未復号画素のアップデートを行い、高解像度復号画像を生成する。そして、ループフィルタ部２０８は生成された高解像度復号画像にループフィルタをかけ、その出力を参照ブロックとして参照フレームメモリ２０９に記憶する（ステップＳ２６ａ）。

【0116】

アップデート方法はどのような方法を用いても構わない。ただし、この方法と映像符号化装置で使用したダウンサンプリングの方法とを互いに対応させることにより、より高い復号性能を得ることが可能である。ダウンサンプリング方法と対応する復号画像アップデート方法の例は前述のとおりである。
ループフィルタは必要がなければ特にかけなくてもかまわないが、通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。もしくは、ＲＲＵによる劣化を除去するためのフィルタを使用してもよい。また、このループフィルタを、復号画像アップデートと同様に、又は同時に適応的に生成してもよい。
最後に、全てのブロックについて処理が終了したら（ステップＳ２７）、復号フレームとして出力する。

【0117】

なお、図６、図８に示す処理動作は、その順序が前後しても構わない。

【0118】

＜第３実施形態＞
次に、本発明の第３実施形態による映像符号化装置及び映像復号装置を説明する。図９は、本発明の第３実施形態による映像符号化装置１００ｂの構成を示すブロック図である。この図において、図５に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図５に示す装置と異なる点は、図９に示すように、補助映像予測画像・残差生成部１１５を新たに備えている点である。
補助映像予測画像・残差生成部１１５は、復号画像アップデートに用いる参照用の補助映像の予測画像と残差を生成する。以下では、この参照用の補助映像の予測画像および残差のことを、それぞれ補助予測画像・補助予測残差と呼ぶ。

【0119】

次に、図１０を参照して、図９に示す映像符号化装置１００ｂの動作を説明する。図１０は、図９に示す映像符号化装置１００ｂの動作を示すフローチャートである。
図１０は、外部から符号化対象映像と相関を持つ補助映像を入力し、その予測画像と残差を生成し復号映像アップデートに利用する場合の処理を示している。図１０において、図６に示す処理と同一の部分には同一の符号を付し、その説明を省略する。

【0120】

まず、ステップＳ１ａとＳ２は第２実施形態と同様に実行する。
なお、ステップＳ１ａにおいて入力される補助映像は、符号化対象映像と相関を持っているもので、かつ符号化対象映像の予測に用いる予測情報や、そこから推測できる予測情報によって予測画像を生成できるものであればどのようなものであっても構わない。
例えば、符号化対象映像が多視点映像のうちの一つの視点映像である場合、別視点の映像を補助映像として用いることができる。この場合、視点移動などの変換を考慮して、符号化対象映像で使用した予測ベクトルの変換などを行い、補助情報の予測ベクトルにするなど、任意の変換を行なって構わない。

【0121】

あるいは、符号化対象映像に対応するデプスマップが存在する場合にデプスマップを補助映像としてもよいし、符号化対象映像がデプスマップ(形式の情報）である場合には、対応するテクスチャを補助映像としても構わない。
この場合には、符号化対象映像の予測情報と同じ予測情報を用いて補助情報の予測画像を生成しても構わない。

【0122】

以下のステップＳ３〜Ｓ１０までの処理はフレーム内の全てのブロックが順次処理されるまで、繰り返し実行する。
さらにステップＳ３とＳ４は、第２実施形態と同様に実行する。
符号化対象映像に対する予測画像と予測残差を生成したら、次に、補助映像予測画像・残差生成部１１５は、補助映像に対する予測画像と予測残差である補助予測画像と補助予測残差を生成する（ステップ４ｂ）。
補助予測画像生成に使用する予測情報は、符号化対象映像と同じものを用いても構わないし、前述のように変換を施したものでも構わない。

【0123】

次に、残差ダウンサンプル部１０５は、高解像度予測残差のダウンサンプリングを実行し低解像度予測残差を生成する（ステップＳ５ｂ）。
このときのダウンサンプリングに際して、補助予測画像と補助予測残差を参照しても構わない。例えば、補助予測残差の強度が強い画素から順にサンプリングするといった方法などが適用できる。あるいは、予め定められたサブサンプル位置のパターンの中から、補助予測残差の強度の強い画素をなるべく多くサンプリングするようなパターンを選択するといった方法も適用できる。

【0124】

次に、変換・量子化部１０６は低解像度予測残差を変換・量子化し、量子化データを生成する（ステップＳ６）。この変換・量子化は、復号側で正しく逆量子化・逆変換できるものであればどのような方法を用いても構わない。
変換・量子化が終了したら、逆量子化・逆変換部１０７は、量子化データを逆量子化・逆変換し復号低解像度予測残差を生成する（ステップＳ７）。

【0125】

次に、仮復号部１０８は、高解像度予測画像に復号低解像度予測残差の対応する画素を足し合わせ、仮復号画像を生成する（ステップＳ８ｂ）。
前述のように補助予測画像や補助予測残差を利用してサブサンプル位置の決定を実施している場合には、ここでも同様の方法によって低解像度残差の高解像度における対応位置を決定して構わない。

【0126】

次に、仮復号が終了したら、アップデート部１０９は、仮復号画像と、補助予測画像、補助予測残差を用いて仮復号画像のアップデートを行い、高解像度復号画像を生成する。
そして、ループフィルタ部１１０はループフィルタをかけ、参照フレームのブロックとして参照フレームメモリ１１１に記憶する（ステップＳ９ｂ）。
ここでは、ダウンサンプルにおいて予測残差値をサブサンプルして符号化した場合の、仮復号において一部の画素については正しい復号値がえられる場合のアップデート方法を説明する。また、この仮復号において正しい復号値が得られている画素のことを既復号画素と呼び、この画素については更新を行わないものとする。またこのとき、既復号画素以外の画素を仮復号画素と呼ぶ。

【0127】

アップデートの方法として、例えば第１、第２実施形態で示したような方法を、補助予測画像や補助予測残差を使用して実施しても構わないし、いかなる形で組み合わせても構わない。
例えば、補助映像と補助予測画像の両方で輪郭抽出や領域抽出を実施し、残差の集中する領域を推定するなどの方法が適用できる。
あるいは別の方法として、復号対象画像の予測残差は局所的には補助予測残差の強度に対応する強度分布を持つと仮定し、既知の残差値から復号画像の残差値の強度分布を推定し、この分布に応じて仮復号画素における予測残差を決定し、これを高解像度予測画像に足し合わせることによって復号値を決定する方法なども適用できる。

【0128】

また別の方法としては、映像と同様の方法で補助予測残差をダウンサンプリングして低解像度補助予測残差を生成し、同様に仮復号を行って補助仮復号画像を生成し、これを最もよく復号するような復号画像アップデートの方法やそのパラメータを決定し、決定した方法で映像の復号画像アップデートを行うといった方法も適用できる。
復号画像アップデートの方法は前述のいかなる方法から選択しても構わないし、また別の方法でも構わない。
またあるいは、先述の補助予測画像や補助予測残差を参照したダウンサンプリング方法と組み合わせることによって、さらに復元性能を向上することも可能である。

【0129】

次に、映像復号装置について説明する。図１１は、本発明の第３実施形態による映像復号装置２００ｂの構成を示すブロック図である。この図において、図７に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図７に示す装置と異なる点は、図１１に示すように、補助映像予測画像・残差生成部２１２を新たに備えている点である。
補助映像予測画像・残差生成部２１２は、復号画像アップデートに用いる参照用の補助映像の予測画像と残差を生成する。以下では、この参照用の補助映像の予測画像および残差のことを、それぞれ補助予測画像・補助予測残差と呼ぶ。

【0130】

次に、図１２を参照して、図１１に示す映像復号装置２００ｂの動作を説明する。図１２は、図１１に示す映像復号装置２００ｂの動作を示すフローチャートである。
図１２は、外部から符号化対象映像と相関を持つ補助映像を入力し、その予測画像と残差を生成し復号映像アップデートに利用する場合の処理を示している。図１２において、図８に示す処理と同一の部分には同一の符号を付し、その説明を省略する。

【0131】

まず、符号データ入力部２０１は符号データが入力し、符号データメモリ２０２に記憶する。これと並行して、補助映像入力部２１０は補助映像フレームを入力し、補助フレームメモリ２１１に記憶する（ステップＳ２１ａ）。
なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、参照フレームメモリ２０９に記憶されているものとする。

【0132】

以下、ステップＳ２２からＳ２４までは、図８に示す処理動作と同様に実行する。
復号対象映像に対する予測画像を生成したら、次に、補助映像予測画像・残差生成部２１２は、補助映像に対する予測画像と予測残差である補助予測画像と補助予測残差を生成する（ステップ２４ｂ）。
補助予測画像生成に使用する予測情報は、復号対象映像と同じものを用いても構わないし、前述のように変換を施したものでも構わない。

【0133】

次に、仮復号部１０８は、高解像度予測画像に復号低解像度予測残差の対応する画素を足し合わせ、仮復号画像を生成する（ステップＳ２５ｂ）。
前述のように補助予測画像や補助予測残差を利用してサブサンプル位置の決定を実施している場合には、ここでも同様の方法によって低解像度残差の高解像度における対応位置を決定して構わない。

【0134】

次に、仮復号が終了したら、アップデート部２０７は、仮復号画像と、補助予測画像や補助予測残差やその他の情報を用いて仮復号画像のアップデートを行い、高解像度復号画像を生成する。そして、ループフィルタ部２０８は生成された高解像度復号画像にループフィルタをかけ、その出力を参照ブロックとして参照フレームメモリ２０９に記憶する（ステップＳ２６ｂ）。

【0135】

アップデート方法はどのような方法を用いても構わない。ただし、この方法と映像符号化装置で使用したダウンサンプリングの方法とを互いに対応させることにより、より高い復号性能を得ることが可能である。ダウンサンプリング方法と対応する復号画像アップデート方法の例は先述のとおりである。
ループフィルタは必要がなければ特にかけなくてもかまわないが、通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。もしくは、ＲＲＵによる劣化を除去するためのフィルタを使用してもよい。また、このループフィルタを、復号画像アップデートと同様に、又は同時に適応的に生成してもよい。
最後に、全てのブロックについて処理が終了したら（ステップＳ２７）、復号フレームとして出力する。

【0136】

なお、図１０、図１２に示す処理動作は、その順序が前後しても構わない。

【0137】

前述の第１から第３の実施形態では、符号化対象フレームの全ブロックについてＲＲＵを適用する例を説明したが、一部のブロックにのみ適用してもよい。また、ブロックによってダウンサンプル率を可変にしても構わない。
そのような場合には、ＲＲＵ適用可否やダウンサンプル率を示す情報を符号化し付加情報に含めてもよいし、復号側に適用可否やダウンサンプル率を判別する機能を付け加えてもよい。例えば、ＲＲＵ適用可否やダウンサンプル率を、予測画像を参照して決定しても構わない。
あるいは、他に参照する映像や画像やその他の付加情報がある場合には、それらを参照して決定しても構わない。それらが符号化されあるいは伝送される場合には、符号化ノイズや伝送エラーによって復号不能になることを防ぐための回避機能や訂正機能を付け加えるとよい。

【0138】

また、前述の第１から第３の実施形態では、全てのブロックで復号画素を適応的に更新（仮復号画像の仮復号値を更新）しているが、演算量の低減のため、更新を実施せず十分な性能が得られるブロックについては更新を実施しなくても構わない。
また、更新処理の代わりに既定の補間フィルタで補間するなどで十分な性能が得られるブロックについてはそうしたフィルタを使用してもよい。その場合、既定のフィルタを使用するか復号画像アップデートを行うかを、映像や補助情報を参照して切り替えてもよい。

【0139】

また、前述の第１から第３の実施形態では、符号化装置・復号装置共に復号画像アップデートはループの内部でブロック毎に実行しているが、可能ならば外部で実行しても構わない。
また、ブロック毎に行う場合でも、ブロックの１行目や１列目においては既に復号済みの左上・上・左ブロックの画素を参照し、復号に用いてもかまわない。

【0140】

また、前述の第１から第３の実施形態では、復号時に、符号データを逆量子化・逆変換した復号信号を参照して復号画像アップデートを行なっているが、逆量子化前の量子化データや逆変換前の変換データを参照して復号画像アップデートを行なっても構わない。また、符号化対象映像の予測残差に変換・量子化を施し量子化データとした上でエントロピー符号化を行い符号データを生成しているが、変換・量子化を行わずに符号化しても構わない。

【0141】

また、前述の第１から第３の実施形態では、符号化対象映像信号中の輝度信号や色差信号を特に区別していないが、区別しても構わない。
例えば色差信号にのみダウンサンプリング・アップサンプリングを実行し、輝度信号は高解像度のまま符号化するなどしても構わないし、逆でも構わない。
あるいは、それぞれの復号画像アップデートを同時に行なっても構わないし、別々に行なっても構わない。その場合に、例えば輝度信号の復号画像や、復号画像アップデートによって得られるその他の情報を参照して、色差信号の復号画像アップデートを行うなどしても構わないし、逆でも構わない。

【0142】

また他の例としては、仮復号値を初期値とし、予測値や上記例に挙げたような様々な補助情報に基づく変数や、及びそれらの差分値や平均値等によって定義した確率密度関数によって最終復号値を推定する復号画像アップデートの方法などが適用できる。
確率密度関数の例としては、画像の各画素の生起確率がその周辺画素の値に依存して決まるようなモデル、例えばガウスマルコフ確率場（ＧＭＲＦ）を応用したもの等が適用できる。求めるべき最終復号値をｘ_ｕ、変数の集合をＮ_ｕとすると、この生起確率は（１）式のように定義される。

【数1】

【0143】

画像全体、あるいはブロック毎や隣接画素セット毎の求めるべき最終復号値の集合をｘ＝｛ｘ_ｕ｝とすると、その擬似尤度ＰＬは以下のように表され、この擬似尤度ＰＬが最大になるように、（２）式により各ｘ_ｕを決定する。

【数2】

【0144】

上記式（１）において、μは復号値の平均値とするが、これは画像全体での平均値でも構わないし、ブロック全体での平均値でも構わないし、隣接画素の平均値でも構わない。また、この平均値は、サブサンプルされた画素のみを用いて映像復号装置側で求めても構わないし、映像符号化装置側で高解像度画像を用いて画像全体で求めたもの等を符号化して付加情報として符号データに含めても構わない。

【0145】

β_ｉは制御パラメータであり、一般的には、画像全体、あるいはブロック毎や隣接画素セット毎の、原画像あるいはいずれかの方法で符号化し復号した画像の画素値の集合をｘ＝｛ｘ_ｕ｝として、擬似尤度ＰＬが最大になるように決定する。
これは画像全体で同じ値を使用しても構わないし、ブロック毎に変えても構わないし、組ごとに変えても構わない。また、予め適当に定められたものを使用しても構わないし、符号化時に決定し、その値やあるいは識別するための付加情報を符号化して符号データに含めても構わない。またこの値は、画像毎に推定しても構わないし、予め学習データを用いて適当なものを推定しておいても構わない。

【0146】

各ｘ_ｕの決定にあたっては、何れかの方法を用いて最適化問題を解いても構わない。また、単純に擬似尤度ＰＬの最大化を図る場合ｘ_ｕ＝μとなるため、別に制約条件を加えても構わない。例えば、画像の全体の濃度ヒストグラムを初期状態から変化させない等といった条件が考えられる。

【0147】

あるいは、予め定められた値のセットの中から生起確率の高いものを選択するとして、その組み合わせを最適化しても構わない。
セットに含まれる値としては、例えば隣接するサブサンプル画素の復号値の平均値や、同じ組のサブサンプル画素の復号値などが考えられるが、他にどのような値を定めても構わない。
あるいは、画素を全て独立に更新するとして、それぞれ生起確率の最も高いものに決定する等しても構わない。
または、画素に優先順位をつけ、順に決定していくようにしてもよい。

【0148】

また、確率密度関数は予め定義しておいても構わないし、復号値更新にともなって周辺の画素の確率密度関数を局所的に更新するようにしてもよい。
前述の例ではガウスマルコフ確率場（ＧＭＲＦ）を使った復号の方法を説明したが、確率密度関数はいかなるものを使っても構わないし、予め学習データを用いて適当なものを推定しておいても構わない。
関数に含まれる各パラメータも、予め定められたものを使用しても構わないし、学習により推定したものを使用しても構わない。また、この関数による確率値もしくは求める復号値を予め求めておき、参照しても構わない。

【0149】

また、符号データを逆多重化し補助情報符号データと映像符号データとに分離し、補助情報符号データを復号することにより補助情報を生成するようにしてもよい。

【0150】

以上説明したように、ダウンサンプリングされた予測残差を用いて画像を仮に復号し、その仮復号画像と、符号化対象映像と相関を持つ何らかの情報を参照しながら、各処理ブロックで適応的に最終の復号画像を生成することによって、ＲＲＵにおける予測残差アップサンプリングによる品質低下やブロック歪みを回避し、最終復号画像を全解像度かつよい品質で再構成することができる。
これにより、ＲＲＵモードを利用し符号化効率を向上し、一方で主観品質を充分保つことができる。

【0151】

なお、以上説明した映像符号化装置及び映像復号装置の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータで読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。
図１３は、映像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図である。
本システムは：
・プログラムを実行するＣＰＵ３０
・ＣＰＵ３０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ３１
・カメラ等からの符号化対象の映像信号を映像符号化装置内に入力する符号化対象映像入力部３２（ディスク装置などによる、映像信号を記憶する記憶部でもよい）
・図２、図６、図１０に示す処理動作をＣＰＵ３０に実行させるソフトウェアプログラムである映像符号化プログラム３５１が格納されたプログラム記憶装置３５
・ＣＰＵ３０がメモリ３１にロードされた映像符号化プログラムを実行することにより生成された符号データを、例えばネットワークを介して出力する符号データ出力部３６（ディスク装置などによる、符号データを記憶する記憶部でもよい）
とが、バスで接続された構成になっている。
この他に、第２、３実施形態で説明したような符号化を実現する場合に必要であれば、例えばネットワークを介して補助情報を入力する補助情報入力部３３（ディスク装置などによる、補助情報信号を記憶する記憶部でもよい）をさらに接続する。
また、図示は省略するが、他に、符号データ記憶部、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、映像信号符号データ記憶部、予測情報符号データ記憶部などが用いられることもある。

【0152】

図１４は、映像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図である。
本システムは：
・プログラムを実行するＣＰＵ４０
・ＣＰＵ４０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ４１
・映像符号化装置が本発明による手法により符号化した符号データを映像復号装置内に入力する符号データ入力部４２（ディスク装置などによる、符号データを記憶する記憶部でもよい）
・図４、図８、図１２に示す処理動作をＣＰＵ４０に実行させるソフトウェアプログラムである映像復号プログラム４５１が格納されたプログラム記憶装置４５
・ＣＰＵ４０がメモリ４１にロードされた映像復号プログラムを実行することにより生成された復号映像を、再生装置などに出力する復号映像出力部４６
とが、バスで接続された構成になっている。
この他に、第２、３実施形態で説明したような復号を実現する場合に必要であれば、例えばネットワークを介して補助情報を入力する補助情報入力部４３（ディスク装置などによる、補助情報信号を記憶する記憶部でもよい）をさらに接続する。
また、図示は省略するが、他に、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、映像信号符号データ記憶部、予測情報符号データ記憶部などが用いられることもある。

【0153】

なお、図１、５、９に示す映像符号化装置、及び、図３、７、１１に示す映像復号装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像符号化処理及び映像復号処理を行ってもよい。
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0154】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0155】

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

【産業上の利用可能性】

【0156】

本発明は、ＲＲＵにおける予測残差アップサンプリングによる復号画像の品質低下やブロック歪みを回避し、最終復号画像を全解像度かつよい品質で再構成することが不可欠な用途に適用できる。

【符号の説明】

【0157】

１００、１００ａ、１００ｂ・・・映像符号化装置
１０１・・・符号化対象映像入力部
１０２・・・入力フレームメモリ
１０３・・・予測部
１０４・・・減算部
１０５・・・残差ダウンサンプル部
１０６・・・変換・量子化部
１０７・・・逆量子化・逆変換部
１０８・・・仮復号部
１０９・・・アップデート部
１１０・・・ループフィルタ部
１１１・・・参照フレームメモリ
１１２・・・エントロピー符号化部
１１３・・・補助映像入力部
１１４・・・補助フレームメモリ
１１５・・・補助予測画像・残差生成部
２００、２００ａ、２００ｂ・・・映像復号装置
２０１・・・符号データ入力部
２０２・・・符号データメモリ
２０３・・・エントロピー復号部
２０４・・・逆量子化・逆変換部
２０５・・・予測部
２０６・・・仮復号部
２０７・・・アップデート部
２０８・・・ループフィルタ部
２０９・・・参照フレームメモリ
２１０・・・補助映像入力部
２１１・・・補助フレームメモリ
２１２・・・補助予測画像・残差生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】