特許 6344082 符号化装置、復号装置、符号化方法および復号方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6344082

(24)【登録日】2018年6月1日

(45)【発行日】2018年6月20日

(54)【発明の名称】符号化装置、復号装置、符号化方法および復号方法

(51)【国際特許分類】

   H04N 19/59 20140101AFI20180611BHJP

   H04N 19/39 20140101ALI20180611BHJP

   H04N 19/50 20140101ALI20180611BHJP

【ＦＩ】

   H04N19/59

   H04N19/39

   H04N19/50

【請求項の数】10

【全頁数】19

(21)【出願番号】特願2014-126451(P2014-126451)

(22)【出願日】2014年6月19日

(65)【公開番号】特開2016-5245(P2016-5245A)

(43)【公開日】2016年1月12日

【審査請求日】2017年5月24日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100084412

【弁理士】

【氏名又は名称】永井 冬紀

(74)【代理人】

【識別番号】100078189

【弁理士】

【氏名又は名称】渡辺 隆男

(72)【発明者】

【氏名】安藤 一郎

【審査官】 堀井 啓明

(56)【参考文献】

【文献】 特開２００６−０３３７５０（ＪＰ，Ａ）

【文献】 特表２０１２−５１４３９４（ＪＰ，Ａ）

【文献】 特開２００１−２５８０３０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／００９２９９８（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１１／０００７９７９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

複数の輝度成分と複数の色差成分とがそれぞれ二次元状に配列されるＹＵＶ４：４：４形式のフレーム画像から、前記色差成分を市松間引きして、ＹＵＶ４：２：２形式のフレーム画像を生成する間引き手段と、
前記間引き手段により生成された前記ＹＵＶ４：２：２形式のフレーム画像を変換して、前記ＹＵＶ４：４：４形式のフレーム画像の輝度成分と、前記ＹＵＶ４：２：２形式のフレーム画像の前記色差成分の市松配列中の奇数ラインまたは偶数ラインのうちの一方のライン上の前記色差成分とからなる第１のＹＵＶ４：２：０形式のフレーム画像を生成する第１生成手段と、
前記間引き手段により生成された前記ＹＵＶ４：２：２形式のフレーム画像を変換して、擬似輝度成分と、前記ＹＵＶ４：２：２形式のフレーム画像の前記色差成分の市松配列中の前記奇数ラインまたは前記偶数ラインのうちの他方のライン上の前記色差成分とからなる第２のＹＵＶ４：２：０形式のフレーム画像を生成する第２生成手段と、
前記第１生成手段により生成された前記第１のＹＵＶ４：２：０形式のフレーム画像と、前記第２生成手段により生成された前記第２のＹＵＶ４：２：０形式のフレーム画像とを符号化する符号化手段とを備えることを特徴とする符号化装置。

【請求項2】

請求項１に記載の符号化装置において、
前記第２生成手段は、全ての前記擬似輝度成分を同一の値に設定することを特徴とする符号化装置。

【請求項3】

請求項１または２に記載の符号化装置において、
前記符号化手段は、前記第１生成手段により生成された複数の前記第１のＹＵＶ４：２：０形式のフレーム画像のうち、一の前記第１のＹＵＶ４：２：０形式のフレーム画像に対しては、直前に前記第１生成手段により生成された他の第１のＹＵＶ４：２：０形式のフレーム画像との間でフレーム間符号化を行うことを特徴とする符号化装置。

【請求項4】

請求項３に記載の符号化装置において、
前記符号化手段は、前記第２生成手段により生成された複数の前記第２のＹＵＶ４：２：０形式のフレーム画像のうち、一の前記第２のＹＵＶ４：２：０形式のフレーム画像に対しては、直前に前記第２生成手段により生成された他の第２のＹＵＶ４：２：０形式のフレーム画像との間でフレーム間符号化を行うことを特徴とする符号化装置。

【請求項5】

請求項３に記載の符号化装置において、
前記符号化手段は、前記第２生成手段により生成された前記第２のＹＵＶ４：２：０形式のフレーム画像に対して、前記第１生成手段により生成された前記第１のＹＵＶ４：２：０形式のフレーム画像との間でフレーム間符号化を行うことを特徴とする符号化装置。

【請求項6】

請求項１または２に記載の符号化装置において、
前記符号化手段は、前記第１生成手段により生成された複数の前記第１のＹＵＶ４：２：０形式のフレーム画像に対してはフレーム画像内符号化を行い、前記第２生成手段により生成された複数の前記第２のＹＵＶ４：２：０形式のフレーム画像に対しては、前記第１のＹＵＶ４：２：０形式のフレーム画像との間でフレーム間符号化を行うことを特徴とする符号化装置。

【請求項7】

第１のＹＵＶ４：２：０形式のフレーム画像の符号化データおよび第２のＹＵＶ４：２：０形式のフレーム画像の符号化データをそれぞれ復号する復号手段と、
前記第１のＹＵＶ４：２：０形式のフレーム画像の輝度成分と、前記第１のＹＵＶ４：２：０形式のフレーム画像の色差成分が市松配列の奇数ラインまたは偶数ラインのうちの一方に配列され、前記第２のＹＵＶ４：２：０形式のフレーム画像の色差成分が市松配列の前記奇数ラインまたは前記偶数ラインのうちの他方に配列された色差成分とからなる、ＹＵＶ４：２：２形式のフレーム画像を生成する生成手段と、
前記生成手段により生成された前記ＹＵＶ４：２：２形式のフレーム画像の色差成分を市松補間して、ＹＵＶ４：４：４形式のフレーム画像を生成する補間手段とを備えることを特徴とする復号装置。

【請求項8】

複数の輝度成分と複数の色差成分とがそれぞれ二次元状に配列されるＹＵＶ４：４：４形式のフレーム画像から、前記色差成分を市松間引きして、ＹＵＶ４：２：２形式のフレーム画像を生成し、
前記生成された前記ＹＵＶ４：２：２形式のフレーム画像を変換して、前記ＹＵＶ４：４：４形式のフレーム画像の輝度成分と、前記ＹＵＶ４：２：２形式のフレーム画像の前記色差成分の市松配列中の奇数ラインまたは偶数ラインのうちの一方のライン上の前記色差成分とからなる第１のＹＵＶ４：２：０形式のフレーム画像を生成し、
前記生成された前記ＹＵＶ４：２：２形式のフレーム画像を変換して、擬似輝度成分と、前記ＹＵＶ４：２：２形式のフレーム画像の前記色差成分の市松配列中の前記奇数ラインまたは前記偶数ラインのうちの他方のライン上の前記色差成分とからなる第２のＹＵＶ４：２：０形式のフレーム画像を生成し、
前記第１のＹＵＶ４：２：０形式のフレーム画像と、前記第２のＹＵＶ４：２：０形式のフレーム画像とを符号化することを特徴とする符号化方法。

【請求項9】

請求項８に記載の符号化方法において、
全ての前記擬似輝度成分を同一の値に設定することを特徴とする符号化方法。

【請求項10】

第１のＹＵＶ４：２：０形式のフレーム画像の符号化データおよび第２のＹＵＶ４：２：０形式のフレーム画像の符号化データをそれぞれ復号し、
前記第１のＹＵＶ４：２：０形式のフレーム画像の輝度成分と、前記第１のＹＵＶ４：２：０形式のフレーム画像の色差成分が市松配列の奇数ラインまたは偶数ラインのうちの一方に配列され、前記第２のＹＵＶ４：２：０形式のフレーム画像の色差成分が市松配列の前記奇数ラインまたは前記偶数ラインのうちの他方に配列された色差成分とからなる、ＹＵＶ４：２：２形式のフレーム画像を生成し、
前記ＹＵＶ４：２：２形式のフレーム画像の色差成分を市松補間して、ＹＵＶ４：４：４形式のフレーム画像を生成することを特徴とする復号方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化装置、復号装置、符号化方法および復号方法に関する。

【背景技術】

【0002】

従来から、映像制作における編集加工等に際して、ＹＵＶ４：２：０形式の映像を圧縮符号化および復号化により生じるエッジ部分の色にじみ等の問題を避けるために、ＹＵＶ４：４：４形式の映像を圧縮符号化および復号化する技術が知られている（たとえば特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平６−２７６５１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ＹＵＶ４：４：４形式の映像では色差を間引きしないため、データ量が増加して、演算量やメモリ量が増加するという問題がある。

【課題を解決するための手段】

【0005】

請求項１に記載の符号化装置は、複数の輝度成分と複数の色差成分とがそれぞれ二次元状に配列されるＹＵＶ４：４：４形式のフレーム画像から、色差成分を市松間引きして、ＹＵＶ４：２：２形式のフレーム画像を生成する間引き手段と、間引き手段により生成されたＹＵＶ４：２：２形式のフレーム画像を変換して、ＹＵＶ４：４：４形式のフレーム画像の輝度成分と、ＹＵＶ４：２：２形式のフレーム画像の色差成分の市松配列中の奇数ラインまたは偶数ラインのうちの一方のライン上の色差成分とからなる第１のＹＵＶ４：２：０形式のフレーム画像を生成する第１生成手段と、間引き手段により生成されたＹＵＶ４：２：２形式のフレーム画像を変換して、擬似輝度成分と、ＹＵＶ４：２：２形式のフレーム画像の色差成分の市松配列中の奇数ラインまたは偶数ラインのうちの他方のライン上の色差成分とからなる第２のＹＵＶ４：２：０形式のフレーム画像を生成する第２生成手段と、第１生成手段により生成された第１のＹＵＶ４：２：０形式のフレーム画像と、第２生成手段により生成された第２のＹＵＶ４：２：０形式のフレーム画像とを符号化する符号化手段とを備えることを特徴とする。
請求項７に記載の復号装置は、第１のＹＵＶ４：２：０形式のフレーム画像の符号化データおよび第２のＹＵＶ４：２：０形式のフレーム画像の符号化データをそれぞれ復号する復号手段と、第１のＹＵＶ４：２：０形式のフレーム画像の輝度成分と、第１のＹＵＶ４：２：０形式のフレーム画像の色差成分が市松配列の奇数ラインまたは偶数ラインのうちの一方に配列され、第２のＹＵＶ４：２：０形式のフレーム画像の色差成分が市松配列の奇数ラインまたは偶数ラインのうちの他方に配列された色差成分とからなる、ＹＵＶ４：２：２形式のフレーム画像を生成する生成手段と、生成手段により生成されたＹＵＶ４：２：２形式のフレーム画像の色差成分を市松補間して、ＹＵＶ４：４：４形式のフレーム画像を生成する補間手段とを備えることを特徴とする。
請求項８に記載の符号化方法は、複数の輝度成分と複数の色差成分とがそれぞれ二次元状に配列されるＹＵＶ４：４：４形式のフレーム画像から、色差成分を市松間引きして、ＹＵＶ４：２：２形式のフレーム画像を生成し、生成されたＹＵＶ４：２：２形式のフレーム画像を変換して、ＹＵＶ４：４：４形式のフレーム画像の輝度成分と、ＹＵＶ４：２：２形式のフレーム画像の色差成分の市松配列中の奇数ラインまたは偶数ラインのうちの一方のライン上の色差成分とからなる第１のＹＵＶ４：２：０形式のフレーム画像を生成し、生成されたＹＵＶ４：２：２形式のフレーム画像を変換して、擬似輝度成分と、ＹＵＶ４：２：２形式のフレーム画像の色差成分の市松配列中の奇数ラインまたは偶数ラインのうちの他方のライン上の色差成分とからなる第２のＹＵＶ４：２：０形式のフレーム画像を生成し、第１のＹＵＶ４：２：０形式のフレーム画像と、第２のＹＵＶ４：２：０形式のフレーム画像とを符号化することを特徴とする。
請求項１０に記載の復号方法は、第１のＹＵＶ４：２：０形式のフレーム画像の符号化データおよび第２のＹＵＶ４：２：０形式のフレーム画像の符号化データをそれぞれ復号し、第１のＹＵＶ４：２：０形式のフレーム画像の輝度成分と、第１のＹＵＶ４：２：０形式のフレーム画像の色差成分が市松配列の奇数ラインまたは偶数ラインのうちの一方に配列され、第２のＹＵＶ４：２：０形式のフレーム画像の色差成分が市松配列の奇数ラインまたは偶数ラインのうちの他方に配列された色差成分とからなる、ＹＵＶ４：２：２形式のフレーム画像を生成し、ＹＵＶ４：２：２形式のフレーム画像の色差成分を市松補間して、ＹＵＶ４：４：４形式のフレーム画像を生成することを特徴とする。

【発明の効果】

【0006】

本発明によれば、ＹＵＶ４：４：４形式のフレーム画像に対してデータ量の増加を抑制して符号化を行うことができる。さらに、ＹＵＶ４：２：０形式の符号化データから色差の劣化を抑制した復号を行うことができる。

【図面の簡単な説明】

【0007】

【図1】本発明の実施の形態による符号化装置の要部構成を示すブロック図

【図2】フレーム画像における輝度成分および色差成分のサンプル配置を例示する図

【図3】第１の実施の形態による符号化装置に入力されたフレーム画像と、生成される各種の画像とを模式的に示す図

【図4】実施の形態による符号化装置の処理を説明するフローチャート

【図5】実施の形態による復号装置の要部構成を示すブロック図

【図6】復号画像における輝度成分および色差成分のサンプル配置を例示する図

【図7】色差成分の補間処理を説明する図

【図8】実施の形態による復号装置の処理を説明するフローチャート

【図9】第２の実施の形態による符号化装置に入力されたフレーム画像と、生成される各種の画像とを模式的に示す図

【図10】第３の実施の形態による符号化装置に入力されたフレーム画像と、生成される各種の画像とを模式的に示す図

【図11】第４の実施の形態による符号化装置に入力されたフレーム画像と、生成される各種の画像とを模式的に示す図

【図12】第５の実施の形態による符号化装置に入力されたフレーム画像と、生成される各種の画像とを模式的に示す図

【図13】変形例におけるＹＵＶ０：２：０形式の画像の色差成分のサンプル配置を説明する図

【発明を実施するための形態】

【0008】

−第１の実施の形態−
図面を参照しながら、本発明の実施の形態による符号化装置および復号化装置について説明する。なお、以下の説明においては、輝度（Ｙ）成分と、２つの色差（Ｕ、Ｖ）成分とからなるＹＵＶ４：４：４形式の画像やＹＵＶ４：２：０形式の画像について、色差処理はＵ成分とＶ成分との２つの色差に対して個々に行われるものとする。

【0009】

−−符号化装置−−
図１は本実施の形態による符号化装置１の構成を示すブロック図である。符号化装置１は、ＹＵＶ４：４：４形式の映像（すなわち、連続的に撮影された複数の画像）を入力して符号化を行う。なお、ＲＧＢ４：４：４形式等の画像を符号化する場合には、ＹＵＶ４：４：４形式の画像に変換してから入力すればよい。

【0010】

符号化装置１は、制御部１０と、間引き処理部１１と、第１生成部１２と、第２生成部１３と、スイッチ１４と、符号化部１５とを備える。制御部１０はＣＰＵやその周辺回路等から構成されており、不図示の記憶媒体（たとえばフラッシュメモリ等）に予め記憶されている制御プログラムを読み込んで実行することにより、符号化装置１の各部を制御する。

【0011】

図２に示すフレーム画像の輝度成分と色差成分のサンプル配置例を参照しながら、制御部１０と、間引き処理部１１と、第１生成部１２と、第２生成部１３と、スイッチ１４と、符号化部１５とが実行する処理について説明する。なお、図２においては、図示の都合上、輝度成分を「○」、色差成分を「×」として示す。図２（ａ）は、符号化装置１に入力されるフレーム画像Ｆ_４４４のサンプル配置例、図２（ｂ）は間引き処理部１１により生成される間引きフレーム画像Ｆ_ｃｃｂのサンプル配置例、図２（ｃ）は第１生成部１２により生成される第１形式フレーム画像Ｆ_４２０１のサンプル配置例、図２（ｄ）は第２生成部１２により生成される第２形式フレーム画像Ｆ_４２０２のサンプル配置例を示す。なお、図２においては、図示の都合上、フレーム画像を構成する輝度成分および色差成分のうち、一部の輝度成分および色差成分を表す。

【0012】

間引き処理部１１は、制御部１０からの指示に応じて、入力したＹＵＶ４：４：４形式のフレーム画像Ｆ_４４４（図２（ａ））の色差成分に対して２次元ローパスフィルタを施した後、たとえば市松間引き処理を施してＹＵＶ４：２：２形式の間引きフレーム画像Ｆ_ｃｃｂ（図２（ｂ））を生成する。なお、間引き処理部１１は、折り返し歪みを抑制するための市松間引きに応じた特性を有する、たとえば斜め方向に対して高い周波数で減衰させる、いわゆるダイアモンドフィルタを２次元ローパスフィルタとして用いる。

【0013】

図２（ｂ）に示すように、間引きフレーム画像Ｆ_ｃｃｂにおいては、２次元ローパスフィルタと市松間引きとにより、色差成分の水平および垂直方向の高い周波数成分の減衰は抑制された状態で、色差成分のサンプル数が図２（ａ）に示すフレーム画像Ｆ_４４４の色差成分のサンプル数と比較して半分となっている。水平および垂直方向に対して色差成分のサンプル数を半分に間引くＹＵＶ４：２：０形式の画像と比較して、色にじみを抑制することが可能となる。さらに、水平方向に対して色差成分のサンプル数を半分に間引くＹＵＶ４：２：２形式の画像と比較して、色差成分の水平方向における高い周波数成分の減衰が抑制されるので、色にじみを抑制することができる。

【0014】

第１生成部１２は、制御部１０からの指示に従って、間引き処理部１１により生成された間引きフレーム画像Ｆ_ｃｃｂから、ＹＵＶ４：２：０形式の第１形式フレーム画像Ｆ_４２０１を生成する。図２（ｃ）に示すように、第１形式フレーム画像Ｆ_４２０１では、間引きフレーム画像Ｆ_ｃｃｂの輝度成分と、間引きフレーム画像Ｆ_ｃｃｂの色差成分のうちの奇数行の色差成分とが配置される。

【0015】

第２生成部１３は、制御部１０からの指示に従って、間引き処理部１１により生成された間引きフレーム画像Ｆ_ｃｃｂから、ＹＵＶ４：２：０形式の第２形式フレーム画像Ｆ_４２０２を生成する。図２（ｄ）に示すように、第２形式フレーム画像Ｆ_４２０２では、ダミー輝度と、間引きフレーム画像Ｆ_ｃｃｂの色差成分のうちの偶数行の色差成分とが配置される。第２生成部１３は、ダミー輝度として、全て同一の値、たとえば８ビット映像において「黒」を示す１６進数の値「０ｘ１０」を設定することができる。これにより、たとえば第２形式フレーム画像Ｆ_４２０２をフレーム内符号化する際に、輝度成分の符号量を極めて僅かとすることができる。なお、図２（ｄ）においては、図示の都合上、輝度成分を破線で示すことによりダミー輝度であることを表す。

【0016】

スイッチ１４は、制御部１０からの指示に従って、１つのフレーム画像Ｆ_４４４について、第１生成部１２により生成された第１形式フレーム画像Ｆ_４２０１と、第２生成部１３により生成された第２形式フレーム画像Ｆ_４２０２とを交互に出力する。符号化部１５は、スイッチ１４によって出力された第１形式フレーム画像Ｆ_４２０１と第２形式フレーム画像Ｆ_４２０２とを交互に入力するごとに圧縮符号化を行い、符号化データを出力する。本実施の形態においては、符号化部１５は、たとえばＭＰＥＧ−４ＡＶＣのハイプロファイルに基づく方式で圧縮符号化を行う。本実施の形態においては、符号化部１５は、入力した第１形式フレーム画像Ｆ_４２０１に対してフレーム内符号化による圧縮符号化を行って、符号化データである第１圧縮フレームＩ_４２０１を生成する。符号化部１５は、入力した第２形式フレーム画像Ｆ_４２０２に対してフレーム内符号化による圧縮符号化を行って、符号化データである第２圧縮フレームＩ_４２０２を生成する。

【0017】

図３に入力されたフレーム画像Ｆ_４４４から生成される間引きフレーム画像Ｆ_ｃｃｂと、第１形式フレーム画像Ｆ_４２０１と、第２形式フレーム画像Ｆ_４２０２と、第１圧縮フレームＩ_４２０１と、第２圧縮フレームＩ_４２０２とを模式的に示す。なお、図３においては、第ｋ番目（１≦ｋ≦ｎ、ｋおよびｎは自然数）のフレームについて、フレーム画像Ｆ_４４４（ｋ）、間引きフレーム画像Ｆ_ｃｃｂ（ｋ）、第１形式フレーム画像Ｆ_４２０１（ｋ）、第２形式フレーム画像Ｆ_４２０２（ｋ）、第１圧縮フレームＩ_４２０１（ｋ）、第２圧縮フレームＩ_４２０２（ｋ）のように表す。

【0018】

図３（ａ）は複数のフレーム画像Ｆ_４４４（１）、フレーム画像Ｆ_４４４（２）、フレーム画像Ｆ_４４４（３）、・・・、フレーム画像Ｆ_４４４（ｎ）が順次入力されたことを示す。間引き処理部１１が上述した市松間引き処理を施すことにより、フレーム画像Ｆ_４４４（１）、フレーム画像Ｆ_４４４（２）、フレーム画像Ｆ_４４４（３）、・・・、フレーム画像Ｆ_４４４（ｎ）から、図３（ｂ）に示す間引きフレーム画像Ｆ_ｃｃｂ（１）、間引きフレーム画像Ｆ_ｃｃｂ（２）、間引きフレーム画像Ｆ_ｃｃｂ（３）、・・・、間引きフレーム画像Ｆ_ｃｃｂ（ｎ）をそれぞれ生成する。

【0019】

第１生成部１２は、間引き処理部１１により順次生成された間引きフレーム画像Ｆ_ｃｃｂ（１）、間引きフレーム画像Ｆ_ｃｃｂ（２）、間引きフレーム画像Ｆ_ｃｃｂ（３）、・・・、間引きフレーム画像Ｆ_ｃｃｂ（ｎ）のそれぞれに対して、図３（ｃ）に示す第１形式フレーム画像Ｆ_４２０１（１）、第１形式フレーム画像Ｆ_４２０１（２）、第１形式フレーム画像Ｆ_４２０１（３）、・・・、第１形式フレーム画像Ｆ_４２０１（ｎ）をそれぞれ生成する。第２生成部１３は、間引き処理部１１により順次生成された間引きフレーム画像Ｆ_ｃｃｂ（１）、間引きフレーム画像Ｆ_ｃｃｂ（２）、間引きフレーム画像Ｆ_ｃｃｂ（３）、・・・、間引きフレーム画像Ｆ_ｃｃｂ（ｎ）のそれぞれに対して、図３（ｄ）に示す第２形式フレーム画像Ｆ_４２０２（１）、第２形式フレーム画像Ｆ_４２０２（２）、第２形式フレーム画像Ｆ_４２０２（３）、・・・、第２形式フレーム画像Ｆ_４２０２（ｎ）をそれぞれ生成する。

【0020】

第１生成部１２により生成された第１形式フレーム画像Ｆ_４２０１（１）はスイッチ１４を介して符号化部１５に入力され、フレーム内符号化により図３（ｅ）に示す第１圧縮フレームＩ_４２０１（１）が生成される。制御部１０はスイッチ１４を切り替えて、第２生成部１３により生成された第２形式フレーム画像Ｆ_４２０２（１）を符号化部１５に入力させ、フレーム内符号化により図３（ｆ）に示す第２圧縮フレームＩ_４２０２（１）を生成させる。すなわち、１つの入力されたフレーム画像Ｆ_４４４（１）に対して、フレーム内符号化により２つの符号化データである、第１圧縮フレームＩ_４２０１（１）と第２圧縮フレームＩ_４２０２（１）とが生成される。以後、同様の処理を繰り返すことにより、フレーム画像Ｆ_４４４（２）、フレーム画像Ｆ_４４４（３）、・・・、フレーム画像Ｆ_４４４（ｎ）が入力されるごとに、それぞれから２つの符号化データである、第１圧縮フレームＩ_４２０１（２）および第２圧縮フレームＩ_４２０２（２）、第１圧縮フレームＩ_４２０１（３）および第２圧縮フレームＩ_４２０２（３）、・・・、第１圧縮フレームＩ_４２０１（ｎ）および第２圧縮フレームＩ_４２０２（ｎ）が生成される。
上記のようにして生成された第１圧縮フレームＩ_４２０１（ｋ）（１≦ｋ≦ｎ）と第２圧縮フレームＩ_４２０２（ｋ）とは、後述する復号化装置により復号することができる。

【0021】

符号化部１５は、各第１圧縮フレームＩ_４２０１（ｋ）および各第２圧縮フレームＩ_４２０２（ｋ）に、たとえばＭＰＥＧ−４ＡＶＣにＰＰＳ（picture parameter set）処理の後、user data unregistered SEI message を用いて識別情報を付加して符号化する。この場合、符号化部１５は、識別情報として、符号化データが各第１圧縮フレームＩ_４２０１（ｋ）および各第２圧縮フレームＩ_４２０２（ｋ）の何れかであるかを識別する情報を付加する。この識別情報により、後述する復号装置にて各第１圧縮フレームＩ_４２０１（ｋ）および各第２圧縮フレームＩ_４２０２（ｋ）を適切に復号することが可能となる。

【0022】

図４に示すフローチャートを参照しながら、符号化装置１の処理について説明する。図４に示す処理は制御部１０でプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、制御部１０により起動され、実行される。
ステップＳ１１では、間引き処理部１１に指令して、入力したフレーム画像Ｆ_４４４（ｋ）の色差成分に対して市松間引き処理を行わせ、間引きフレーム画像Ｆ_ｃｃｂ（ｋ）を生成させてステップＳ１２へ進む。ステップＳ１２においては、第１生成部１２に指令して、間引きフレーム画像Ｆ_ｃｃｂ（ｋ）から第１形式フレーム画像Ｆ_４２０１（ｋ）を生成させる。さらに、第２生成部１３に指令して、間引きフレーム画像Ｆ_ｃｃｂ（ｋ）から第２形式フレーム画像Ｆ_４２０２（ｋ）を生成させてステップＳ１３へ進む。

【0023】

ステップＳ１３では、スイッチ１４を切り替えて第１生成部１２と符号化部１５とを接続させて、符号化部１５に、ステップＳ１２で生成された第１形式フレーム画像Ｆ_４２０１（ｋ）に対してフレーム内符号化処理を施させ、第１圧縮フレームＩ_４２０１（ｋ）を生成させてステップＳ１４へ進む。ステップＳ１４では、スイッチ１４を切り替えて第２生成部１３と符号化部１５と接続させて、符号化部１５に、ステップＳ２で生成された第２形式フレーム画像Ｆ_４２０２（ｋ）に対してフレーム内符号化処理を施させ、第２圧縮フレームＩ_４２０２（ｋ）を生成させてステップＳ１５へ進む。

【0024】

ステップＳ１５では、入力された全てのフレーム画像Ｆ_４４４（ｎ）に対して処理が行われたか否かを判定する。全てのフレーム画像Ｆ_４４４（ｎ）に対して処理が行われた場合、すなわち全フレーム画像Ｆ_４４４（ｎ）のそれぞれから第１圧縮フレームＩ_４２０１（ｎ）と第２圧縮フレームＩ_４２０２（ｎ）とが生成された場合には、ステップＳ１５が肯定判定されて処理を終了する。全てのフレーム画像Ｆ_４４４（ｎ）に対する処理が終了していない場合には、ステップＳ１５が否定判定されてステップＳ１１へ戻る。

【0025】

−−復号装置−−
次に、上述した符号化装置１により生成された第１圧縮フレームＩ_４２０１および第２圧縮フレームＩ_４２０２を復号して、フレーム画像Ｆ_４４４を生成する復号装置２について説明する。
図５は、本実施の形態による復号装置２の構成を示すブロック図である。復号装置２は、制御部２０と、復号部２１と、スイッチ２２と、第１蓄積部２３と、第２蓄積部２４と、合成部２５と、色差補間部２６とを備える。制御部２０はＣＰＵやその周辺回路等から構成されており、不図示の記憶媒体（たとえばフラッシュメモリ等）に予め記憶されている制御プログラムを読み込んで実行することにより、復号装置２の各部を制御する。

【0026】

図６に示す各種の復号画像の輝度成分と色差成分のサンプル配置例を参照しながら、制御部２０と、復号部２１と、スイッチ２２と、第１蓄積部２３と、第２蓄積部２４と、合成部２５と、色差補間部２６とが実行する処理について説明する。なお、図６においては、図示の都合上、輝度成分を「○」、色差成分を「×」として示す。また、図６においては、図示の都合上、復号画像を構成する輝度成分および色差成分のうち、一部の輝度成分および色差成分を表す。

【0027】

復号部２１は、制御部２０により制御され、入力した符号化データをフレーム単位で復号して復号データを生成する。この場合、入力した符号化データに付加された識別情報を参照して、入力された符号化データが第１圧縮フレームＩ_４２０１の場合には、復号部２１は復号処理によりＹＵＶ４：２：０形式の第１形式復号画像ＦＤ_４２０１を生成する。入力した符号化データに付加された識別情報を参照して、入力された符号化データが第２圧縮フレームＩ_４２０２の場合には、復号部２１は復号処理によりＹＵＶ４：２：０形式の第２形式復号画像ＦＤ_４２０２を生成する。復号部２１は、各符号化データに付加された識別情報を復号して、制御部２０へ出力する。

【0028】

図６（ａ）に第１形式復号画像ＦＤ_４２０１のサンプル配置例を示す。第１形式復号画像ＦＤ_４２０１はＹＵＶ４：２：０形式の第１形式フレーム画像Ｆ_４２０１を符号化した第１圧縮フレームＩ_４２０１を復号したものである。したがって、第１形式復号画像ＦＤ_４２０１の輝度成分と色差成分とのサンプル配置は、図２（ｃ）に示すＹＵＶ４：２：０形式の第１形式フレーム画像Ｆ_４２０１のサンプル配置と同一となる。すなわち、第１形式復号画像ＦＤ_４２０１では、全ての輝度成分と、間引きフレーム画像Ｆ_ｃｃｂの色差成分のうちの奇数行の色差成分とが配置される。

【0029】

図６（ｂ）に第２形式復号画像ＦＤ_４２０２のサンプル配置例を示す。第２形式復号画像ＦＤ_４２０２はＹＵＶ４：２：０形式の第２形式フレーム画像Ｆ_４２０２を符号化した第２圧縮フレームＩ_４２０２を復号したものである。したがって、第２形式復号画像ＦＤ_４２０２の輝度成分と色差成分とのサンプル配置は、図２（ｄ）に示すＹＵＶ４：２：０形式の第２形式フレーム画像Ｆ_４２０２のサンプル配置と同一となる。すなわち、第２形式復号画像ＦＤ_４２０２では、ダミー輝度と、間引きフレーム画像Ｆ_ｃｃｂの色差成分のうちの偶数行の色差成分とが配置される。なお、図６（ｂ）においても、図示の都合上、輝度成分を破線で示すことにより、ダミー輝度であることを表す。

【0030】

図５のスイッチ２２は制御部２０により制御され、復号部２１により第１形式復号画像ＦＤ_４２０１が生成された場合には、復号部２１と第１蓄積部２３とを接続する。この場合、制御部２０は、復号部２１から出力された識別情報を用いて、スイッチ２２の切り替えを制御する。復号部２１で第１形式復号画像ＦＤ_４２０１が生成された場合には、制御部２０はスイッチ２２を介して復号部２１と第１蓄積部２３とを接続させて、第１形式復号画像ＦＤ_４２０１を第１蓄積部２３に格納する。復号部２１により第２形式復号画像ＦＤ_４２０２が生成された場合には、制御部２０はスイッチ２２を介して復号部２１と第２蓄積部２４とを接続させて、第２形式復号画像Ｆ_４２０２を第２蓄積部２４に格納する。

【0031】

合成部２５は制御部２０により制御され、第１蓄積部２３に格納された第１形式復号画像ＦＤ_４２０１と第２蓄積部２４に格納された第２形式復号画像ＦＤ_４２０２とを合成する。すなわち、合成部２５は、第１形式復号画像ＦＤ４２０１の輝度成分および色差成分と、第２形式復号画像ＦＤ_４２０２の色差成分とを合成して間引き復号画像ＦＤ_ｃｃｂを生成する。

【0032】

図６（ｃ）に間引き復号画像ＦＤ_ｃｃｂのサンプル配置例を示す。間引き復号画像ＦＤ_ｃｃｂは、第１形式復号画像ＦＤ_４２０１と第２形式復号画像ＦＤ_４２０２とを合成したものなので、全ての輝度成分と、間引きフレーム画像Ｆ_ｃｃｂの色差成分とがサンプル配置される。すなわち、間引き復号画像ＦＤ_ｃｃｂのサンプル配置は、図２（ｂ）に示すフレーム画像Ｆ_４４４の色差成分に市松間引き処理を施して生成されたＹＵＶ４：２：２形式の間引きフレーム画像Ｆ_ｃｃｂと同一となる。

【0033】

図５の色差補間部２６は、合成部２５により生成された間引き復号画像ＦＤ_ｃｃｂの色差成分を公知の補間処理を用いて補間して、図６（ｄ）に示すＹＵＶ４：４：４形式の復号画像ＦＤ_４４４を生成する。すなわち、色差補間部２６は、図２（ａ）に示すフレーム画像Ｆ_４４４のサンプル配置と同一の輝度成分と色差成分のサンプル配置を有する復号画像ＦＤ_４４４を生成する。

【0034】

図７に色差補間部２６による色差成分の補間処理の例を示す。図７においては、サンプル配置された色差成分を実線で示し、補間対象の色差成分を破線で示す。色差補間部２６は、たとえば、補正対象の色差成分Ｃ_ｐｑ（ｐ、ｑは自然数）を補間処理により生成する場合には、以下の式（１）を用いる。すなわち、色差補間部２６は、補正対象の色差成分Ｃ_ｐｑを中心として行方向と列方向に隣接する４つの色差成分の適応方向重み付け平均等に基づいて補間処理を行う。
Ｃ_ｐｑｈ＝（Ｃ_{ｐ（ｑ−１）}＋Ｃ_{ｐ（ｑ＋１）}）／２
Ｃ_ｐｑｖ＝（Ｃ_{（ｐ−１）ｑ}＋Ｃ_{（ｐ＋１）ｑ}）／２
Ｓ_ｐｑｈ＝｜Ｃ_{ｐ（ｑ−１）}−Ｃ_{ｐ（ｑ＋１）}｜
Ｓ_ｐｑｖ＝｜Ｃ_{（ｐ−１）ｑ}−Ｃ_{（ｐ＋１）ｑ}｜
Ｋ_ｐｑｈ＝Ｓ_ｐｑｖ／（Ｓ_ｐｑｈ＋Ｓ_ｐｑｖ）
Ｋ_ｐｑｖ＝Ｓ_ｐｑｈ／（Ｓ_ｐｑｈ＋Ｓ_ｐｑｖ）
Ｃ_ｐｑ＝Ｃ_ｐｑｈ×Ｋ_ｐｑｈ＋Ｃ_ｐｑｖ×Ｋ_ｐｑｖ …（１）

【0035】

図８に示すフローチャートを参照しながら、復号装置２の処理について説明する。図８に示す処理は制御部２０でプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、制御部２０により起動され、実行される。
ステップＳ２１においては、復号部２１を制御して、入力した符号化データを復号させステップＳ２２へ進む。この場合、符号化データが第１圧縮データＩ_４２０１のときには第１形式復号画像ＦＤ_４２０１を生成し、符号化データが第２圧縮データＩ_４２０２のときには第２形式復号画像ＦＤ_４２０２を生成する。また、符号化データに付加された識別情報を入力する。

【0036】

ステップＳ２２では、入力した識別情報を用いて復号部２１によって第１形式復号画像ＦＤ_４２０１が生成されたか否かを判定する。第１形式復号画像ＦＤ_４２０１が生成された場合には、ステップＳ２２が肯定判定されてステップＳ２３へ進む。第１形式復号画像ＦＤ_４２０１が生成されていない場合、すなわち第２形式復号画像ＦＤ_４２０２が生成された場合には、ステップＳ２２が否定判定されてステップＳ２４へ進む。

【0037】

ステップＳ２３では、スイッチ２２を切り替えて復号部２１と第１蓄積部２３とを接続し、第１形式復号画像ＦＤ_４２０１を第１蓄積部２３に格納させてステップＳ２５へ進む。ステップＳ２４では、スイッチ２２を切り替えて復号部２１と第２蓄積部２４とを接続し、第２形式復号画像ＦＤ_４２０２を第２蓄積部２４に格納させてステップＳ２５へ進む。ステップＳ２５では、合成部２５を制御して、第１蓄積部２３に格納された第１形式復号画像ＦＤ_４２０１と、第２蓄積部２４に格納された第２形式復号画像ＦＤ_４２０２とを合成して、間引き復号画像ＦＤ_ｃｃｂを生成してステップＳ２６へ進む。

【0038】

ステップＳ２６では、色差補間部２６を制御して、間引き復号画像ＦＤ_ｃｃｂに色差成分に補間処理を施して復号画像ＦＤ_ｃｃｂを生成してステップＳ２７へ進む。ステップＳ２７においては、入力された全ての符号化データに対して処理が行われたか否かを判定する。全ての符号化データのそれぞれに対して処理が行われた場合には、ステップＳ２７が肯定判定されて処理を終了する。全ての符号化データに対する処理が終了していない場合には、ステップＳ２７が否定判定されてステップＳ２１へ戻る。

【0039】

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）符号化装置１では、第１生成部１２は、間引き処理部１１により生成されたＹＵＶ４：２：２形式の間引きフレーム画像Ｆ_ｃｃｂを変換して、ＹＵＶ４：４：４形式のフレーム画像Ｆ_４４４の輝度成分と、ＹＵＶ４：２：２形式の間引きフレーム画像Ｆ_ｃｃｂの色差成分の市松配列中の奇数ライン上の色差成分とからなるＹＵＶ４：２：０形式の第１形式フレーム画像Ｆ_４２０１を生成する。第２生成部１３は、間引き処理部１１により生成されたＹＵＶ４：２：２形式の間引きフレーム画像Ｆ_ｃｃｂを変換して、擬似輝度成分と、ＹＵＶ４：２：２形式の間引きフレーム画像Ｆ_ｃｃｂの色差成分の市松配列中の偶数ライン上の色差成分とからなるＹＵＶ４：２：０形式の第２形式フレーム画像Ｆ_４２０２を生成する。そして、符号化部１５は、第１生成部１２により生成された第１形式フレーム画像Ｆ_４２０１と、第２生成部１３により生成された第２形式フレーム画像Ｆ_４２０２とを符号化する。したがって、ＹＵＶ４：４：４形式にて映像を符号化する符号化装置と比較して、符号化量を抑制することができる。

【0040】

また、ＤＶＤやデジタル放送などでは、ＭＰＥＧ−２ビデオのメインプロファイルやＭＰＥＧ−４ＡＶＣのハイプロファイル等のＹＵＶ４：２：０形式に対応した符号化装置や復号装置が広く普及している。本実施の形態による符号化装置１では、ＹＵＶ４：２：０形式の第１形式フレーム画像Ｆ_４２０１および第２形式フレーム画像Ｆ_４２０２が生成されるので、広く普及しているＹＵＶ４：２：０形式に対応した復号装置を用いて復号を行うことができる。

【0041】

（２）第２生成部１３は、全てのダミー輝度の値を同一の値に設定して第２形式フレーム画像Ｆ_４２０２を生成する。したがって、第２形式フレーム画像Ｆ_４２０２を符号化部１５がフレーム内符号化する場合、輝度成分の符号量を小さい抑え、演算量を減少させることが可能となる。

【0042】

（３）復号装置２では、復号部２１は、ＹＵＶ４：２：０形式の第１形式フレーム画像Ｆ_４２０１の符号化データおよびＹＵＶ４：２：０形式の第２形式フレーム画像Ｆ_４２０２の符号化データをそれぞれ復号して第１形式復号画像ＦＤ_４２０１および第２形式復号画像ＦＤ_４２０２をそれぞれ生成する。合成部２５は、第１形式復号画像ＦＤ_４２０１および第２形式復号画像ＦＤ_４２０２を合成して、間引き復号画像ＦＤ_ｃｃｂを生成する。間引き復号画像ＦＤ_ｃｃｂは、第１形式のフレーム画像Ｆ_４２０１の輝度成分と、第１形式フレーム画像Ｆ_４２０１の色差成分が市松配列の奇数ラインに配列され、第２形式フレーム画像ＦＤ_４２０２の色差成分が市松配列の偶数ラインに配列された色差成分とからなる、ＹＵＶ４：２：２形式の画像に相当する。色差補間部２６は、間引き復号画像ＦＤ_ｃｃｂの色差成分を市松補間して、ＹＵＶ４：４：４形式の復号画像ＦＤ_４４４を生成する。したがって、ＹＵＶ４：２：０形式にて符号化された画像に基づいて、ＹＵＶ４：４：４形式の画像を復号することが可能となる。すなわち、ＹＵＶ４：４：４形式からＹＵＶ４：２：０形式に間引きすることによる色差の劣化に起因して、映像上のエッジ部分に色にじみ等の発生を抑制し、復号画像の画質を向上させることができる。

【0043】

−第２の実施の形態−
本発明の第２の実施の形態による符号化装置について説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、第１形式フレーム画像Ｆ_４２０１の符号化の方法が第１の実施の形態とは異なる。

【0044】

図９に入力されたフレーム画像Ｆ_４４４から生成される間引きフレーム画像Ｆ_ｃｃｂと、第１形式フレーム画像Ｆ_４２０１と、第２形式フレーム画像Ｆ_４２０２と、第１圧縮フレームＩ_４２０１またはＰ_４２０１と、第２圧縮フレームＩ_４２０２とを模式的に示す。なお、図９（ａ）〜（ｄ）、（ｆ）に示す間引きフレーム画像Ｆ_ｃｃｂと、第１形式フレーム画像Ｆ_４２０１と、第２形式フレーム画像Ｆ_４２０２と、第２圧縮フレームＩ_４２０２とは、第１の実施の形態の図２（ａ）〜（ｄ）、（ｆ）に示す間引きフレーム画像Ｆ_ｃｃｂと、第１形式フレーム画像Ｆ_４２０１と、第２形式フレーム画像Ｆ_４２０２と、第２圧縮フレームＩ_４２０２と同様である。

【0045】

符号化部１５は、第１生成部１２により生成された第１形式フレーム画像Ｆ_４２０１（１）を、第１の実施の形態と同様にしてフレーム内符号化処理により図９（ｅ）に示す第１圧縮フレームＩ_４２０１（１）を生成する。２番目に入力されたフレーム画像Ｆ_４４４（２）から生成された第１形式フレーム画像Ｆ_４２０１（２）に対しては、符号化部１５は第１形式フレーム画像Ｆ_４２０１（１）の局部復号信号を用いてフレーム間符号化を行い、第１圧縮フレームＰ_４２０１（２）を生成する。フレーム間符号化処理により、第１形式フレーム画像Ｆ_４２０１（２）のうち第１形式フレーム画像Ｆ_４２０１（１）の局部復号信号に基づく動き補償予測信号に対する差異に対応するデータが符号化される。なお、図９（ｅ）においては、第１形式フレーム画像Ｆ_４２０１（１）の局部復号信号を用いたフレーム間符号化により第１圧縮フレームＰ_４２０１（２）が生成されたことを「→」を用いて模式的に示す。

【0046】

３番目に入力されたフレーム画像Ｆ_４４４（３）から生成された第１形式フレーム画像Ｆ_４２０１（３）に対しては、符号化部１５は第１形式フレーム画像Ｆ_４２０１（２）の局部復号信号を用いてフレーム間符号化を行い、第１圧縮フレームＰ_４２０１（３）を生成する。フレーム間符号化処理により、第１形式フレーム画像Ｆ_４２０１（３）のうち第１形式フレーム画像Ｆ_４２０１（２）の局部復号信号に基づく動き補償予測信号に対する差異に対応するデータが符号化される。すなわち、符号化を行う第１形式フレーム画像Ｆ_４２０１（ｋ）は直前のフレームの第１形式フレーム画像Ｆ_４２０１（ｋ−１）との間でフレーム間符号化が行われる。以後、同様の処理が繰り返されて、図９（ｅ）に示す第１形式圧縮フレームＰ_４２０１（３）〜Ｐ_４２０１（ｎ）が生成される。なお、図９（ｆ）に示すように、第２形式圧縮フレームＩ_４２０２（ｋ）は、第１の実施の形態の場合と同様に、フレーム内符号化により生成される。

【0047】

上述した第２の実施の形態によれば、第１の実施の形態により得られる作用効果に加えて、次の作用効果が得られる。すなわち、第１圧縮フレームＰ_４２０１（２）〜Ｐ_４２０１（ｎ）がフレーム間符号化により生成されるので、第１の実施の形態のように、全ての第１圧縮フレームＩ_４２０１（１）〜Ｉ_４２０１（ｎ）がフレーム内符号化により生成される場合と比べて、符号発生量を抑制することができる。

【0048】

−第３の実施の形態−
本発明の第３の実施の形態による符号化装置について説明する。以下の説明では、第３の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、第１形式フレーム画像Ｆ_４２０１の符号化および第２形式フレーム画像Ｆ_４２０２の符号化の方法が第１の実施の形態とは異なる。

【0049】

図１０に入力されたフレーム画像Ｆ_４４４から生成される間引きフレーム画像Ｆ_ｃｃｂと、第１形式フレーム画像Ｆ_４２０１と、第２形式フレーム画像Ｆ_４２０２と、第１圧縮フレームＩ_４２０１またはＰ_４２０１と、第２圧縮フレームＩ_４２０２またはＰ_４２０２とを模式的に示す。なお、図１０（ａ）〜（ｄ）に示す間引きフレーム画像Ｆ_ｃｃｂと、第１形式フレーム画像Ｆ_４２０１と、第２形式フレーム画像Ｆ_４２０２とは、第１の実施の形態の図２（ａ）〜（ｄ）に示す間引きフレーム画像Ｆ_ｃｃｂと、第１形式フレーム画像Ｆ_４２０１と、第２形式フレーム画像Ｆ_４２０２と同様である。なお、図１０においても、フレーム間符号化により生成されることを「→」を用いて模式的に示す。

【0050】

符号化部１５は、入力した第１形式フレーム画像Ｆ_４２０１を用いて、第２の実施の形態の場合と同様にして、図１０（ｅ）に示すように、フレーム内符号化により第１圧縮フレームＩ_４２０１（１）と、フレーム間符号化により第１圧縮フレームＰ_４２０１（２）〜Ｐ_４２０１（ｎ）を生成する。符号化部１５は、第２生成部１３により生成された第２形式フレーム画像Ｆ_４２０２（１）を、第１の実施の形態と同様にしてフレーム内符号化処理により図１０（ｆ）に示す第２圧縮フレームＩ_４２０２（１）を生成する。２番目に入力されたフレーム画像Ｆ_４４４（２）から生成された第２形式フレーム画像Ｆ_４２０２（２）に対しては、符号化部１５は第２形式フレーム画像Ｆ_４２０２（１）の局部復号信号を用いてフレーム間符号化を行い、第２圧縮フレームＰ_４２０２（２）を生成する。フレーム間符号化処理により、第２形式フレーム画像Ｆ_４２０２（２）のうち第２形式フレーム画像Ｆ_４２０２（１）の局部復号信号に基づく動き補償予測信号に対する差異に対応するデータが符号化される。

【0051】

３番目に入力されたフレーム画像Ｆ_４４４（３）から生成された第２形式フレーム画像Ｆ_４２０２（３）に対しては、符号化部１５は第２形式フレーム画像Ｆ_４２０２（２）の局部復号信号を用いてフレーム間符号化を行い、第２圧縮フレームＰ_４２０２（３）を生成する。すなわち、符号化を行う第２形式フレーム画像Ｆ_４２０２（ｋ）は直前のフレームの第２形式フレーム画像Ｆ_４２０２（ｋ−１）との間でフレーム間符号化が行われる。以後、同様の処理が繰り返されて、図１０（ｅ）に示す第２形式圧縮フレームＰ_４２０２（３）〜Ｐ_４２０２（ｎ）が生成される。

【0052】

上述した第３の実施の形態によれば、第１の実施の形態により得られる作用効果に加えて、次の作用効果が得られる。すなわち、第２の実施の形態と同様に、第１圧縮フレームＰ_４２０１（２）〜Ｐ_４２０１（ｎ）がフレーム間符号化により生成されることにより符号発生量を抑制することができる。さらに、第２圧縮フレームＰ_４２０２（２）〜Ｐ_４２０２（ｎ）がフレーム間符号化により生成されるので、第１または第２の実施の形態のように、全ての第２圧縮フレームＩ_４２０２（１）〜Ｉ_４２０２（ｎ）がフレーム内符号化により生成される場合と比べて、符号発生量を抑制することができる。

【0053】

−第４の実施の形態−
本発明の第４の実施の形態による符号化装置について説明する。以下の説明では、第４の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、第２形式フレーム画像Ｆ_４２０２の符号化の方法が第１の実施の形態とは異なる。

【0054】

図１１に入力されたフレーム画像Ｆ_４４４から生成される間引きフレーム画像Ｆ_ｃｃｂと、第１形式フレーム画像Ｆ_４２０１と、第２形式フレーム画像Ｆ_４２０２と、第１圧縮フレームＩ_４２０１と、第２圧縮フレームＩ_４２０２またはＰ_４２０２とを模式的に示す。なお、図１１（ａ）〜（ｅ）に示す間引きフレーム画像Ｆ_ｃｃｂと、第１形式フレーム画像Ｆ_４２０１と、第２形式フレーム画像Ｆ_４２０２と、第１圧縮フレームＩ_４２０１は、第１の実施の形態の図２（ａ）〜（ｅ）に示す間引きフレーム画像Ｆ_ｃｃｂと、第１形式フレーム画像Ｆ_４２０１と、第２形式フレーム画像Ｆ_４２０２と、第１圧縮フレームＩ_４２０１と同様である。なお、図１１においても、フレーム間符号化により生成されることを「→」を用いて模式的に示す。

【0055】

符号化部１５は、入力した第１形式フレーム画像Ｆ_４２０１を用いて、第１の実施の形態の場合と同様にして、図１１（ｅ）に示すように、フレーム内符号化により第１圧縮フレームＩ_４２０１を生成する。符号化部１５は、第２生成部１３により生成された第２形式フレーム画像Ｆ_４２０２（１）を、第１形式フレーム画像Ｆ_４２０１（１）の局部復号信号を用いてフレーム間符号化を行い、図１１（ｆ）に示す第２圧縮フレームＰ_４２０２（１）を生成する。フレーム間符号化処理により、第２形式フレーム画像Ｆ_４２０２（１）のうち第１形式フレーム画像Ｆ_４２０１（１）の局部復号信号に基づく動き補償予測信号に対する差異に対応するデータが符号化される。すなわち、符号化部１５は、同一のフレーム番号の第１形式フレーム画像_４２０１と第２形式フレーム画像_４２０２との間でフレーム間符号化を行う。以後、同様の処理が繰り返されて、図１１（ｆ）に示す第２形式圧縮フレームＰ_４２０２（２）〜Ｐ_４２０２（ｎ）が生成される。

【0056】

符号化部１５は、第２形式フレーム画像Ｆ_４２０２に対してフレーム間符号化を行う際に、第２形式フレーム画像Ｆ_４２０２の輝度成分、すなわちダミー輝度の値を、第１形式フレーム画像Ｆ_４２０１の輝度成分との間で誤差が「０」となるように設定する。すなわち、符号化部１５は、第２形式フレーム画像Ｆ_４２０２の輝度成分を、第１形式フレーム画像Ｆ_４２０１の輝度成分と同一の値となるように設定する。さらに、符号化部１５は、第２形式フレーム画像Ｆ_４２０２の符号化の対象となる色差成分（対象色差成分）を、たとえば第１形式フレーム画像Ｆ_４２０１の局部復号における対象色差成分の周辺色差成分の平均値を予測値とする平均予測誤差にて算出した値に設定して符号化する。したがって、符号化部１５が上記の処理を行うことにより、第１の実施の形態により得られる作用効果に加え、さらに、演算量を削減して、第２圧縮データＰ_４２０２に生じる符号量を抑制することができる。

【0057】

−第５の実施の形態−
本発明の第５の実施の形態による符号化装置について説明する。以下の説明では、第５の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、第１形式フレーム画像Ｆ_４２０１の符号化および第２形式フレーム画像Ｆ_４２０２の符号化の方法が第１の実施の形態とは異なる。

【0058】

図１２に入力されたフレーム画像Ｆ_４４４から生成される間引きフレーム画像Ｆ_ｃｃｂと、第１形式フレーム画像Ｆ_４２０１と、第２形式フレーム画像Ｆ_４２０２と、第１圧縮フレームＩ_４２０１またはＰ_４２０１と、第２圧縮フレームＰ_４２０２とを模式的に示す。なお、図１２（ａ）〜（ｄ）に示す間引きフレーム画像Ｆ_ｃｃｂと、第１形式フレーム画像Ｆ_４２０１と、第２形式フレーム画像Ｆ_４２０２とは、第１の実施の形態の図２（ａ）〜（ｄ）に示す間引きフレーム画像Ｆ_ｃｃｂと、第１形式フレーム画像Ｆ_４２０１と、第２形式フレーム画像Ｆ_４２０２と同様である。なお、図１２においても、フレーム間符号化により生成されることを「→」を用いて模式的に示す。

【0059】

符号化部１５は、図１２（ｅ）に示すように、第１形式フレーム画像Ｆ_４２０１（１）に対してはフレーム内符号化により第１圧縮データＩ_４２０１（１）を生成する。符号化部１５は、図１２（ｅ）に示すように、第１形式フレーム画像Ｆ_４２０１（２）〜Ｆ_４２０１（ｎ）に対しては、第２の実施の形態と同様にしてフレーム間符号化により第１圧縮データＰ_４２０１（２）〜Ｐ_４２０１（ｎ）を生成する。符号化部１５は、第４の実施の形態と同様にして、第２形式フレーム画像Ｆ_４２０２（ｋ）に対して、第１形式フレーム画像Ｆ_４２０１（ｋ）の局部復号を用いてフレーム間符号化により、図１２（ｆ）に示すように第２圧縮フレームＰ_４２０２（ｋ）を生成する。

【0060】

上述した第５の実施の形態によれば、第１の実施の形態により得られる作用効果に加えて、次の作用効果が得られる。すなわち、第２の実施の形態と同様に、第１圧縮フレームＰ_４２０１（２）〜Ｐ_４２０１（ｎ）がフレーム間符号化により生成されることにより符号発生量を抑制することができる。さらに、第４の実施の形態と同様に、演算量を削減して、第２圧縮データＰ_４２０２を生成する際の演算量を削減し、生じる符号量を抑制することができる。この結果、第１圧縮フレームＩ_４２０１をフレーム内符号化により生成する第４の実施の形態と比較して、符号化により発生する符号量をさらに抑制することができる。

【0061】

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（１）符号化装置１の第２生成部１３がＹＵＶ４：２：０形式の第２形式フレーム画像Ｆ_４２０２を生成するものに代えて、ＹＵＶ０：２：０形式の第３形式フレーム画像を生成するものについても本発明の一態様に含まれる。この場合、第２生成部１３は、間引きフレーム画像Ｆ_ｃｃｂから、図１３（ａ）に示すように、輝度成分を配置せず、間引きフレーム画像Ｆ_ｃｃｂの色差成分のうちの偶数行の色差成分のみを配置することにより、ＹＵＶ０：２：０形式の第３形式フレーム画像Ｆ_０２０３を生成する。そして、符号化部１５は、図２（ｃ）に示すＹＵＶ４：２：０形式の第１形式フレーム画像Ｆ_４２０１と、図１３（ａ）に示すＹＵＶ０：２：０形式の第３形式フレーム画像Ｆ_０２０３とに対して符号化を行う。符号化部１５は、ＹＵＶ０：２：０形式の第３形式フレーム画像Ｆ_０２０３を符号化する際には、ダミー輝度が存在するものとして演算を行っても良いし、輝度成分が存在しないものとして演算を行っても良い。ＹＵＶ０：２：０形式の第３フレーム画像Ｆ_０２０３が符号化されている場合には、復号装置２の復号部２１は、ダミー輝度または輝度が存在しないものとして復号し、図１３（ｂ）に示す第３形式復号画像ＦＤ_０２０３を生成すればよい。そして、復号装置２は、第１形式復号画像ＦＤ_４２０１と第３形式復号画像ＦＤ_０２０３とを用いて、間引き復号画像ＦＤ_ｃｃｂを生成し、色補間処理を行ってＹＵＶ４：４：４形式の復号画像ＦＤ_４４４を生成すればよい。

【0062】

（２）ＹＵＶ４：２：０形式の第１形式フレーム画像Ｆ_４２０１および第２形式フレーム画像Ｆ_４２０２における輝度成分と色差成分とを以下のように配置するものについても本発明の一態様に含まれる。すなわち、ＹＵＶ４：２：０形式の第１形式フレーム画像Ｆ_４２０１には、間引きフレーム画像Ｆ_ｃｃｂの輝度成分と、間引きフレーム画像Ｆ_ｃｃｂの色差成分のうちの偶数行の色差成分とが配置され、ＹＵＶ４：２：０形式の第２形式フレーム画像Ｆ_４２０２には、ダミー輝度と間引きフレーム画像Ｆ_ｃｃｂの色差成分のうちの奇数行の色差成分とが配置されても良い。

【0063】

（３）符号化装置１は、１つの符号化部１０５を備えるものに代えて複数の符号化部を備え、第１生成部１２と第２生成部１３とはそれぞれ異なる符号化部と接続されるものについても本発明の一態様に含まれる。この場合、第１生成部１２により生成されたＹＵＶ４：２：０形式の第１形式フレーム画像Ｆ_４２０１の符号化と、第２生成部１３により生成されたＹＵＶ４：２：０形式の第２形式フレーム画像Ｆ_４２０２の符号化とを並列処理することができる。

【0064】

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

【符号の説明】

【0065】

１…符号化装置、２…復号装置、１０…制御部、
１１…間引き処理部、１２…第１生成部、１３…第２生成部、
１４…スイッチ、１５…符号化部、２０…制御部、
２１…復号部、２２…スイッチ、２３…第１蓄積部、
２４…第２蓄積部、２５…合成部、２６…色差補間部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】