知財求人 - 知財ポータルサイト「IP Force」
▶ パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2015-233325(P2015-233325A)
(43)【公開日】2015年12月24日
(54)【発明の名称】再生方法及び再生装置
(51)【国際特許分類】
H04N 19/593 20140101AFI20151201BHJP
H04N 19/105 20140101ALI20151201BHJP
H04N 19/159 20140101ALI20151201BHJP
H04N 19/176 20140101ALI20151201BHJP
H04N 19/46 20140101ALI20151201BHJP
H04N 19/59 20140101ALI20151201BHJP
【ＦＩ】
H04N19/593
H04N19/105
H04N19/159
H04N19/176
H04N19/46
H04N19/59
【審査請求】有
【請求項の数】2
【出願形態】ＯＬ
【全頁数】52
(21)【出願番号】特願2015-155362(P2015-155362)
(22)【出願日】2015年8月5日
(62)【分割の表示】特願2014-83063(P2014-83063)の分割
【原出願日】2011年12月28日
(31)【優先権主張番号】61/427,523
(32)【優先日】2010年12月28日
(33)【優先権主張国】US
(71)【出願人】
【識別番号】514136668
【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(72)【発明者】
【氏名】ビクター ワハダニア
(72)【発明者】
【氏名】チョンスン リム
(72)【発明者】
【氏名】スーモンセット ナイン
(72)【発明者】
【氏名】シャン ジン
(72)【発明者】
【氏名】笹井 寿郎
(72)【発明者】
【氏名】西 孝啓
(72)【発明者】
【氏名】柴原 陽司
(72)【発明者】
【氏名】杉尾 敏康
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LB15
5C159MA00
5C159MA04
5C159RB09
5C159RC12
5C159RC32
5C159RC40
5C159TA08
5C159TA33
5C159TB08
5C159TC02
5C159TC26
5C159TC31
5C159TC42
5C159TD03
5C159UA02
5C159UA05
(57)【要約】
【課題】符号化効率を向上する。【解決手段】再生方法は、対象ブロックの左下参照サンプル位置から開始し、対象ブロックの左、左上、上、右上の探索順で探索を行い、最初に探索された連続した一つ以上の有効な参照サンプルを第１の有効な参照サンプルセット、次に探索された連続した一つ以上の有効な参照サンプルを第２の有効な参照サンプルセットとし、（ｉ）無効な参照サンプルが探索順において第１有効参照サンプルセット位置より前に位置するときは、第１有効参照サンプルセットのうち探索順において最初に位置する有効な参照サンプルの値を、（ｉｉ）無効な参照サンプルが第１有効参照サンプルセット位置と第２有効参照サンプルセット位置との間に位置するときは、第１有効参照サンプルセットのうち探索順において最後に位置する有効な参照サンプルの値を、無効な参照サンプルの補完値として用いる。
【選択図】図９
【特許請求の範囲】
【請求項1】
音声データと映像データとを含む変調された多重化データを再生する再生方法であって、
前記変調された多重化データを受信する受信ステップと、
前記変調された多重化データを復調する復調ステップと、
復調された多重化データを多重分離することにより、符号化動画像ビットストリームを取得する多重分離ステップと、
前記符号化動画像ビットストリームを解析することにより、２種類以上のサイズのブロックを含む複数のブロックから選択した対象ブロックの残差データを取得する解析ステップと、
前記対象ブロックにイントラ予測を行うことで、前記対象ブロックの予測サンプル値を算出するイントラ予測ステップと、
前記残差データと前記予測サンプル値とを加算することで前記対象ブロックの再構築サンプルを算出する再構築サンプル算出ステップとを含み、
前記イントラ予測ステップは、
前記対象ブロックの左下、左、左上、上及び右上のいずれかに位置する複数の参照サンプルの各々に対して、イントラ予測された参照サンプルを有効な参照サンプルと判定し、インター予測された参照サンプルを無効な参照サンプルと判定する判定ステップと、
前記複数の参照サンプルが有効な参照サンプルと無効な参照サンプルとを共に含む場合、１以上の前記有効な参照サンプルを選択サンプルとして選択し、前記選択サンプルの値を、前記無効な参照サンプルの補完値とするサンプル選択ステップと、
前記有効な参照サンプルの値、及び、前記無効な参照サンプルの補完値を用いて前記対象ブロックの前記予測サンプルを算出する予測サンプル算出ステップとを含み、
前記サンプル選択ステップでは、
全ての参照サンプル位置のうち、前記対象ブロックの左下参照サンプル位置から開始し、前記対象ブロックの左、左上、上、右上の探索順で探索を行い、
最初に探索された連続した一つ以上の有効な参照サンプルを第１有効参照サンプルセットとし、次に探索された連続した一つ以上の有効な参照サンプルを第２有効参照サンプルセットとし、（ｉ）前記無効な参照サンプルが前記探索順において前記第１有効参照サンプルセット位置より前に位置するときは、前記第１有効参照サンプルセットのうち前記探索順において最初に位置する有効な参照サンプルの値を前記無効な参照サンプルの補完値として用い、（ｉｉ）前記無効な参照サンプルが前記第１有効参照サンプルセット位置と前記第２有効参照サンプルセット位置との間に位置するときは、前記第１有効参照サンプルセットのうち前記探索順において最後に位置する有効な参照サンプルの値を前記無効な参照サンプルの補完値として用いる、
再生方法。
前記変調された多重化データを受信する受信ステップと、
前記変調された多重化データを復調する復調ステップと、
復調された多重化データを多重分離することにより、符号化動画像ビットストリームを取得する多重分離ステップと、
前記符号化動画像ビットストリームを解析することにより、２種類以上のサイズのブロックを含む複数のブロックから選択した対象ブロックの残差データを取得する解析ステップと、
前記対象ブロックにイントラ予測を行うことで、前記対象ブロックの予測サンプル値を算出するイントラ予測ステップと、
前記残差データと前記予測サンプル値とを加算することで前記対象ブロックの再構築サンプルを算出する再構築サンプル算出ステップとを含み、
前記イントラ予測ステップは、
前記対象ブロックの左下、左、左上、上及び右上のいずれかに位置する複数の参照サンプルの各々に対して、イントラ予測された参照サンプルを有効な参照サンプルと判定し、インター予測された参照サンプルを無効な参照サンプルと判定する判定ステップと、
前記複数の参照サンプルが有効な参照サンプルと無効な参照サンプルとを共に含む場合、１以上の前記有効な参照サンプルを選択サンプルとして選択し、前記選択サンプルの値を、前記無効な参照サンプルの補完値とするサンプル選択ステップと、
前記有効な参照サンプルの値、及び、前記無効な参照サンプルの補完値を用いて前記対象ブロックの前記予測サンプルを算出する予測サンプル算出ステップとを含み、
前記サンプル選択ステップでは、
全ての参照サンプル位置のうち、前記対象ブロックの左下参照サンプル位置から開始し、前記対象ブロックの左、左上、上、右上の探索順で探索を行い、
最初に探索された連続した一つ以上の有効な参照サンプルを第１有効参照サンプルセットとし、次に探索された連続した一つ以上の有効な参照サンプルを第２有効参照サンプルセットとし、（ｉ）前記無効な参照サンプルが前記探索順において前記第１有効参照サンプルセット位置より前に位置するときは、前記第１有効参照サンプルセットのうち前記探索順において最初に位置する有効な参照サンプルの値を前記無効な参照サンプルの補完値として用い、（ｉｉ）前記無効な参照サンプルが前記第１有効参照サンプルセット位置と前記第２有効参照サンプルセット位置との間に位置するときは、前記第１有効参照サンプルセットのうち前記探索順において最後に位置する有効な参照サンプルの値を前記無効な参照サンプルの補完値として用いる、
再生方法。
【請求項2】
音声データと映像データとを含む変調された多重化データを再生する再生装置であって、
前記変調された多重化データを受信する受信部と、
前記変調された多重化データを復調する復調部と、
復調された多重化データを多重分離することにより、符号化動画像ビットストリームを取得する多重分離部と、
前記符号化動画像ビットストリームを解析することにより、２種類以上のサイズのブロックを含む複数のブロックから選択した対象ブロックの残差データを取得する解析部と、
前記対象ブロックにイントラ予測を行うことで、前記対象ブロックの予測サンプル値を算出するイントラ予測部と、
前記残差データと前記予測サンプル値とを加算することで前記対象ブロックの再構築サンプルを算出する再構築サンプル算出部とを備え、
前記イントラ予測部は、
前記対象ブロックの左下、左、左上、上及び右上のいずれかに位置する複数の参照サンプルの各々に対して、イントラ予測された参照サンプルを有効な参照サンプルと判定し、インター予測された参照サンプルを無効な参照サンプルと判定する判定部と、
前記複数の参照サンプルが有効な参照サンプルと無効な参照サンプルとを共に含む場合、１以上の前記有効な参照サンプルを選択サンプルとして選択し、前記選択サンプルの値を、前記無効な参照サンプルの補完値とするサンプル選択部と、
前記有効な参照サンプルの値、及び、前記無効な参照サンプルの補完値を用いて前記対象ブロックの前記予測サンプルを算出する予測サンプル算出部とを含み、
前記サンプル選択部では、
全ての参照サンプル位置のうち、前記対象ブロックの左下参照サンプル位置から開始し、前記対象ブロックの左、左上、上、右上の探索順で探索を行い、
最初に探索された連続した一つ以上の有効な参照サンプルを第１有効参照サンプルセットとし、次に探索された連続した一つ以上の有効な参照サンプルを第２有効参照サンプルセットとし、（ｉ）前記無効な参照サンプルが前記探索順において前記第１有効参照サンプルセット位置より前に位置するときは、前記第１有効参照サンプルセットのうち前記探索順において最初に位置する有効な参照サンプルの値を前記無効な参照サンプルの補完値として用い、（ｉｉ）前記無効な参照サンプルが前記第１有効参照サンプルセット位置と前記第２有効参照サンプルセット位置との間に位置するときは、前記第１有効参照サンプルセットのうち前記探索順において最後に位置する有効な参照サンプルの値を前記無効な参照サンプルの補完値として用いる、
再生装置。
前記変調された多重化データを受信する受信部と、
前記変調された多重化データを復調する復調部と、
復調された多重化データを多重分離することにより、符号化動画像ビットストリームを取得する多重分離部と、
前記符号化動画像ビットストリームを解析することにより、２種類以上のサイズのブロックを含む複数のブロックから選択した対象ブロックの残差データを取得する解析部と、
前記対象ブロックにイントラ予測を行うことで、前記対象ブロックの予測サンプル値を算出するイントラ予測部と、
前記残差データと前記予測サンプル値とを加算することで前記対象ブロックの再構築サンプルを算出する再構築サンプル算出部とを備え、
前記イントラ予測部は、
前記対象ブロックの左下、左、左上、上及び右上のいずれかに位置する複数の参照サンプルの各々に対して、イントラ予測された参照サンプルを有効な参照サンプルと判定し、インター予測された参照サンプルを無効な参照サンプルと判定する判定部と、
前記複数の参照サンプルが有効な参照サンプルと無効な参照サンプルとを共に含む場合、１以上の前記有効な参照サンプルを選択サンプルとして選択し、前記選択サンプルの値を、前記無効な参照サンプルの補完値とするサンプル選択部と、
前記有効な参照サンプルの値、及び、前記無効な参照サンプルの補完値を用いて前記対象ブロックの前記予測サンプルを算出する予測サンプル算出部とを含み、
前記サンプル選択部では、
全ての参照サンプル位置のうち、前記対象ブロックの左下参照サンプル位置から開始し、前記対象ブロックの左、左上、上、右上の探索順で探索を行い、
最初に探索された連続した一つ以上の有効な参照サンプルを第１有効参照サンプルセットとし、次に探索された連続した一つ以上の有効な参照サンプルを第２有効参照サンプルセットとし、（ｉ）前記無効な参照サンプルが前記探索順において前記第１有効参照サンプルセット位置より前に位置するときは、前記第１有効参照サンプルセットのうち前記探索順において最初に位置する有効な参照サンプルの値を前記無効な参照サンプルの補完値として用い、（ｉｉ）前記無効な参照サンプルが前記第１有効参照サンプルセット位置と前記第２有効参照サンプルセット位置との間に位置するときは、前記第１有効参照サンプルセットのうち前記探索順において最後に位置する有効な参照サンプルの値を前記無効な参照サンプルの補完値として用いる、
再生装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置及び動画像符号化復号装置に関し、特に、画面内予測を用いる動画像符号化方法及び動画像復号方法に関する。
【背景技術】
【0002】
Ｈ．２６３、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４、及び次世代のＨＥＶＣ（Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）等の最先端の動画像符号化方式は、画面内予測及び画面間予測を用いている。画面内予測（以下、イントラ予測と称する）では、符号化対象単位のサンプル値は、同じピクチャ内の既に符号化したサンプルから予測される。一方、画面間予測（以下、インター予測と称する）では、ピクチャ内における符号化対象単位のサンプル値は、既に符号化した他のピクチャのサンプルから予測される。
【0003】
ここで、動画像の復号処理中に、送信時のロス又は整合していない復号が実行されるなどのさまざまな要因によってエラーが発生することがある。インター予測を用いる場合、このエラーは後続のピクチャにも伝播し、このエラーは時間の経過とともに蓄積される。また、イントラ予測は参照サンプルの品質に影響を受けやすい。よって、イントラ予測において、エラーがあるサンプル値が参照サンプルとして用いられると、画質が大きく低下する。
【0004】
エラーを含むイントラ予測に起因するこのような品質低下を解決するための先行技術には、Ｈ．２６４において用いられる、制約付きイントラ予測方式が含まれる。この方式は、イントラ予測されたサンプルのみをイントラ予測の参照サンプルに使用し、参照サンプルがイントラ予測されていない場合には特定のイントラ予測方法の使用を禁じるものである（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】ＩＳＯ／ＩＥＣ １４４９６−１０「ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、次世代のＨＥＶＣ動画像符号化方式では、複数のサイズの可変長符号化単位を用いる。この方式では、イントラ予測又はインター予測を用いるかは、各符号化単位に対して個別に設定することができる。これにより、ＨＥＶＣは、符号化効率を向上できる。
【0007】
しかしながら、先行技術における制約付きイントラ予測方式は、このような可変長符号化単位を使用する場合を想定しておらず、このような可変長符号化単位を使用する場合に符号化効率が不十分である可能性がある。
【0008】
そこで、本発明は、符号化効率を向上できる動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置及び動画像符号化復号装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の一形態に係る動画像復号方法は、符号化動画像ビットストリームを解析することにより、２種類以上のサイズの複数のブロックのうち対象ブロックの残差データを取得する解析ステップと、前記対象ブロックにイントラ予測を行うことで、前記対象ブロックの予測サンプル値を算出するイントラ予測ステップと、前記残差データと前記予測サンプル値とを加算することで前記対象ブロックの再構築サンプルを算出する再構築サンプル算出ステップとを含み、前記イントラ予測ステップでは、前記対象ブロックの直上及び直左の一方に位置する複数の参照サンプルの各々の有効性を判定し、前記複数の参照サンプルが有効な参照サンプルと無効な参照サンプルとを共に含む場合、当該有効な参照サンプルを用いて前記イントラ予測を行い、イントラ予測された参照サンプルを有効な参照サンプルと判定し、インター予測された参照サンプルを無効な参照サンプルと判定する。
【0010】
これによれば、本発明の一形態に係る動画像復号方法は、対象ブロックの直上及び直左の一方に位置する複数の参照サンプルが有効な参照サンプルと無効な参照サンプルとを共に含む場合に、当該有効な参照サンプルを用いてイントラ予測を行うことができる。これにより、当該動画像復号方法は、有効な参照サンプルを、より多く利用することができるので、符号化効率を向上できる。
【0011】
また、前記解析ステップでは、さらに、前記符号化動画像ビットストリームを解析することにより、イントラ予測方法を取得し、前記イントラ予測ステップは、さらに、１以上の前記有効な参照サンプルを用いて無効な参照サンプルの位置の参照サンプルである補完サンプルを算出する参照サンプル算出ステップと、前記イントラ予測方法に従い、前記有効な参照サンプル及び前記補完サンプルを用いて前記対象ブロックの前記予測サンプルを算出する予測サンプル算出ステップとを含んでもよい。
【0012】
これによれば、本発明の一形態に係る動画像復号方法は、無効な参照サンプル位置のサンプルを有効な参照サンプルを用いて生成できる。これにより、当該動画像復号方法は、有効な参照サンプルをより多く利用することができるので、符号化効率を向上できる。
【0013】
また、前記参照サンプル算出ステップは、１つの前記有効な参照サンプルを選択サンプルとして選択するサンプル選択ステップと、前記選択サンプルの値を、前記補完サンプルの値とするステップとを含んでもよい。
【0014】
また、前記サンプル選択ステップは、全ての参照サンプル位置のうち、左下参照サンプル位置から開始し、右上参照サンプル位置で終わる方向の探索で見つかった、最初の有効な参照サンプルの位置を開始参照サンプル位置として識別するステップと、前記探索と同じサンプル順において、前記無効な参照サンプルの位置が、前記開始参照サンプル位置より前に位置するか後ろに位置するかを判定するステップと、前記無効な参照サンプルの位置が前記開始サンプル位置より前に位置する場合、前記開始参照サンプル位置のサンプルを前記選択サンプルとして選択するステップと、前記無効な参照サンプルの位置が前記開始サンプル位置より後ろに位置する場合、前記探索と同じサンプル順に従い、前記無効な参照サンプル位置より前であり、かつ当該無効な参照サンプル位置に最も近い有効な参照サンプルを前記選択サンプルとして選択してもよい。
【0015】
また、前記参照サンプル算出ステップは、複数の前記有効な参照サンプルを複数の選択サンプルとして選択するステップと、前記複数の選択サンプルの値に予めさだめられたスケーリング係数を乗算することで複数のスケール値を算出するステップと、前記複数のスケーリング値の総和である第１総和値を算出するステップと、前記第１総和値と予め定められたオフセット値との和である第２総和値を算出するステップと、前記第２総和値を、予め定められたシフトステップ値でダウンシフトすることで前記補完サンプルの値を算出するステップとを含んでもよい。
【0016】
また、前記イントラ予測は、イントラＤＣ予測であってもよい。
【0017】
これによれば、本発明の一形態に係る動画像復号方法は、イントラＤＣ予測において、有効な参照サンプルをより多く利用することができるので、符号化効率を向上できる。
【0018】
また、前記イントラ予測ステップは、１以上の前記有効な参照サンプルを選択サンプルとして選択するステップと、前記選択サンプルの数を特定するステップと、ルックアップテーブルを用いて、前記選択サンプルの数に従って、スケーリング係数と、オフセット値と、シフトステップ値とを選択するステップと、前記選択サンプルの値の総和である第１総和値を算出するステップと、前記第１総和値に前記選択されたスケーリング係数を乗算することでスケール値を算出するステップと、前記選択されたオフセット値と、前記スケール値との和である第２総和値を算出するステップと、前記第２総和値を、前記選択されたシフトステップ値でダウンシフトすることで、前記対象ブロックの全ての予測サンプル値を生成するステップとを含んでもよい。
【0019】
また、前記イントラ予測ステップでは、さらに、予め定められた値を、前記対象ブロックの全ての予測サンプル値とする場合を含んでもよい。
【0020】
また、前記解析ステップでは、さらに、前記符号化動画像ビットストリームのヘッダ内に符号化されている選択情報を取得し、前記選択情報は、（１）前記イントラ予測である制約付きイントラ予測方式と、（２）前記複数の参照サンプルの有効性を判断せずに全ての参照サンプルを用いてイントラ予測を行う非制約付きイントラ予測方式との一方を示し前記イントラ予測ステップでは、前記選択情報で示される前記制約付きイントラ予測方式及び前記非制約付きイントラ予測方式のいずれかを用いてイントラ予測を行ってもよい。
【0021】
これによれば、本発明の一形態に係る動画像復号方法は、選択情報に基づき、制約付きイントラ予測方式と非制約付きイントラ予測方式とのいずれが用いられたかを把握できる。
【0022】
また、前記イントラ予測ステップでは、対象ピクチャ外の参照サンプルを無効な参照サンプルと判定してもよい。
【0023】
また、前記イントラ予測ステップでは、前記対象ブロックと同じピクチャ分割単位に含まない参照サンプルを無効な参照サンプルと判定してもよい。
【0024】
また、前記ピクチャ分割単位はスライスであってもよい。
【0025】
また、前記ピクチャ分割単位はライトウェイトスライスであってもよい。
【0026】
また、前記ピクチャ分割単位はタイルであってもよい。
【0027】
また、前記ピクチャ分割単位はＷＰＰ（Ｗａｖｅｆｒｏｎｔ Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）であってもよい。
【0028】
また、本発明の一形態に係る動画像符号化方法は、原画像を２種類以上のサイズの複数のブロックに分割する分割ステップと、前記複数のブロックのうち対象ブロックにイントラ予測を行うことで予測サンプル値を算出するイントラ予測ステップと、前記対象ブロックの原画像と前記予測サンプル値との差分である残差データを算出する残差データ算出ステップと、前記残差データを符号化することで符号化動画像ビットストリームを生成する符号化ステップとを含み、前記イントラ予測ステップでは、前記対象ブロックの直上及び直左の一方に位置する複数の参照サンプルの各々の有効性を判定し、前記複数の参照サンプルが有効な参照サンプルと無効な参照サンプルとを共に含む場合、当該有効な参照サンプルを用いて前記イントラ予測を行い、イントラ予測された参照サンプルを有効な参照サンプルと判定し、インター予測された参照サンプルを無効な参照サンプルと判定する。
【0029】
これによれば、本発明の一形態に係る動画像符号化方法は、対象ブロックの直上及び直左の一方に位置する複数の参照サンプルが有効な参照サンプルと無効な参照サンプルとを共に含む場合に、当該有効な参照サンプルを用いてイントラ予測を行うことができる。これにより、当該動画像復号方法は、有効な参照サンプルを、より多く利用することができるので、符号化効率を向上できる。
【0030】
なお、本発明は、このような動画像符号化方法及び動画像復号方法として実現できるだけでなく、動画像符号化方法又は動画像復号方法に含まれる特徴的なステップを手段とする動画像符号化装置又は動画像復号装置として実現できる。また、本発明は、このような動画像符号化装置及び動画像復号装置を含む動画像符号化復号装置としても実現できる。
【0031】
また、本発明は、動画像符号化方法又は動画像復号方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【0032】
さらに、本発明は、このような動画像符号化装置又は動画像復号装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような動画像符号化装置又は動画像復号装置を備える各種装置又はシステムとして実現したりできる。
【発明の効果】
【0033】
以上より、本発明は、符号化効率を向上できる動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置及び動画像符号化復号装置を提供できる。
【図面の簡単な説明】
【0034】
【発明を実施するための形態】
【0035】
まず、複数のサイズの可変長符号化単位を用いて、制約付きイントラ予測方式による処理を行った場合の問題点を説明する。
【0036】
図１に、可変長符号化単位が同一の場合の、８×８の符号化対象ブロックに対する制約付きイントラ予測方式による処理の一例を示す。同図において、インター予測されたブロックには斜線をつけている。すなわち、上部及び右上の隣接ブロックがインター予測を用いて符号化されており、左及び左上の隣接ブロックがイントラ予測を用いて符号化されている。イントラ予測を実行するために用いられる参照サンプルは、小さな四角形で示す。
【0037】
この例に対して制約付きイントラ予測方式を用いる場合、８×８のイントラ予測に対して考えられる合計９通りのイントラ予測方法のうち（Ｈ．２６４規格ではイントラ予測モードと称される）、３通りのイントラ予測方法、すなわち、Ｉｎｔｒａ＿８ｘ８＿Ｈｏｒｉｚｏｎｔａｌ、Ｉｎｔｒａ＿８ｘ８＿ＤＣ、及びＩｎｔｒａ＿８ｘ８＿Ｈｏｒｉｚｏｎｔａｌ＿Ｕｐが使用可能であり、その他の５つの方向のイントラ予測方法は使用することができない。
【0038】
また、次世代のＨＥＶＣ動画像符号化方式は、４×４、８×８、１６×１６、３２×３２、及び６４×６４の二次元符号化対象ブロックなど、複数の可変長符号化単位を用いる。この方式では、イントラ予測又はインター予測を用いるかは、各符号化単位に対して個別に設定することができる。これにより、ＨＥＶＣの符号化効率が向上する。また、このように柔軟に符号化単位を分割することは、従来の技術と比較して効果があると文献に記載されている。
【0039】
ここで、イントラ予測及びインター予測された参照サンプルが混在する可変長符号化単位を使用する動画像符号化方式に制約付きイントラ予測方式を適用した場合、符号化効率が不十分であるという課題を有する。
【0040】
図２は、異なるサイズの可変長符号化単位を用いた場合の、制約付きイントラ予測方式による処理の一例を示す図である。この例では、符号化対象ブロックは１６×１６ブロックである。また、右上隣接ブロックＡ及びＢはイントラ予測されており、上部隣接ブロックＣはインター予測されており、上部隣接ブロックＤ及びＥはイントラ予測されており、左上隣接ブロックＦはインター予測されており、左隣接ブロックＧはイントラ予測されており、左下隣接ブロックＪはイントラ予測されており、左下隣接ブロックＨ及びＩはインター予測されている。
【0041】
つまり、図１に示すようにブロックサイズが一定の場合には、対象ブロックの一方向（左下、左、上又は右上）に隣接するブロックは必ず１つである。一方で、図２に示すようにブロックサイズが可変の場合には、対象ブロックの一方向に隣接するブロックが複数になる場合がある。さらに、この複数のブロックで用いられた予測タイプが異なる場合が発生する。このように、一方向に隣接するブロックの少なくとも一つがインター予測されている場合、制約付きイントラ予測方式では、当該一方向の参照サンプルを用いるイントラ予測方法を使用できない。これにより、イントラ予測された有効な参照サンプルが存在するにもかかわらず、当該有効な参照サンプルが使用できない場合が発生する。
【0042】
具体的には、ＨＥＶＣにおける複数の方向でのイントラ予測は、１以上の隣接する参照サンプル（同図において、小さな四角形で示している）が用いられるさまざまなイントラ予測方法の選択に対応している。ここで、先行技術であるＨ．２６４の制約付きイントラ予測方式が用いられる場合、ブロックＣがインター予測されていることから、上部及び右上の参照サンプルを用いて行うイントラ予測方法は、１つの方法を除いてすべて使用不可である。
【0043】
また、イントラＤＣ予測方法は、Ｈ．２６４の制約付きイントラ予測方式により可能であるが、上部隣接ブロックからの参照サンプルは、イントラ予測された参照サンプルとインター予測された参照サンプルとが混在していることからすべて使用されない。つまり、イントラＤＣ予測サンプル値は、左隣接ブロックからの参照サンプルのみを用いて算出される。従って、エラーを含むイントラ予測に起因する品質低下を解決するための先行技術では、イントラ予測及びインター予測された参照サンプルが混在する場合には最適な符号化効率が得られない。
【0044】
これに対して、本実施の形態では、耐性イントラ（ｃｏｎｓｔｒａｉｎｅｄ−ｉｎｔｒａ）予測を行う新たな方法を提案する。本実施の形態は、イントラ予測を行う際に信頼性の高い参照サンプルを最大限に利用できるようにする。また、次世代のＨＥＶＣ動画像符号化方式などの最新の動画像符号化方式は、複数の方向のイントラ予測方式と可変長符号化単位との組み合わせを利用する。本実施の形態は、上記のような動画像符号化方式において、エラー耐性が向上されたイントラ予測を行う手段について説明する。
【0045】
本実施の形態に係る動画像符号化方法は、エラー耐性の効果を得る一方で演算の複雑性を同じレベルに維持するとともに、耐性イントラ予測を最適な効率で行うことができる。これにより、当該動画像符号化方法は符号化効率を向上できる。
【0046】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【0047】
本発明の実施の形態では、イントラ予測されたサンプルのみを用いて画面内予測を行う制約付きイントラ予測を利用する動画像符号化方法及び動画像復号方法を説明する。
【0048】
なお、本明細書全体にわたって、利用可能なサンプル位置という用語は、画像サンプルが物理的に存在している場合を意味する。本発明で考えられる一実施の形態において、画像サンプルがピクチャのエッジの外に位置する場合、そのサンプルは利用不可であると判定され、そうでなければそのサンプルは利用可能であると判定される。
【0049】
また、本発明で考えられる別の実施の形態において、画像サンプルがピクチャのエッジの外に位置するか、対象のピクチャ分割単位とは異なるピクチャ分割単位に位置する場合、その画像サンプルは利用不可であると判定され、そうでなければそのサンプルは利用可能であると判定される。対象のピクチャ分割単位という用語は、符号化又は復号の処理対象のブロック又はサンプルを含むピクチャ分割単位を意味する。
【0050】
また、ピクチャ分割単位とは、例えば、スライスである。なお、このピクチャ分割単位は、ＨＥＶＣにおける、エントロピースライス（ｅｎｔｒｏｐｙ ｓｌｉｃｅ）或いはライトウェイトスライス（ｌｉｇｈｔｗｅｉｇｈｔ ｓｌｉｃｅ）、タイル（ｔｉｌｅ）、又はＷＰＰ（Ｗａｖｅｆｒｏｎｔ Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）であってもよい。
【0051】
エントロピースライスまたはライトウェイトスライスとは、従来のスライスよりも更新する情報を削減したスライスのことである。具体的には、従来のスライスでは、スライス毎にスライスヘッダと呼ばれるヘッダ情報を全て更新する必要があった。一方、ライトウェイトスライスでは、直前の処理済みのブロック結果との依存関係を無くすことを重視し、更新する情報を削減している。
【0052】
タイルとは、符号化順を示す対象の領域を示す単位である。この単位内で予め決められた処理順（例えばラスタスキャン）によって符号化単位（ＬＣＵ）毎に処理が行われる。
【0053】
ＷＰＰとは、符号化順の依存関係を変更することを示す対象の単位である。例えば、従来は直前の処理済みのブロック結果に依存していた処理を、右上の処理済みのブロックの処理結果のみを用いる方法に変更することができる。これにより並列処理を実現できる。
【0054】
（実施の形態１）本発明の実施の形態１では、参照サンプル値を用いてイントラ予測処理を行う制約付きイントラ予測方式を説明する。この方式では、まず各参照サンプル位置の有効性を判定する。そして、その有効な参照サンプル位置の参照サンプル値を用いて無効な参照サンプル位置の参照サンプル値である補完サンプル値を算出する。その後、有効な参照サンプル値及び補完サンプル値を用いてイントラ予測処理を行う。本発明の一実施の形態において、参照サンプルは、イントラ予測されていない場合に無効と判定され、そうでなければ有効と判定される。また、本発明の一実施の形態において、参照サンプルは、イントラ予測されていないか、利用可能でない場合に無効と判定され、そうでなければ参照サンプルは有効と判定される。
【0055】
なお、以下では、有効な参照サンプルを有効サンプル、その値を有効サンプル値、その位置を有効サンプル位置とも記す。同様に、無効な参照サンプルを無効サンプル、その値を無効サンプル値、その位置を無効サンプル位置とも記す。
【0056】
制約付きイントラ予測方式と比較して、利用可能な参照サンプル位置の有効性を最初に判定せずに利用可能な参照サンプル位置の参照サンプル値を用いる先行技術のイントラ予測方式を指す場合に、本明細書においては、非制約付きイントラ予測方式という用語を用いる。つまり、非制約付きイントラ予測方式とは、参照サンプルが有効であるか（イントラ予測されたか）、無効であるか（非イントラ予測されたか）によらず、全ての利用可能な参照サンプル位置の参照サンプル値を用いてイントラ予測を行う方式である。
【0057】
図３に、本発明の実施の形態１に係る動画像符号化処理を説明するフローチャートを示す。
【0058】
まず、ステップＳ１０１では、イントラ予測方式として、制約付きイントラ予測方式及び非制約付きイントラ予測方式のいずれかを選択する。
【0059】
次に、ステップＳ１０２では、対象の原画像を１以上の符号化ブロックに分割する。符号化ブロックの一例は、３２×３２の原画像サンプルを含む二次元のブロックである。また、このステップＳ１０２では、原画像を２種類以上のサイズの複数の符号化ブロックに分割する。
【0060】
次に、ステップＳ１０３では、得られた符号化ブロックを符号化することで、符号化動画像ビットストリームを生成する。また、ステップＳ１０３において、対象ブロックを、イントラ予測タイプを用いて符号化する場合、ステップＳ１０１で選択されたイントラ予測方式が用いられる。
【0061】
次に、ステップＳ１０４では、ステップＳ１０１で選択された制約付きイントラ予測方式及び非制約付きのイントラ予測方式のいずれかの選択結果を、符号化動画像ストリームのヘッダ内に符号化する。
【0062】
図４Ａ〜図４Ｄは、上記動画像符号化方法により生成される符号化動画像ビットストリーム９００における、選択情報９５０が配置される位置を示す図である。この選択情報９５０は、イントラ予測方式として、制約付きイントラ予測方式及び非制約付きイントラ予測方式のいずれが用いられたかを示す情報である。
【0063】
図４Ａ〜図４Ｄに示すように、符号化動画像ビットストリーム９００は、シーケンスヘッダ９０１と、ピクチャ単位の複数のデータ９０２とを含む。ピクチャ単位の各データ９０２は、ピクチャヘッダ９１１と、ピクチャデータ９１２とを含む。さらに、ピクチャデータ９１２は、スライス単位の複数のデータ９１３を含む。また、スライス単位の各データ９１３は、スライスヘッダ９２１と、スライスデータ９２２とを含む。
【0064】
例えば、図４Ａに示すように、選択情報９５０は、シーケンスヘッダ９０１に含まれる。図４Ｂに示すように、選択情報９５０は、ピクチャヘッダ９１１に含まれてもよい。図４Ｃに示すように、選択情報９５０は、スライスヘッダ９２１に含まれてもよい。例えば、この選択情報９５０は、非制約付きイントラ予測方式を示す値「０」と、制約付きイントラ予測方式を示す値「１」とを選択的に示すバイナリフラグである。
【0065】
また、図４Ｄに示す例では、選択情報９５０は、シーケンスヘッダ９０１に含まれるプロファイルパラメータ９５１及びレベルパラメータ９５２の一方、又は両方で示される。具体的には、プロファイルパラメータ９５１及びレベルパラメータ９５２の一方、又は両方と、ルックアップテーブルとを用いて、選択情報９５０を一意に決定できる。
【0066】
このように、本実施の形態に係る動画像符号化方法では、イントラ予測方式として、制約付きイントラ予測方式及び非制約付きイントラ予測方式のいずれが用いられたかを示す選択情報９５０を、符号化動画像ビットストリーム９００のヘッダ内に符号化する。これにより、復号装置は、当該ヘッダ内の選択情報９５０を用いて、用いられたイントラ予測方式を特定できる。
【0068】
まず、ステップＳ２０１では、対象ブロックに用いる予測タイプを選択する。考えられる予測タイプには、イントラ予測タイプ及び非イントラ予測タイプが含まれる。非イントラ予測タイプの一例は、動き補償された画面間予測タイプ（インター予測タイプ）である。そして、ステップＳ２０２では、対象ブロックに用いる予測タイプとして、イントラ予測タイプ及び非イントラ予測タイプのどちらが選択されたかを判定する。
【0069】
イントラ予測タイプが選択された場合（Ｓ２０２でＹｅｓ）、ステップＳ２０３に進む。ステップＳ２０３では、分割された複数のブロックのうち対象ブロックにイントラ予測を行うことで予測サンプル値を算出する。具体的には、利用可能な参照サンプルが有効（イントラ予測された）か、無効（非イントラ予測された）かを判定し、有効なサンプルを用いて、イントラ予測を行うことで予測サンプル値を算出する。より具体的には、少なくとも対象ブロックの直上及び直左の一方に位置する複数の参照サンプルの各々の有効性を判定し、当該複数の参照サンプルが有効サンプルと無効サンプルとを共に含む場合でも、当該有効サンプルを用いてイントラ予測を行う。なお、この処理の詳細については後述する。
【0070】
そして、ステップＳ２０４では、得られた予測サンプル値を用いてイントラ残差データを算出する。具体的には、対象ブロックの原画像と予測サンプル値との差分である残差データを算出する。
【0071】
一方、ステップＳ２０２において非イントラ予測タイプが選択されたと判定された場合（Ｓ２０２でＮｏ）、ステップＳ２０６に進む。ステップＳ２０６では、非イントラ予測を行うことによって、非イントラ残差データと予測情報とを算出する。
【0072】
ステップＳ２０４又はステップＳ２０６の後、ステップＳ２０５で、残差データと予測情報とを符号化することで符号化動画像ビットストリームを生成する。ここで予測情報は、選択された予測タイプを示す信号を含む。イントラ予測タイプが用いられた場合、予測情報は、さらに、選択されたイントラ予測方法を示す信号（選択情報９５０）を含む。また、動き補償されたインター予測などの非イントラ予測タイプが用いられた場合、予測情報は、さらに、動きベクトル、参照ピクチャ指標、及び動きベクトル分解能を示す信号を含んでもよい。
【0074】
ステップＳ２０３Ａでは、参照サンプル位置の有効性を判定する。つまり、各参照サンプルがイントラ予測されたか（有効）、非イントラ予測されたか（無効）を判定する。
【0075】
次に、ステップＳ２０３Ｂでは、無効サンプル位置における参照サンプル値である補完サンプル値を、１以上の有効サンプル値を用いて算出する。
【0076】
以下、この補完サンプル値を算出する処理を詳細に説明する。
【0077】
本発明の一実施の形態では、以下の処理により補完サンプル値を算出する。まず、１以上の有効サンプル値を選択し、選択された有効サンプル値の各々に所定のスケーリング係数を乗算することでスケーリング値を算出する。次に、算出により得られた複数のスケーリング値の総和である第１総和値を求め、求められた第１総和値に所定のオフセット値を加算することで第２総和値を算出する。さらに、それによって得られた第２総和値を所定のシフトステップ値でダウンシフトすることによって、補完サンプル値を求める。
【0078】
ここで、所定のスケーリング係数、オフセット値及びシフトステップ値は、有効サンプル及び無効サンプルの数及び位置などの係数に基づいてルックアップテーブルを用いて求めてもよい。
【0079】
以下、図２に示す場合を例に、補完サンプル値の演算の一例を示す。図２に示す無効サンプル位置（１２，−１）、（１３，−１）、（１４，−１）及び（１５，−１）の参照サンプル値は、有効サンプル位置（１１，−１）及び（１６，−１）の参照サンプル値を平均化することによって算出される。つまり、無効サンプル位置を挟み、かつ当該無効サンプル位置に最も近い２つの有効サンプル位置の有効サンプル値の平均値を、当該無効サンプル位置に対する補完サンプル値として算出してもよい。
【0080】
また、２つの参照サンプル値の平均化することは、所定のスケーリング係数を１、オフセット値を１、かつシフトステップ値を１に設定して、以下の（式１）に示す演算により行うことができる。
【0081】
ｒ（１２，−１）＝ｒ（１３，−１）＝ｒ（１４，−１）＝ｒ（１５，−１）＝（ｒ（１１，−１）＋ｒ（１６，−１）＋１）＞＞１ （式１）
【0082】
また、別の方法として、有効サンプル値の一つを選択し、選択した有効サンプル値を補完サンプル値として算出する。例えば、図２に示す、無効サンプル位置（１２，−１）、（１３，−１）、（１４，−１）及び（１５，−１）の参照サンプル値として、有効サンプル位置（１１，−１）の有効サンプル値をコピーすることができる。つまり、無効サンプル位置に最も近い位置の有効サンプル値を、当該無効サンプル位置に対する補完サンプル値として算出してもよい。
【0083】
具体的には、例えば、以下の処理によりコピー元となる有効サンプルを選択できる。
【0084】
まず、全ての参照サンプル位置のうち、左下参照サンプル位置から開始し、右上参照サンプル位置で終わる方向の探索で見つかった、最初の有効サンプル位置を開始参照サンプル位置として識別する。次に、上記探索と同じサンプル順において、無効サンプル位置が、開始参照サンプル位置より前に位置するか後ろに位置するかを判定する。
【0085】
無効サンプル位置が開始サンプル位置より前に位置する場合、開始参照サンプル位置のサンプルをコピー元の有効サンプルとして選択する。一方、無効サンプルの位置が開始サンプル位置より後ろに位置する場合、上記探索と同じサンプル順に従い、当該無効サンプル位置より前であり、かつ当該無効サンプル位置に最も近い有効サンプルをコピー元の有効サンプルとして選択する。
【0086】
さらに、別の方法として、補完サンプル値として、単に所定の値を付与してもよい。この所定の値は、例えば、１２８である。
【0087】
再度、図６を参照して説明を行なう。
【0088】
ステップＳ２０３Ｂにおいて補完サンプル値が算出された後、ステップＳ２０３Ｃでは、有効サンプル値及び補完サンプル値を用いて、複数のイントラ予測方法から１つのイントラ予測方法を選択する。イントラ予測方法の例には、垂直方向及び水平方向等の種々のイントラ予測方向が含まれる。
【0089】
次に、ステップＳ２０３Ｄでは、有効サンプルサンプル値及び補完サンプル値を用いて、ステップＳ２０３Ｃで選択されたイントラ予測方法に従い、予測サンプル値を算出する。選択されたイントラ予測方法に応じて、異なる参照サンプル位置を用いてもよく、異なる演算処理を用いてもよい。
【0090】
また、本発明の一実施の形態において、予測サンプル値を算出するステップＳ２０３Ｄは、参照サンプル値をプレフィルタリングするステップと、プレフィルタリングされた参照サンプル値を用いて予測サンプル値を算出するステップとを含んでもよい。ここで、プレフィルタリングとは、隣接する複数の参照サンプル値に対してフィルタリングを行う処理である。
【0091】
以上より、本発明の実施の形態１に係る動画像符号化方法は、少なくとも対象ブロックの直上及び直左の一方に位置する複数の参照サンプルが有効サンプルと無効サンプルとを共に含む場合に、当該有効サンプルを用いて制約付きイントラ予測を行うことができる。これにより、当該動画像符号化方法は、有効サンプルを、より多く利用することができるので、符号化効率を向上できる。
【0092】
このように、本実施の形態に係る動画像符号化方法は、エラー耐性の効果を得る一方で演算の複雑性を同じレベルに維持するとともに、耐性イントラ予測を最適な効率で行うことができる。これにより、当該動画像符号化方法は符号化効率を向上できる。
【0093】
以下、上記動画像符号化方法により生成された符号化動画像ビットストリームを復号する動画像復号方法について説明する。
【0094】
図７に、本発明の実施の形態１における動画像復号処理を示すフローチャートを示す。
【0095】
まず、ステップＳ３０１では、符号化動画像ビットストリームのヘッダを解析することにより、制約付きイントラ予測方式又は非制約付きイントラ予測方式の選択結果を取得する。
【0096】
次に、ステップＳ３０２では、画像における符号化ブロックを復号する。このとき、イントラ予測された符号化ブロックは、ステップＳ３０１で取得された選択結果により示されるイントラ予測方式を用いて復号される。
【0097】
以下、制約付きイントラ予測方式を用いた各ブロックの復号処理を、図９に示すフローチャートを用いて詳細に説明する。
【0098】
まず、ステップＳ４０１では、符号化動画像ビットストリームを解析することにより、処理対象の符号化ブロック（以下、対象ブロック）の予測タイプ（イントラ予測又は非イントラ予測）を取得する。
【0099】
次に、ステップＳ４０２では、ステップＳ４０１で取得された予測タイプがイントラ予測タイプ及び非イントラ予測タイプのいずれを示しているのかを判定する。
【0100】
イントラ予測タイプが用いられていた場合（Ｓ４０２でＹｅｓ）、ステップＳ４０３に進む。
【0101】
ステップＳ４０３では、対象ブロックにイントラ予測を行うことで、対象ブロックの予測サンプル値を算出する。具体的には、利用可能な参照サンプル位置が有効（イントラ予測された）か、無効（非イントラ予測された）かを判定し、イントラ予測された参照サンプル位置を用いて、イントラ予測を行うことで予測サンプル値を算出する。より具体的には、少なくとも対象ブロックの直上及び直左の一方に位置する複数の参照サンプルの各々の有効性を判定し、当該複数の参照サンプルが有効サンプルと無効サンプルとを共に含む場合でも、当該有効サンプルを用いてイントラ予測を行う。なお、この処理の詳細については後述する。
【0102】
そして、ステップＳ４０４では、算出された予測サンプル値及びイントラ残差データを用いて、再構築されたイントラサンプル値を算出する。
【0103】
一方、ステップＳ４０２において非イントラ予測タイプが用いられている判定された場合（Ｓ４０２でＮｏ）、ステップＳ４０５に進む。ステップＳ４０５では、非イントラ予測を行うことによって、再構築サンプル値を算出する。
【0104】
以下、図９を用いて、上記ステップＳ４０３及びＳ４０５の処理を詳細に説明する。図８に示すステップＳ４０３は、図９に示すステップＳ４０３Ａ〜Ｓ４０３Ｄを含む。図８に示すステップＳ４０５は、図９に示すステップＳ４０５Ａ及びＳ４０５Ｂを含む。
【0105】
ステップＳ４０３Ａでは、符号化動画像ビットストリームを解析することにより、対象ブロックのイントラ残差データ及びイントラ予測方法を取得する。
【0106】
次に、ステップＳ４０３Ｂでは、ステップＳ４０３Ａで取得されたイントラ予測方法に従ってイントラ予測処理を行うために必要な参照サンプル位置の有効性を判定する。
【0107】
次に、ステップＳ４０３Ｃでは、有効サンプル値を用いて、無効サンプル位置における参照サンプル値（補完サンプル値）を算出する。
【0108】
次に、ステップＳ４０３Ｄは、有効サンプル値位置及び補完サンプル値を用いて、予測サンプル値を算出する。
【0109】
また、ステップＳ４０２で非イントラ予測タイプが用いられたと判定された場合（Ｓ４０２でＮｏ）、ステップＳ４０５Ａに進む。ステップＳ４０５Ａでは、符号化された動画像ビットストリームを解析することにより、非イントラ残差データと予測情報とを得る。そして、ステップＳ４０５Ｂでは、解析された非イントラ残差データと予測情報とを用いて、非イントラ再構築サンプル値を算出する。
【0110】
以上より、本発明の実施の形態１に係る動画像復号方法は、上述した動画像符号化方法により生成された動画像符号化ビットストリームから再構築データを生成できる。
【0111】
以下、上記動画像符号化方法及び動画像復号方法を用いた動画像符号化装置及び動画像復号装置について説明する。
【0112】
まず、上記動画像符号化方法を用いた動画像符号化装置について説明する。
【0113】
図１０は、本発明の実施の形態１に係る動画像符号化装置１００の一例を示すブロック図である。この動画像符号化装置１００は、分割部１０１と、選択部１０２と、スイッチ部１０３と、第１符号化部１０４と、第２符号化部１０５と、ヘッダ符号化部１０６と、ゲート部１０７と、ビットストリーム生成部１０８とを備える。
【0114】
分割部１０１は、原画像Ｄ１０１を取得し、当該原画像Ｄ１０１を可変長符号化ブロックＤ１０３に分割する。
【0115】
第１選択部６０１は、制約付きイントラ予測方式及び非制約付きイントラ予測方式のいずれかを選択し、その選択結果を示す選択情報Ｄ１０２を出力する。
【0116】
スイッチ部１０３は、この選択情報Ｄ１０２を使用して、可変長符号化ブロックＤ１０３を、第１符号化部１０４又は第２符号化部１０５に送る。具体的には、スイッチ部１０３は、選択情報Ｄ１０２により制約付きイントラ予測方式が選択されたことが示される場合には、可変長符号化ブロックＤ１０３を可変長符号化ブロックＤ１０４として第１符号化部１０４へ出力する。また、スイッチ部１０３は、選択情報Ｄ１０２により非制約付きイントラ予測方式が選択されたことが示される場合には、可変長符号化ブロックＤ１０３を可変長符号化ブロックＤ１０５として第２符号化部１０５へ出力する。
【0117】
第１符号化部１０４は、可変長符号化ブロックＤ１０４を、制約付きイントラ予測又は非イントラ予測を用いて符号化することにより符号化ビットストリームＤ１０６を生成する。
【0118】
第２符号化部１０５は、可変長符号化ブロックＤ１０５を、非制約付きイントラ予測又は非イントラ予測を用いて符号化することにより、符号化ビットストリームＤ１０７を生成する。
【0119】
ゲート部１０７は、第１符号化部１０４で生成された符号化ビットストリームＤ１０６、及び第２符号化部１０５で生成された符号化ビットストリームＤ１０７のうち、どちらのデータが存在するかに従って、存在するデータを符号化ビットストリームＤ１０８として、ビットストリーム生成部１０８に導く。
【0120】
ヘッダ符号化部１０６は、選択情報Ｄ１０２を符号化することで符号化ビットストリームＤ１０９を生成する。
【0121】
ビットストリーム生成部１０８は、符号化ビットストリームＤ１０８と符号化ビットストリームＤ１０９とを混合することで、符号化動画像ビットストリームＤ１１０を生成する。
【0122】
図１１は、本発明の実施の形態１による動画像符号化装置１００において、制約付きイントラ予測方式を用いる第１符号化部１０４の一例を示すブロック図である。この第１符号化部１０４は、第１選択部２０１と、スイッチ部２０２と、イントラ予測部２２０と、残差データ算出部２０７と、ゲート部２０８と、符号化部２０９と、再構築部２１０と、メモリ部２１１と、非イントラ予測部２１２とを備える。
【0123】
第１選択部２０１は、サンプルブロックＤ２０１（可変長符号化ブロックＤ１０４）を取得し、当該サンプルブロックＤ２０１に基づき、イントラ予測タイプ及び非イントラ予測タイプの一方を選択し、選択結果を示す予測タイプＤ２０２を出力する。または、第１選択部２０１は、既に符号化されたサンプルに対して格納されている符号化情報Ｄ２１５を取得し、取得した符号化情報Ｄ２１５に基づき、イントラ予測タイプ及び非イントラ予測タイプの一方を選択してもよい。符号化情報Ｄ２１５は、例えば、予測タイプ、量子化パラメータ、及びブロックの次元などである。この予測タイプＤ２０２は、スイッチ部１０３を制御するために用いられる。
【0124】
イントラ予測タイプが選択された場合、スイッチ部２０２は、サンプルブロックＤ２０１をサンプルブロックＤ２０３として有効性判定部２０３に送る。
【0125】
イントラ予測部２２０は、分割された複数のブロックのうち対象ブロックにイントラ予測を行うことで予測サンプル値を算出する。また、イントラ予測部２２０は、少なくとも対象ブロックの直上及び直左の一方に位置する複数の参照サンプルの各々の有効性を判定し、複数の参照サンプルが有効サンプルと無効サンプルとを共に含む場合でも、当該有効サンプルを用いてイントラ予測を行う。このイントラ予測部２２０は、有効性判定部２０３と、参照サンプル算出部２０４と、第２選択部２０５と、予測サンプル算出部２０６とを備える。
【0126】
有効性判定部２０３は、サンプルブロックＤ２０３と、参照サンプル位置に対して格納されている予測タイプＤ２１４とを用いて、参照サンプル位置の有効性を判定する。そして、有効性判定部２０３は、元のサンプルブロックＤ２０３と参照サンプル位置の有効性とを含むデータＤ２０４を、参照サンプル算出部２０４に出力する。
【0127】
参照サンプル算出部２０４は、データＤ２０４と、有効サンプル値Ｄ２１３とを用いて、無効サンプル位置における参照サンプル値である補完サンプル値を算出する。参照サンプル算出部２０４は、元のサンプルブロックと補完サンプル値とを含むデータＤ２０５を、第２選択部２０５に出力する。
【0128】
第２選択部２０５は、データＤ２０５を用いて、複数のイントラ予測方法の中からイントラ予測方法Ｄ２０６を選択する。または、第２選択部２０５は、既に符号化されたサンプルに対して格納されている符号化情報Ｄ２１５を用いて、イントラ予測方法Ｄ２０６を選択してもよい。
【0129】
予測サンプル算出部２０６は、選択されたイントラ予測方法Ｄ２０６に基づき、入力参照サンプル値（有効サンプル値及び補完サンプル値）を用いて予測サンプル値を算出する。また、予測サンプル算出部２０６は、元のサンプルブロックと、選択されたイントラ予測方法と、算出された予測サンプル値とを含むデータＤ２０７を、残差データ算出部２０７に出力する。
【0130】
残差データ算出部２０７は、予測サンプル値と元のサンプルブロックとを用いてイントラ残差データを算出し、選択されたイントラ予測方法と算出されたイントラ残差データとを含むデータＤ２０８を出力する。
【0131】
一方、非イントラ予測タイプが選択された場合、スイッチ部２０２は、元のサンプルブロックＤ２０１をサンプルブロックＤ２１６として非イントラ予測部２１２に送る。
【0132】
非イントラ予測部２１２は、元のサンプルブロックＤ２１６と、以前に符号化されたサンプルについて格納された符号化情報Ｄ２１５とを用いて非イントラ予測を行うことで、非イントラ残差データと非イントラ予測情報とを含むデータＤ２１７を生成する。
【0133】
ゲート部２０８は、データＤ２０８とデータＤ２１７とのうちいずれのデータが利用可能であるかに応じて、利用可能なデータをデータＤ２０９として符号化部２０９に送る。
【0134】
符号化部２０９は、データＤ２０９に含まれる残差データを処理するとともに、入力データに対してエントロピー符号化を行うことで、符号化動画像ビットストリームＤ２１０（符号化ビットストリームＤ１０６）を生成する。残差データの処理の例には、変換処理及びスケーリング処理などが含まれる。また、符号化部２０９は、予測情報と処理された残差データとを含むデータＤ２１１を再構築部２１０に出力する。ここで予測情報は、選択された予測タイプを含み、イントラ予測の場合にはその選択されたイントラ予測方法も含む。
【0135】
再構築部２１０は、データＤ２１１と、格納されている符号化情報Ｄ２１５とを用いて再構築サンプル値を算出し、再構築サンプル値と予測情報とを含むデータＤ２１２をメモリ部２１１へ格納する。
【0136】
次に、上記動画像復号方法を用いた動画像復号装置について説明する。
【0137】
図１２は、本発明の実施の形態１に係る動画像復号装置３００の一例を示すブロック図である。この動画像復号装置３００は、解析部３０１と、スイッチ部３０２と、第１復号部３０３と、第２復号部３０４と、ゲート部３０５と、画像生成部３０６とを備える。
【0138】
解析部３０１は、符号化動画像ビットストリームＤ３０１のヘッダを解析することにより、制約付きイントラ予測方式又は非制約付きイントラ予測方式の選択結果を示す選択情報Ｄ３０２を取得する。
【0139】
スイッチ部３０２は、選択情報Ｄ３０２で示される、選択されたイントラ予測方式に基づいて、符号化動画像ビットストリームＤ３０１を、第１復号部３０３又は第２復号部３０４に送る。具体的には、スイッチ部３０２は、選択情報Ｄ３０２により制約付きイントラ予測方式が示される場合には、符号化動画像ビットストリームＤ３０１をビットストリームＤ３０３として第１復号部３０３へ出力する。一方、スイッチ部３０２は、選択情報Ｄ３０２により非制約付きイントラ予測方式が示される場合には、符号化動画像ビットストリームＤ３０１をビットストリームＤ３０４として第２復号部３０４へ出力する。
【0140】
第１復号部３０３は、制約付きイントラ予測及び非イントラ予測を用いて、ビットストリームＤ３０３を復号することによりブロック単位の再構築サンプル値Ｄ３０５を生成する。第２復号部３０４は、非制約付きイントラ予測及び非イントラ予測を用いて、ビットストリームＤ３０４を復号することによりブロック単位の再構築サンプル値Ｄ３０６を生成する。
【0141】
ゲート部３０５は、再構築サンプル値Ｄ３０５及びＤ３０６のいずれの信号が存在するかに応じて、存在する信号を再構築サンプル値Ｄ３０７として画像生成部３０６へ送る。
【0142】
画像生成部３０６は、当該ブロックの再構築サンプル値Ｄ３０７を、再構築画像内のそれぞれの位置に書き込むことにより、再構築画像Ｄ３０８を生成する。
【0143】
図１３は、本発明の実施の形態１における制約付きイントラ予測方式を用いる第１復号部３０３の一例を示すブロック図である。この第１復号部３０３は、第１解析部４０１と、スイッチ部４０２と、第２解析部４０３と、イントラ予測部４２０と、再構築サンプル算出部４０７と、第１ゲート部４０８と、第２ゲート部４０９と、メモリ部４１０と、非イントラ再構築部４１１とを備える。
【0144】
第１解析部４０１は、符号化動画像ビットストリームＤ４０１を解析することにより、イントラ予測タイプ又は非イントラ予測タイプの選択結果を示す選択情報Ｄ４０２を取得する。
【0145】
解析された選択結果がイントラ予測タイプを示す場合、スイッチ部４０２は、符号化動画像ビットストリームＤ４０１をビットストリームＤ４０３として第２解析部４０３に送る。
【0146】
第２解析部４０３は、ビットストリームＤ４０３を解析することにより、残差データとイントラ予測方法とを取得する。そして、第２解析部４０３は、解析された残差データと解析されたイントラ予測方法とを含む解析データＤ４０４を出力する。
【0147】
イントラ予測部４２０は、対象ブロックにイントラ予測を行うことで、当該対象ブロックの予測サンプル値を算出する。また、イントラ予測部４２０は、少なくとも対象ブロックの直上及び直左の一方に位置する複数の参照サンプルの各々の有効性を判定し、複数の参照サンプルが有効サンプルと無効サンプルとを共に含む場合でも、当該有効サンプルを用いてイントラ予測を行う。このイントラ予測部４２０は、有効性判定部４０４と、参照サンプル算出部４０５と、予測サンプル算出部４０６とを備える。
【0148】
有効性判定部４０４は、解析データＤ４０４と、参照サンプル位置に対して格納されている予測タイプＤ４１６とを入力として取得し、解析されたイントラ予測方法に必要な各参照サンプル位置の有効性を判定する。有効性判定部４０４は、解析された残差データと、解析されたイントラ予測方法と、参照サンプル位置の有効性とを含むデータＤ４０５を、参照サンプル算出部４０５に出力する。
【0149】
参照サンプル算出部４０５は、この入力データＤ４０５及び有効サンプル値Ｄ４１５を用いて、無効サンプル位置における参照サンプル値（補完サンプル値）を算出する。そして、参照サンプル算出部４０５は、解析された残差データと、解析されたイントラ予測方法と、参照サンプル位置の有効性とを含むデータＤ４０６を予測サンプル算出部４０６に出力する。
【0150】
予測サンプル算出部４０６は、このデータＤ４０６を用いて、解析されたイントラ予測方法に従って予測サンプル値を算出する。そして、予測サンプル算出部４０６は、解析された残差データと、解析されたイントラ予測方法と、予測サンプル値とを含むデータＤ４０７を、再構築サンプル算出部４０７へ出力する。
【0151】
再構築サンプル算出部４０７は、データＤ４０７を用いて、符号化対象ブロックに対応するイントラ再構築サンプル値Ｄ４０８を算出する。また、再構築サンプル算出部４０７は、イントラ再構築サンプル値と、解析されたイントラ予測タイプと、解析されたイントラ予測方法とを含むデータＤ４１０を出力する。
【0152】
一方、解析された選択結果が非イントラ予測タイプを示す場合、スイッチ部４０２は、符号化動画像ビットストリームＤ４０１をビットストリームＤ４１１として非イントラ再構築部４１１に送る。
【0153】
非イントラ再構築部４１１は、ビットストリームＤ４１１と既に符号化されたサンプルに対して格納されている符号化情報Ｄ４１７とを用いて、解析された非イントラ予測タイプに従って再構築サンプル値Ｄ４１２を算出する。また、非イントラ再構築部４１１は、非イントラ再構築サンプル値と、解析された非イントラ予測情報とを含むデータＤ４１３を出力する。
【0154】
第１ゲート部４０８は、再構築サンプル値Ｄ４０８及びＤ４１２のうち利用可能なデータを出力ブロックの再構築サンプルＤ４０９として送る。同様に、第２ゲート部４０９は、データＤ４１０及びデータＤ４１３のうち利用可能なデータをデータＤ４１４としてメモリ部４１０に格納する。
【0155】
（実施の形態２）本発明の実施の形態２では、上記制約付きイントラ予測方式として選択的イントラＤＣ予測方式が用いられる場合について説明する。
【0156】
具体的には、選択的イントラＤＣ予測方式は、隣接クラスタの複数の参照サンプル位置から、イントラ予測された参照サンプル位置の参照サンプル値のみを用いる。つまり、当該方式は、隣接クラスタが非イントラ予測参照サンプルを含むか否かを考慮したイントラＤＣ予測処理を実行する。
【0157】
本明細書全体にわたって、イントラＤＣ予測方式とは、符号化対象ブロックにおける全ての予測サンプルとして、１つの予測サンプル値を用いるイントラピクチャ予測方式のことを指す。隣接クラスタの参照サンプルとは、対象ブロックに対して、隣接する、同じ方向に配置されているサンプル群のことを指す。対象ブロックに対して４つの隣接クラスタがあり、これらを、上部隣接クラスタ、右上隣接クラスタ、左隣接クラスタ、及び左下隣接クラスタと称する。図２に示す例では、ブロックＡ及びＢに属する参照サンプル（１６，−１）から（３１，−１）が右上隣接クラスタの参照サンプルである。同様に、ブロックＣ、Ｄ、及びＥに属する参照サンプル（０，−１）から（１５，−１）が上部隣接クラスタの参照サンプルである。ブロックＧに属する参照サンプル（−１，０）から（−１，１５）が左隣接クラスタの参照サンプルである。ブロックＪ、Ｈ、及びＩに属する参照サンプル（−１，１６）から（−１，３１）が左下隣接クラスタの参照サンプルがある。
【0158】
また、本発明の選択的イントラＤＣ予測方式に対して、イントラ予測された参照サンプル値及び非イントラ予測された参照サンプル値の両方を用いるイントラＤＣ予測処理を行う先行技術のイントラＤＣ予測方式を、本明細書において非選択的イントラＤＣ予測方式と称する。
【0159】
図１４は、本発明の実施の形態２に係る動画像復号処理を示すフローチャートを示す。
【0160】
まず、ステップＳ５０１では、イントラＤＣ予測方式として、非選択的イントラＤＣ予測方式及び選択的イントラＤＣ予測方式の一方を選択する。
【0161】
次に、ステップＳ５０２では、対象の原画像を１以上の符号化対象ブロックに分割する。符号化対象ブロックの一例は、３２×３２の原画像サンプルを含む２次元ブロックである。
【0162】
次に、ステップＳ５０３では、得られた符号化対象ブロックを符号化することで、符号化動画像ビットストリームを生成する。また、ステップＳ５０３において、対象ブロックを、イントラＤＣ予測方法を用いて符号化する場合、ステップＳ５０１で選択されたイントラＤＣ予測方式が用いられる。
【0163】
最後に、ステップＳ５０４では、ステップＳ５０１で選択された非選択的イントラＤＣ予測方式及び選択的イントラＤＣ予測方式のいずれかの選択結果を、符号化動画像ビットストリームのヘッダ内に符号化する。
【0164】
図１５Ａ〜図１５Ｄは、上記動画像符号化方法により生成される符号化動画像ビットストリーム９００において、選択情報９６０が配置される位置を示す。この選択情報９６０は、イントラＤＣ予測方式として、非選択的イントラＤＣ予測方式及び選択的イントラＤＣ予測方式のいずれが用いられたかを示す情報である。
【0166】
例えば、図１５Ａに示すように、選択情報９６０は、シーケンスヘッダ９０１に含まれる。図１５Ｂに示すように、選択情報９６０は、ピクチャヘッダ９１１に含まれてもよい。図１５Ｃに示すように、選択情報９６０は、スライスヘッダ９２１に含まれてもよい。例えば、この選択情報９６０は、非選択的イントラＤＣ予測方式を示す値「０」と、選択的イントラＤＣ予測方式を示す値「１」とを選択的に示すバイナリフラグである。
【0167】
また、図１５Ｄに示す例では、選択情報９６０は、シーケンスヘッダ９０１に含まれる、プロファイルパラメータ９６１及びレベルパラメータ９６２の一方、又は両方で示される。具体的には、プロファイルパラメータ９６１及びレベルパラメータ９６２の一方、又は両方と、ルックアップテーブルとを用いて、選択情報９６０を一意に決定できる。
【0168】
このように、本実施の形態に係る動画像符号化方法では、イントラＤＣ予測方式として、選択的イントラＤＣ予測方式及び非選択的イントラＤＣ予測方式のいずれが用いられたかを示す選択情報９６０を、符号化動画像ビットストリーム９００のヘッダ内に符号化する。これにより、復号装置は、当該ヘッダ内の選択情報９６０を用いて、用いられたイントラ予測方式を特定できる。
【0169】
以下、選択的イントラＤＣ予測方式を用いた各ブロックの符号化処理を、図１６に示すフローチャートを用いて説明する。
【0170】
まず、ステップＳ６０１では、対象ブロックに用いる予測方法を選択する。考えられる予測方法には、イントラＤＣ予測方法と非イントラＤＣ予測方法とが含まれる。さらに、非イントラＤＣ予測方法には、イントラＤＣ以外の他のイントラ予測方法と、さまざまな画面間予測方法とが含まれる。そして、ステップＳ６０２では、イントラＤＣ予測方法又は非イントラＤＣ予測方法のどちらが選択されたかを判定する。
【0171】
イントラＤＣ予測方式が選択された場合（Ｓ６０２でＹｅｓ）、ステップＳ６０３に進む。ステップＳ６０３では、イントラ予測された参照サンプル位置をいくつか選択する。
【0172】
次に、ステップＳ６０４では、選択された参照サンプル位置を用いて、イントラＤＣ予測サンプル値を算出する。そして、ステップＳ６０５では、イントラＤＣ予測サンプル値を用いて残差データを算出する。
【0173】
本発明の選択的イントラＤＣ予測方式の一実施の形態において、イントラＤＣ予測サンプル値を算出するために、全ての隣接クラスタの参照サンプル値のうちイントラ予測された参照サンプル値が全て選択される。図２の例に示す例では、（１６，−１）から（３１，−１）、（０，−１）から（１１，−１）、及び（−１，０）から（−１，２３）の５２個の参照サンプルを全て用いて、イントラＤＣ予測サンプル値が算出される。
【0174】
なお、選択的イントラＤＣ予測方式の別の実施の形態においては、上部参照サンプル及び左参照サンプルから、イントラ予測された参照サンプル値が選択された後、イントラＤＣ予測サンプル値が算出される。同じ図２の例では、（０，−１）から（１１，−１）、及び（−１，０）から（−１，１５）の２８個の参照サンプルを全て用いて、イントラＤＣ予測サンプルが算出される。
【0175】
本発明の一実施の形態では、予測サンプル値は以下の処理により算出される。
【0176】
まず、１以上の有効サンプルを選択サンプルとして選択する。次に、選択サンプルの数を特定する。次に、ルックアップテーブルを用いて、選択サンプルの数に従って、スケーリング係数と、オフセット値と、シフトステップ値とを選択する。次に、選択サンプルの値の総和である第１総和値を算出する。次に、第１総和値に上記選択されたスケーリング係数を乗算することでスケール値を算出する。次に、上記選択されたオフセット値と、スケール値との和である第２総和値を算出する。最後に、第２総和値を、上記選択されたシフトステップ値でダウンシフトすることで、対象ブロックの全ての予測サンプル値を生成する。
【0177】
また、選択的イントラＤＣ予測方式の別の実施の形態においては、１つの参照サンプル位置における参照サンプル値、例えば、図２に示す（０，−１）のような参照サンプル値を、対象ブロックの全てのイントラＤＣ予測サンプル値とする。
【0178】
また、選択的イントラＤＣ予測方式のさらに別の実施の形態においては、所定の一定値（例えば、１２８）を対象ブロックの全てのイントラＤＣサンプル値とする。
【0179】
一方、ステップＳ６０２で非イントラＤＣ予測方法が選択されたと判定された場合（Ｓ６０２でＮｏ）、ステップＳ６０７に進む。ステップＳ６０７では、非イントラＤＣ予測処理を行うことによって、非イントラ残差データと予測情報とが得られる。
【0180】
最後に、ステップＳ６０６では、ステップＳ６０５又はＳ６０７で生成された残差データと予測情報とを符号化動画像ビットストリームに符号化する。ここで予測情報は、選択された予測方法を示す信号を含む。
【0181】
以上より、本発明の実施の形態２に係る動画像符号化方法は、少なくとも対象ブロックの直上及び直左の一方に位置する複数の参照サンプルが有効サンプルと無効サンプルとを共に含む場合に、当該有効サンプルを用いて選択的イントラＤＣ予測を行うことができる。これにより、当該動画像符号化方法は、有効サンプルを、より多く利用することができるので、符号化効率を向上できる。
【0182】
このように、本実施の形態に係る動画像符号化方法は、エラー耐性の効果を得る一方で演算の複雑性を同じレベルに維持するとともに、耐性イントラ予測を最適な効率で行うことができる。これにより、当該動画像符号化方法は符号化効率を向上できる。
【0183】
以下、上記動画像符号化方法により生成された符号化動画像ビットストリームを復号する動画像復号方法について説明する。
【0184】
図１７に、本発明の実施の形態２に係る動画像復号処理を説明するフローチャートを示す。
【0185】
まず、ステップＳ７０１では、符号化動画像ビットストリームのヘッダを解析することにより、非選択的イントラＤＣ予測方式及び選択的イントラＤＣ予測方式のいずれかの選択結果を取得する。次に、ステップＳ７０２では、画像における符号化ブロックを復号する。このとき、イントラＤＣ予測された符号化ブロックは、ステップＳ７０１で取得された選択結果により示されるイントラＤＣ予測方式を用いて復号される。
【0186】
以下、選択的イントラＤＣ予測方式を用いた各ブロックの復号処理を、図１８に示すフローチャートを用いて説明する。
【0187】
まず、ステップＳ８０１では、符号化動画像ビットストリームを解析することにより、符号化対象ブロックの予測方法を取得する。そして、ステップＳ８０２では、解析された予測方式がイントラＤＣ予測方法又は非イントラＤＣ予測方法のどちらを示しているのかを判定する。
【0188】
イントラＤＣ予測方法が用いられた場合（Ｓ８０２でＹｅｓ）、ステップＳ８０３に進む。ステップＳ８０３では、符号化動画像ビットストリームを解析することにより、対象符号化ブロックのイントラＤＣ残差データを取得する。次に、ステップＳ８０４では、イントラ予測された参照サンプル位置をいくつか選択する。
【0189】
次に、ステップＳ８０５では、選択された参照サンプル位置を用いて、イントラＤＣ予測サンプル値を算出する。そして、ステップＳ８０６では、イントラＤＣ予測サンプル値と、解析された残差データとを用いて再構築サンプル値を算出する。
【0190】
一方、非イントラＤＣ予測方法が用いられた場合（Ｓ８０２でＮｏ）、ステップＳ８０７に進む。ステップＳ８０７では、符号化動画像ビットストリームを解析することにより、非イントラＤＣ残差データ及び予測情報を取得する。そして、ステップＳ８０８では、解析された非イントラＤＣ残差データ及び予測情報を用いて、再構築サンプル値を算出する。
【0191】
以上より、本発明の実施の形態２に係る動画像復号方法は、上述した動画像符号化方法により生成された動画像符号化ビットストリームから再構築データを生成できる。
【0192】
以下、上記動画像符号化方法及び動画像復号方法を用いた動画像符号化装置及び動画像復号装置について説明する。
【0193】
まず、上記動画像符号化方法を用いた動画像符号化装置について説明する。
【0194】
図１９は、本発明の実施の形態２に係る動画像符号化装置５００の一例を示すブロック図である。この動画像符号化装置５００は、分割部５０１と、選択部５０２と、スイッチ部５０３と、第１符号化部５０４と、第２符号化部５０５と、ヘッダ符号化部５０６と、ゲート部５０７と、ビットストリーム生成部５０８とを備える。
【0195】
分割部５０１は、原画像Ｄ５０１を取得し、取得した原画像Ｄ５０１を可変長符号化ブロックＤ５０３に分割する。
【0196】
選択部５０２は、非選択的イントラＤＣ予測方式及び選択的イントラＤＣ予測方式のいずれかを選択し、その選択結果を示す選択情報Ｄ５０２を出力する。
【0197】
スイッチ部５０３は、この選択情報Ｄ５０２を使用して、可変長符号化ブロックＤ５０３を、第１符号化部５０４又は第２符号化部５０５に送る。具体的には、スイッチ部５０３は、選択情報Ｄ５０２により選択的イントラＤＣ予測方式が選択されたことが示される場合には、可変長符号化ブロックＤ５０３を可変長符号化ブロックＤ５０４として第１符号化部５０４へ出力する。また、スイッチ部５０３は、選択情報Ｄ５０２により非選択的イントラＤＣ予測方式が選択されたことが示される場合には、可変長符号化ブロックＤ５０３を可変長符号化ブロックＤ５０５として第２符号化部５０５へ出力する。
【0198】
第１符号化部５０４は、可変長符号化ブロックＤ５０４を、選択的イントラＤＣ予測又は非イントラＤＣ予測を用いて符号化することにより符号化ビットストリームＤ５０６を生成する。
【0199】
第２符号化部５０５は、可変長符号化ブロックＤ５０５を、非選択的イントラＤＣ予測又は非イントラＤＣ予測を用いて符号化することにより、符号化ビットストリームＤ５０７を生成する。
【0200】
ゲート部５０７は、第１符号化部５０４で生成された符号化ビットストリームＤ５０６、及び第２符号化部５０５で生成された符号化ビットストリームＤ５０７のうち、どちらのデータが存在するかに従って、存在するデータを符号化ビットストリームＤ５０８として、ビットストリーム生成部５０８に導く。
【0201】
ヘッダ符号化部５０６は、選択情報Ｄ５０２を符号化することで符号化ビットストリームＤ５０９を生成する。
【0202】
ビットストリーム生成部５０８は、符号化ビットストリームＤ５０９と符号化ビットストリームＤ５０８とを混合することで、符号化動画像ビットストリームＤ５１０を生成する。
【0203】
図２０は、本発明の実施の形態２に係る動画像符号化装置５００における第１符号化部５０４の一例を示すブロック図である。この第１符号化部５０４は、第１選択部６０１と、スイッチ部６０２と、イントラＤＣ予測部６２０と、残差データ算出部６０７と、ゲート部６０８と、符号化部６０９と、再構築部６１０と、メモリ部６１１と、非イントラＤＣ予測部６１２とを備える。
【0204】
第１選択部６０１は、サンプルブロックＤ６０１（可変長符号化ブロックＤ５０４）を取得し、当該サンプルブロックＤ６０１に基づき、イントラＤＣ予測方法及び非イントラＤＣ予測方法の一方を選択し、選択結果を示す予測タイプＤ６０２を出力する。または、第１選択部６０１は、既に符号化されたサンプルに対して格納されている符号化情報Ｄ６１５を取得し、取得した符号化情報Ｄ６１５に基づき、イントラＤＣ予測方法及び非イントラＤＣ予測方法の一方を選択してもよい。符号化情報Ｄ６１５は、例えば、予測方法、量子化パラメータ、及びブロックの次元などである。この予測タイプＤ６０２は、スイッチ部６０２を制御するために用いられる。
【0205】
イントラＤＣ予測方法が選択された場合、スイッチ部６０２は、元のサンプルブロックＤ６０１をサンプルブロックＤ６０３として第２選択部６０５に送る。
【0206】
イントラＤＣ予測部６２０は、分割された複数のブロックのうち対象ブロックにイントラＤＣ予測を行うことで予測サンプル値を算出する。また、イントラＤＣ予測部６２０は、少なくとも対象ブロックの直上及び直左の一方に位置する複数の参照サンプルの各々の有効性を判定し、複数の参照サンプルが有効サンプルと無効サンプルとを共に含む場合でも、当該有効サンプルを用いてイントラＤＣ予測を行う。このイントラＤＣ予測部６２０は、第２選択部６０５と、予測サンプル算出部６０６とを備える。
【0207】
第２選択部６０５は、参照サンプル位置に対して格納された予測タイプＤ６１４を用いて、イントラ予測された有効サンプル位置をいくつか選択する。予測タイプＤ６１４は、イントラ予測タイプ及び非イントラ予測タイプのいずれかの選択結果のことである。そして、第２選択部６０５は、元のサンプルブロックと、選択された有効サンプル位置とを含むデータＤ６０６を、予測サンプル算出部６０６に出力する。
【0208】
予測サンプル算出部６０６は、入力データＤ６０６と、選択された有効サンプル位置における有効サンプル値Ｄ６１３とを用いて、イントラＤＣ予測サンプル値を算出する。そして、予測サンプル算出部６０６は、元のサンプルブロックとイントラＤＣ予測サンプル値とを含むデータＤ６０７を残差データ算出部６０７へ出力する。
【0209】
残差データ算出部６０７は、イントラＤＣ予測サンプル値と元のサンプルブロックとを用いてイントラＤＣ残差データを含むデータＤ６０８を算出する。
【0210】
一方、非イントラＤＣ予測方法が選択された場合、スイッチ部６０２は、元のサンプルブロックＤ６０１をサンプルブロックＤ６１６として非イントラＤＣ予測部６１２に送る。
【0211】
非イントラＤＣ予測部６１２は、元のサンプルブロックＤ６１６と、既に符号化されたサンプルについて格納されている符号化情報Ｄ６１５とを用いて、非イントラＤＣ残差データと非イントラＤＣ予測情報とを含むデータＤ６１７を生成する。
【0212】
ゲート部６０８は、データＤ６０８及びデータＤ６１７のうち、いずれのデータが利用可能であるかに応じて、利用可能なデータをデータＤ６０９として符号化部６０９に送る。
【0213】
符号化部６０９は、データＤ６０９に含まれる残差データを処理するとともに、入力データに対してエントロピー符号化を行うことで、符号化動画像ビットストリームＤ６１０（符号化ビットストリームＤ５０６）を生成する。残差データの処理の例には、変換処理及びスケーリング処理などが含まれる。また、符号化部６０９は、予測情報と処理された残差データとを含むデータＤ６１１を再構築部６１０に出力する。ここで予測情報は、対象ブロックの予測タイプを含む。
【0214】
再構築部６１０は、データＤ６１１と、格納されている符号化情報Ｄ６１５とを用いて再構築サンプル値を算出し、再構築サンプル値と予測情報とを含むデータＤ６１２をメモリ部６１１に格納する。
【0215】
次に、上記動画像復号方法を用いた動画像復号装置について説明する。
【0216】
図２１は、本発明の実施の形態２に係る動画像復号装置７００の一例を示すブロック図である。この動画像復号装置７００は、解析部７０１と、スイッチ部７０２と、第１復号部７０３と、第２復号部７０４と、ゲート部７０５と、画像生成部７０６とを備える。
【0217】
解析部７０１は、符号化動画像ビットストリームＤ７０１のヘッダを解析することにより、非選択的イントラＤＣ予測方式及び選択的イントラＤＣ予測方式のいずれかの選択結果を示す選択情報Ｄ７０２を取得する。
【0218】
スイッチ部７０２は、選択されたイントラＤＣ予測方式に基づき、符号化動画像ビットストリームＤ７０１を、第１復号部７０３又は第２復号部７０４に送る。具体的には、スイッチ部７０２は、選択情報Ｄ７０２により選択的イントラＤＣ予測方式が示される場合には、符号化動画像ビットストリームＤ７０１をビットストリームＤ７０３として第１復号部７０３へ出力する。一方、スイッチ部７０２は、選択情報Ｄ７０２により非選択的イントラＤＣ予測方式が示される場合には、符号化動画像ビットストリームＤ７０１をビットストリームＤ７０４として第２復号部７０４へ出力する。
【0219】
第１復号部７０３は、選択的イントラＤＣ予測及び非イントラＤＣ予測を用いて、ビットストリームＤ７０３を復号することによりブロック単位の再構築サンプル値Ｄ７０５を生成する。第２復号部７０４は、非選択的イントラＤＣ予測及び非イントラＤＣ予測を用いて、ビットストリームＤ７０４を復号することによりブロック単位の再構築サンプル値Ｄ７０６を生成する。
【0220】
ゲート部７０５は、再構築サンプル値Ｄ７０５及びＤ７０６のいずれの信号が存在するかに応じて、存在する信号を再構築サンプル値Ｄ７０７として画像生成部７０６に送る。
【0221】
画像生成部７０６は、当該ブロックの再構築サンプル値Ｄ７０７を、再構築画像内のそれぞれの位置に書きこむことにより、再構築画像Ｄ７０８を生成する。
【0222】
図２２は、本発明の実施の形態２における選択的イントラＤＣ予測方式を用いた第１復号部７０３の一例を示すブロック図である。この第１復号部７０３は、第１解析部８０１と、スイッチ部８０２と、第２解析部８０３と、イントラＤＣ予測部８２０と、再構築サンプル算出部８０７と、第１ゲート部８０８と、第２ゲート部８０９と、メモリ部８１０と、非イントラＤＣ再構築部８１１とを備える。
【0223】
第１解析部８０１は、符号化動画像ビットストリームＤ８０１を解析することにより、イントラＤＣ予測方法及び非イントラＤＣ予測方法のいずれかの選択結果を示す選択情報Ｄ８０２を取得する。
【0224】
解析された選択結果がイントラＤＣ予測方法を示す場合に、スイッチ部８０２は、符号化動画像ビットストリームＤ８０１をビットストリームＤ８０３として第２解析部８０３に送る。
【0225】
第２解析部８０３は、ビットストリームＤ８０３を解析することにより、符号化対象ブロックに対するイントラＤＣ残差データＤ８０４を取得する。
【0226】
イントラＤＣ予測部８２０は、分割された複数のブロックのうち対象ブロックにイントラＤＣ予測を行うことで予測サンプル値を算出する。また、イントラＤＣ予測部８２０は、少なくとも対象ブロックの直上及び直左の一方に位置する複数の参照サンプルの各々の有効性を判定し、複数の参照サンプルが有効サンプルと無効サンプルとを共に含む場合でも、当該有効サンプルを用いてイントラＤＣ予測を行う。このイントラＤＣ予測部８２０は、選択部８０４と、予測サンプル算出部８０６とを備える。
【0227】
選択部８０４は、参照サンプル位置に対して格納された予測タイプＤ８１６を用いて、イントラ予測された有効サンプル位置をいくつか選択する。ここで予測タイプＤ８１６とは、イントラ予測タイプ又は非イントラ予測タイプのいずれかの選択結果である。そして、選択部８０４は、解析された残差データＤ８０４と選択された有効サンプル位置とを含むデータＤ８０５を、予測サンプル算出部８０６に出力する。
【0228】
予測サンプル算出部８０６は、入力データＤ８０５と、選択された有効サンプル位置における有効サンプル値Ｄ８１５とを用いて、イントラＤＣ予測サンプル値を算出する。そして、予測サンプル算出部８０６は、解析された残差データと、イントラＤＣ予測サンプル値とを含むデータＤ８０７を再構築サンプル算出部８０７へ出力する。
【0229】
再構築サンプル算出部８０７は、データＤ８０７を用いて、符号化対象ブロックに対するイントラＤＣ再構築サンプル値Ｄ８０８を算出する。また、再構築サンプル算出部８０７は、イントラ再構築サンプル値と、解析された予測方法とを含むデータＤ８１０を出力する。
【0230】
一方、解析された選択結果が非イントラＤＣ予測方法を示す場合、スイッチ部８０２は、符号化動画像ビットストリームＤ８０１をビットストリームＤ８１１として非イントラＤＣ再構築部８１１に送る。
【0231】
非イントラＤＣ再構築部８１１は、ビットストリームＤ８１１と、既に符号化されたサンプルに対して格納されている符号化情報Ｄ８１７とを用いて、解析された非イントラＤＣ予測方法に従って、再構築サンプル値Ｄ８１２を算出する。また、非イントラＤＣ再構築部８１１は、非イントラＤＣ再構築サンプル値と解析された非イントラＤＣ予測情報とを含むデータＤ８１３を出力する。
【0232】
第１ゲート部８０８は、再構築サンプル値Ｄ８０８又はＤ８１２のうち利用可能なデータを、出力ブロックの再構築サンプルＤ８０９として送る。同様に、第２ゲート部８０９は、データＤ８１０又はデータＤ８１３のうち利用可能なデータをデータＤ８１４としてメモリ部８１０に格納する。
【0233】
以上、本発明の実施の形態に係る動画像符号化方法、動画像復号方法、動画像符号化装置及び動画像復号装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【0234】
例えば、本発明は、上記動画像符号化装置及び上記動画像復号装置を含む動画像符号化復号装置として実現してもよい。
【0235】
また、上記各実施の形態に係る、動画像符号化方法、動画像復号方法、動画像符号化装置及び動画像復号装置、並びにそれらの変形例の機能のうち少なくとも一部を組み合わせてもよい。
【0236】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【0237】
また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【0238】
（実施の形態３）上記各実施の形態で示した動画像符号化方法（画像符号化方法）または動画像復号化方法（画像復号方法）の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。
【0239】
さらにここで、上記各実施の形態で示した動画像符号化方法（画像符号化方法）や動画像復号化方法（画像復号方法）の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、及び画像復号方法を用いた画像復号装置からなる画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。
【0240】
図２３は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０が設置されている。
【0241】
このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０６からｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。
【0242】
しかし、コンテンツ供給システムｅｘ１００は図２３のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６からｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
【0243】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（ＬｏｎｇＴｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【0244】
コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い（即ち、本発明の画像符号化装置として機能する）、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する（即ち、本発明の画像復号装置として機能する）。
【0245】
なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。
【0246】
また、これら符号化・復号化処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。
【0247】
また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
【0248】
以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。
【0249】
なお、コンテンツ供給システムｅｘ１００の例に限らず、図２４に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも動画像符号化装置（画像符号化装置）または動画像復号化装置（画像復号装置）のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである（即ち、本発明の画像符号化装置によって符号化されたデータである）。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信した多重化データを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号化して再生する（即ち、本発明の画像復号装置として機能する）。
【0250】
また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した多重化データを読み取り復号化する、または記録メディアｅｘ２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、多重化データが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。
【0251】
図２５は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナｅｘ３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ｅｘ３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ｅｘ３０６で符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。
【0252】
また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５（本発明の画像符号化装置または画像復号装置として機能する）を有する信号処理部ｅｘ３０６と、復号化した音声信号を出力するスピーカｅｘ３０７、復号化した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。
【0253】
まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した多重化データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号化し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から多重化データを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。
【0254】
また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。
【0255】
また、リーダ／レコーダｅｘ２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。
【0256】
一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図２６に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１、ｅｘ４０２、ｅｘ４０３、ｅｘ４０４、ｅｘ４０５、ｅｘ４０６、ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。
【0257】
以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。
【0258】
図２７に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。
【0259】
以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。
【0260】
また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図２５に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。
【0261】
図２８Ａは、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ３５０、映像、静止画を撮ることが可能なカメラ部ｅｘ３６５、カメラ部ｅｘ３６５で撮像した映像、アンテナｅｘ３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ３５８を備える。携帯電話ｅｘ１１４は、さらに、操作キー部ｅｘ３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ｅｘ３５７、音声を入力するためのマイク等である音声入力部ｅｘ３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ｅｘ３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ｅｘ３６４を備える。
【0262】
さらに、携帯電話ｅｘ１１４の構成例について、図２８Ｂを用いて説明する。携帯電話ｅｘ１１４は、表示部ｅｘ３５８及び操作キー部ｅｘ３６６を備えた本体部の各部を統括的に制御する主制御部ｅｘ３６０に対して、電源回路部ｅｘ３６１、操作入力制御部ｅｘ３６２、映像信号処理部ｅｘ３５５、カメラインタフェース部ｅｘ３６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３５９、変調／復調部ｅｘ３５２、多重／分離部ｅｘ３５３、音声信号処理部ｅｘ３５４、スロット部ｅｘ３６４、メモリ部ｅｘ３６７がバスｅｘ３７０を介して互いに接続されている。
【0263】
電源回路部ｅｘ３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ｅｘ１１４を動作可能な状態に起動する。
【0264】
携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ３６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ３５６で収音した音声信号を音声信号処理部ｅｘ３５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ３５２でスペクトラム拡散処理し、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ３５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ３５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ３５７から出力する。
【0265】
さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ｅｘ３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３６２を介して主制御部ｅｘ３６０に送出される。主制御部ｅｘ３６０は、テキストデータを変調／復調部ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して基地局ｅｘ１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ３５８に出力される。
【0266】
データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ３５５は、カメラ部ｅｘ３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し（即ち、本発明の画像符号化装置として機能する）、符号化された映像データを多重／分離部ｅｘ３５３に送出する。また、音声信号処理部ｅｘ３５４は、映像、静止画等をカメラ部ｅｘ３６５で撮像中に音声入力部ｅｘ３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ３５３に送出する。
【0267】
多重／分離部ｅｘ３５３は、映像信号処理部ｅｘ３５５から供給された符号化された映像データと音声信号処理部ｅｘ３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。
【0268】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ３５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３７０を介して符号化された映像データを映像信号処理部ｅｘ３５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ３５４に供給する。映像信号処理部ｅｘ３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し（即ち、本発明の画像復号装置として機能する）、ＬＣＤ制御部ｅｘ３５９を介して表示部ｅｘ３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ３５４は、音声信号を復号し、音声出力部ｅｘ３５７から音声が出力される。
【0269】
また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。
【0270】
このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。
【0271】
また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【0272】
（実施の形態４）上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。
【0273】
ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。
【0274】
この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。
【0275】
図２９は、多重化データの構成を示す図である。図２９に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。
【0276】
多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。
【0277】
図３０は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームｅｘ２３５、複数のオーディオフレームからなるオーディオストリームｅｘ２３８を、それぞれＰＥＳパケット列ｅｘ２３６およびｅｘ２３９に変換し、ＴＳパケットｅｘ２３７およびｅｘ２４０に変換する。同じくプレゼンテーショングラフィックスストリームｅｘ２４１およびインタラクティブグラフィックスｅｘ２４４のデータをそれぞれＰＥＳパケット列ｅｘ２４２およびｅｘ２４５に変換し、さらにＴＳパケットｅｘ２４３およびｅｘ２４６に変換する。多重化データｅｘ２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。
【0278】
図３１は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図３１における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図３１の矢印ｙｙ１，ｙｙ２， ｙｙ３， ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。
【0279】
図３２は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図３２下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。
【0280】
また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。
【0281】
図３３はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。
【0282】
記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。
【0283】
多重化データ情報ファイルは、図３４に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。
【0284】
多重化データ情報は図３４に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。
【0285】
ストリーム属性情報は図３５に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。
【0286】
本実施の形態においては、上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。
【0287】
また、本実施の形態における動画像復号化方法のステップを図３６に示す。ステップｅｘＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップｅｘＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップｅｘＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップｅｘＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。
【0288】
このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。
【0289】
（実施の形態５）上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図３７に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１、ｅｘ５０２、ｅｘ５０３、ｅｘ５０４、ｅｘ５０５、ｅｘ５０６、ｅｘ５０７、ｅｘ５０８、ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。
【0290】
例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力された多重化データは、基地局ｅｘ１０７に向けて送信されたり、または記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。
【0291】
なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。
【0292】
また、上記では、制御部ｅｘ５０１が、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有するとしているが、制御部ｅｘ５０１の構成は、この構成に限らない。例えば、信号処理部ｅｘ５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ｅｘ５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵｅｘ５０２が信号処理部ｅｘ５０７、または信号処理部ｅｘ５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ｅｘ５０１は、信号処理部ｅｘ５０７、またはその一部を有するＣＰＵｅｘ５０２を備える構成となる。
【0293】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【0294】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0295】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【0296】
（実施の形態６）上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩｅｘ５００において、従来の規格に準拠する映像データを復号する際のＣＰＵｅｘ５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。
【0297】
この課題を解決するために、テレビｅｘ３００、ＬＳＩｅｘ５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図３８は、本実施の形態における構成ｅｘ８００を示している。駆動周波数切替え部ｅｘ８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ｅｘ８０２に対し、映像データを復号するよう指示する。
【0298】
より具体的には、駆動周波数切替え部ｅｘ８０３は、図３７のＣＰＵｅｘ５０２と駆動周波数制御部ｅｘ５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１、および、従来の規格に準拠する復号処理部ｅｘ８０２は、図３７の信号処理部ｅｘ５０７に該当する。ＣＰＵｅｘ５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵｅｘ５０２からの信号に基づいて、駆動周波数制御部ｅｘ５１２は、駆動周波数を設定する。また、ＣＰＵｅｘ５０２からの信号に基づいて、信号処理部ｅｘ５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、実施の形態４で記載した識別情報を利用することが考えられる。識別情報に関しては、実施の形態４で記載したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵｅｘ５０２における駆動周波数の選択は、例えば、図４０のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファｅｘ５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵｅｘ５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。
【0299】
図３９は、本実施の形態の方法を実施するステップを示している。まず、ステップｅｘＳ２００では、信号処理部ｅｘ５０７において、多重化データから識別情報を取得する。次に、ステップｅｘＳ２０１では、ＣＰＵｅｘ５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップｅｘＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップｅｘＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。
【0300】
さらに、駆動周波数の切替えに連動して、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することが考えられる。
【0301】
また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。
【0302】
さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵｅｘ５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。
【0303】
このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。
【0304】
（実施の形態７）テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩｅｘ５００の信号処理部ｅｘ５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ｅｘ５０７を個別に用いると、ＬＳＩｅｘ５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。
【0305】
この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図４１Ａのｅｘ９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ｅｘ９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明特有の他の処理内容については、専用の復号処理部ｅｘ９０１を用いるという構成が考えられる。特に、本発明は、イントラ予測処理に特徴を有していることから、例えば、イントラ予測処理については専用の復号処理部ｅｘ９０１を用い、それ以外のエントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。
【0306】
また、処理を一部共有化する他の例を図４１Ｂのｅｘ１０００に示す。この例では、本発明に特有の処理内容に対応した専用の復号処理部ｅｘ１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ｅｘ１００２と、本発明の動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ｅｘ１００３とを用いる構成としている。ここで、専用の復号処理部ｅｘ１００１、ｅｘ１００２は、必ずしも本発明、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、ＬＳＩｅｘ５００で実装することも可能である。
【0307】
このように、本発明の動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。
【産業上の利用可能性】
【0308】
本発明は、符号化効率を十分に向上させることができるという効果を奏し、例えば、蓄積、伝送、通信など様々な用途に利用可能である。例えば、本発明は、テレビ、デジタルビデオレコーダー、カーナビゲーション、携帯電話、デジタルカメラ、デジタルビデオカメラ等の高解像度の情報表示機器や撮像機器に利用可能であり、利用価値が高い。
【符号の説明】
【0309】
１００、５００ 動画像符号化装置１０１、５０１ 分割部
１０２、５０２、８０４ 選択部
１０３、２０２、３０２、４０２、５０３、６０２、７０２、８０２ スイッチ部
１０４、５０４ 第１符号化部
１０５、５０５ 第２符号化部
１０６、５０６ ヘッダ符号化部
１０７、２０８、３０５、５０７、６０８、７０５ ゲート部
１０８、５０８ ビットストリーム生成部
２０１、６０１ 第１選択部
２０３、４０４ 有効性判定部
２０４、４０５ 参照サンプル算出部
２０５、６０５ 第２選択部
２０６、４０６、６０６、８０６ 予測サンプル算出部
２０７、６０７ 残差データ算出部
２０９、６０９ 符号化部
２１０、６１０ 再構築部
２１１、４１０、６１１、８１０ メモリ部
２１２ 非イントラ予測部
２２０、４２０ イントラ予測部
３００、７００ 動画像復号装置
３０１、７０１ 解析部
３０３、７０３ 第１復号部
３０４、７０４ 第２復号部
３０６、７０６ 画像生成部
４０１、８０１ 第１解析部
４０３、８０３ 第２解析部
４０７、８０７ 再構築サンプル算出部
４０８、８０８ 第１ゲート部
４０９、８０９ 第２ゲート部
４１１ 非イントラ再構築部
６１２ 非イントラＤＣ予測部
６２０、８２０ イントラＤＣ予測部
８１１ 非イントラＤＣ再構築部
９００ 符号化動画像ビットストリーム
９０１ シーケンスヘッダ
９０２、９１３ データ
９１１ ピクチャヘッダ
９１２ ピクチャデータ
９２１ スライスヘッダ
９２２ スライスデータ
９５０、９６０ 選択情報
９５１、９６１ プロファイルパラメータ
９５２、９６２ レベルパラメータ
Ｄ１０１、Ｄ５０１ 原画像
Ｄ１０２、Ｄ３０２、Ｄ４０２、Ｄ５０２、Ｄ７０２、Ｄ８０２ 選択情報
Ｄ１０３、Ｄ１０４、Ｄ１０５、Ｄ５０３、Ｄ５０４、Ｄ５０５ 可変長符号化ブロック
Ｄ１０６、Ｄ１０７、Ｄ１０８、Ｄ１０９、Ｄ５０６、Ｄ５０７、Ｄ５０８、Ｄ５０９
符号化ビットストリーム
Ｄ１１０、Ｄ２１０、Ｄ３０１、Ｄ４０１、Ｄ５１０、Ｄ６１０、Ｄ７０１、Ｄ８０１
符号化動画像ビットストリーム
Ｄ２０１、Ｄ２０３、Ｄ２１６、Ｄ６０１、Ｄ６０３、Ｄ６１６ サンプルブロック
Ｄ２０２、Ｄ２１４、Ｄ４１６、Ｄ６０２、Ｄ６１４、Ｄ８１６ 予測タイプ
Ｄ２０４、Ｄ２０５、Ｄ２０７、Ｄ２０８、Ｄ２０９、Ｄ２１１、Ｄ２１２、Ｄ２１７、Ｄ４０５、Ｄ４０６、Ｄ４０７、Ｄ４１０、Ｄ４１３、Ｄ４１４、Ｄ６０６、Ｄ６０７、Ｄ６０８、Ｄ６０９、Ｄ６１１、Ｄ６１２、Ｄ６１７、Ｄ８０５、Ｄ８０７、Ｄ８１０、Ｄ８１３、Ｄ８１４ データ
Ｄ２０６ イントラ予測方法
Ｄ２１３、Ｄ４１５、Ｄ６１３、Ｄ８１５ 有効サンプル値
Ｄ２１５、Ｄ４１７、Ｄ６１５、Ｄ８１７ 符号化情報
Ｄ３０３、Ｄ３０４、Ｄ４０３、Ｄ４１１、Ｄ７０３、Ｄ７０４、Ｄ８０３、Ｄ８１１
ビットストリーム
Ｄ３０５、Ｄ３０６、Ｄ３０７、Ｄ４０８、Ｄ４１２、Ｄ７０５、Ｄ７０６、Ｄ７０７、Ｄ８０８、Ｄ８１２ 再構築サンプル値
Ｄ３０８、Ｄ７０８ 再構築画像
Ｄ４０４ 解析データ
Ｄ４０９、Ｄ８０９ 再構築サンプル
Ｄ８０４ 残差データ