特開 2015-192438 動画像符号化処理装置、プログラムおよび集積回路

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-192438(P2015-192438A)

(43)【公開日】2015年11月2日

(54)【発明の名称】動画像符号化処理装置、プログラムおよび集積回路

(51)【国際特許分類】

   H04N 19/132 20140101AFI20151006BHJP

   H04N 19/167 20140101ALI20151006BHJP

   H04N 19/182 20140101ALI20151006BHJP

   H04N 19/61 20140101ALI20151006BHJP

【ＦＩ】

   H04N19/132

   H04N19/167

   H04N19/182

   H04N19/61

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【全頁数】34

(21)【出願番号】特願2014-70726(P2014-70726)

(22)【出願日】2014年3月31日

(71)【出願人】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100104444

【弁理士】

【氏名又は名称】上羽 秀敏

(74)【代理人】

【識別番号】100112715

【弁理士】

【氏名又は名称】松山 隆夫

(74)【代理人】

【識別番号】100125704

【弁理士】

【氏名又は名称】坂根 剛

(74)【代理人】

【識別番号】100120662

【弁理士】

【氏名又は名称】川上 桂子

(74)【代理人】

【識別番号】100143498

【弁理士】

【氏名又は名称】中西 健

(72)【発明者】

【氏名】斉藤 誠

(72)【発明者】

【氏名】藤江 喬士

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME01

5C159PP04

5C159RC16

5C159RC38

5C159TA12

5C159TA21

5C159TB08

5C159TC08

5C159TC18

5C159TC31

5C159TC34

5C159UA02

5C159UA33

(57)【要約】

【課題】表示サイズとマクロブロック単位との関係から、所定のマクロブロックの一部または全部に、本来の映像を構成する映像有効領域ではない余分な無効領域が含まれる場合であっても、余分な符号量が発生することを抑制するとともに、画質劣化を適切に防止することができる動画像符号化装置を実現する。
【解決手段】動画像符号化装置１０００において、第１ゼロ設定部２は、無効領域に相当する信号の場合、予測誤差信号の信号値を「０」にする。また、第２ゼロ設定部１７は、無効領域に相当する信号の場合、差分ベクトル信号の信号値を「０」にする。これにより、無効領域に対して、不適切な動画像符号化処理が実行されることを防止し、無駄な符号量の発生を適切に抑制する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数のマクロブロックからなるフレーム画像を形成することができる動画像信号を符号
化する動画像符号化装置であって、
参照画像を記憶する記憶部と、
現フレーム画像と前記参照画像とに基づいて、インター予測処理を実行し、インター予測信号を取得するインター予測部と、
現フレーム画像を用いて、イントラ予測処理を実行し、イントラ予測信号を取得するイントラ予測部と、
画面上で映像を構成する映像有効領域と、画面上で映像を構成しない映像無効領域との境界についての位置情報を取得する位置情報取得部と、
前記インター予測信号および前記イントラ予測信号のいずれかを予測信号として出力する符号化モード判定部と、
前記動画像信号と前記符号化モード判定部から出力される前記予測信号とに対して差分処理を行うことで、予測誤差信号を取得する差分処理部と、
前記予測誤差信号が、前記映像無効領域に相当する信号である場合、前記予測誤差信号の信号値を「０」にすることで第１予測誤差信号を取得する第１ゼロ設定部と、
前記第１予測誤差信号に対して、直交変換処理を実行する直交変換部と、
前記直交変換部により処理された信号を量子化する量子化部と、
前記量子化部により処理された信号に対して可変長符号化処理を実行することで、動画像符号化信号を取得する可変長符号化部と、
を備える動画像符号化装置。

【請求項2】

処理対象のマクロブロックを所定の分割方法により分割して取得した分割ブロックについて取得された前記第１予測誤差信号に基づいて、前記分割ブロックについての符号化コストを算出する符号化コスト算出部をさらに備え、
前記符号化モード判定部は、
前記符号化モード判定部により算出された前記符号化コストに基づいて、処理対象のマクロブロックの分割方法を決定し、決定された分割方法により取得された分割ブロックに前記映像無効領域を含む場合、当該無効領域に対応する前記予測誤差信号の信号値を「０」にするための第１制御信号を生成し、
前記第１ゼロ設定部は、
前記符号化モード判定部により生成された前記第１制御信号に基づいて、前記分割ブロックに含まれる前記映像無効領域に対応する前記予測誤差信号の信号値を「０」にする、
請求項１に記載の動画像符号化装置。

【請求項3】

処理対象ブロックの周辺のブロックの動きベクトルに基づいて、前記処理対象ブロックの予測動きベクトルを取得する動きベクトル処理部をさらに備え、
前記インター予測部は、
前記符号化モード判定部により設定された分割ブロックの前記予測動きベクトルを前記動きベクトル処理部から取得し、取得した前記分割ブロックの前記予測動きベクトルに基づいて、前記分割ブロックに対して、前記インター予測処理を実行することで、前記分割ブロックの動きベクトルを取得し、取得した前記分割ブロックの動きベクトルを前記動きベクトル処理部に出力し、
前記動きベクトル処理部は、
前記分割ブロックの前記動きベクトルと、前記分割ブロックの予測動きベクトルとに対して差分処理を行うことで、差分ベクトル信号を取得する、
請求項２に記載の動画像符号化装置。

【請求項4】

前記差分ベクトル信号が、前記映像無効領域に相当する信号である場合、前記差分ベクトル信号の信号値を「０」にすることで第１差分ベクトル信号を取得する第２ゼロ設定部をさらに備え、
前記符号化モード判定部は、
前記分割ブロックに前記映像無効領域が含まれる場合、当該無効領域に対応する前記差分ベクトル信号の信号値を「０」にするための第２制御信号を生成し、
前記第２ゼロ設定部は、
前記符号化モード判定部により生成された前記第２制御信号に基づいて、前記分割ブロックに含まれる前記映像無効領域に対応する前記差分ベクトル信号の信号値を「０」にする、
請求項３に記載の動画像符号化装置。

【請求項5】

前記インター予測部は、前記分割ブロックに前記映像無効領域が含まれる場合、当該分割ブロックの動きベクトルを算出する単位のブロックが全て前記映像無効領域である場合、当該ブロックの動きベクトルを当該ブロックの周辺の予測動きベクトルとする、
請求項４に記載の動画像符号化装置。

【請求項6】

前記符号化コスト算出部は、
前記分割ブロックについて取得された前記第１予測誤差信号と、前記差分ベクトル信号とに基づいて、前記分割ブロックについての符号化コストを算出する、
請求項３から５のいずれかに記載の動画像符号化装置。

【請求項7】

複数のマクロブロックからなるフレーム画像を形成することができる動画像信号を符号
化する動画像符号化方法であって、
参照画像を記憶する記憶ステップと、
現フレーム画像と前記参照画像とに基づいて、インター予測処理を実行し、インター予測信号を取得するインター予測ステップと、
現フレーム画像を用いて、イントラ予測処理を実行し、イントラ予測信号を取得するイントラ予測ステップと、
画面上で映像を構成する映像有効領域と、画面上で映像を構成しない映像無効領域との境界についての位置情報を取得する位置情報取得ステップと、
前記インター予測信号および前記イントラ予測信号のいずれかを予測信号として出力する符号化モード判定ステップと、
前記動画像信号と前記符号化モード判定ステップにより出力される前記予測信号とに対して差分処理を行うことで、予測誤差信号を取得する差分処理ステップと、
前記予測誤差信号が、前記映像無効領域に相当する信号である場合、前記予測誤差信号の信号値を「０」にすることで第１予測誤差信号を取得する第１ゼロ設定ステップと、
前記第１予測誤差信号に対して、直交変換処理を実行する直交変換ステップと、
前記直交変換ステップにより処理された信号を量子化する量子化ステップと、
前記量子化ステップにより処理された信号に対して可変長符号化処理を実行することで、動画像符号化信号を取得する可変長符号化ステップと、
を備える動画像符号化方法をコンピュータに実行させるためのプログラム。

【請求項8】

複数のマクロブロックからなるフレーム画像を形成することができる動画像信号を符号
化する集積回路であって、
参照画像を記憶する記憶部と、
現フレーム画像と前記参照画像とに基づいて、インター予測処理を実行し、インター予測信号を取得するインター予測部と、
現フレーム画像を用いて、イントラ予測処理を実行し、イントラ予測信号を取得するイントラ予測部と、
画面上で映像を構成する映像有効領域と、画面上で映像を構成しない映像無効領域との境界についての位置情報を取得する位置情報取得部と、
前記インター予測信号および前記イントラ予測信号のいずれかを予測信号として出力する符号化モード判定部と、
前記動画像信号と前記符号化モード判定部から出力される前記予測信号とに対して差分処理を行うことで、予測誤差信号を取得する差分処理部と、
前記予測誤差信号が、前記映像無効領域に相当する信号である場合、前記予測誤差信号の信号値を「０」にすることで第１予測誤差信号を取得する第１ゼロ設定部と、
前記第１予測誤差信号に対して、直交変換処理を実行する直交変換部と、
前記直交変換部により処理された信号を量子化する量子化部と、
前記量子化部により処理された信号に対して可変長符号化処理を実行することで、動画像符号化信号を取得する可変長符号化部と、
を備える集積回路。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動き補償を用いる動画像符号化技術に関する。

【背景技術】

【0002】

高解像度デジタルテレビ放送（ＨＤＴＶ）において、１９２０画素×１０８０ラインの画面解像度を実現するフルハイビジョン（フルＨＤ）方式が規定されている。

【0003】

フルＨＤを受信するテレビ受像機は、通常、フルＨＤの映像の表示サイズ（表示画素数）を、１９２０画素×１０８０ラインとしている。

【0004】

この表示画素数の場合、動画圧縮規格のＨ．２６４では、マクロブロック（ＭＢ）の単位が１６画素×１６画素となるため、実際にエンコード処理の対象とされている映像信号の１フレームの画像サイズは、１９２０画素×１０８０画素ではなく、１９２０画素×１０８８画素となる。つまり、Ｈ．２６４に準拠して、フルＨＤの映像信号を動画圧縮する場合、表示装置において、表示されない余分なラインを含めて圧縮を行う必要がある。また、余分なラインの画素値は、例えば、動画圧縮処理を開始するときの初期値に設定される可能性があり、どのような値に設定されるか不明（画素値が不定）である。

【0005】

このように、余分なラインの画素の画素値が不定な値が設定されているフルＨＤの映像信号に対して、Ｉｎｔｒａ予測処理又はＩｎｔｅｒ予測処理を行うと、余分なラインの画素の画素値の影響を受け、余分なラインの画素の部分に残差が発生し、本来不要な圧縮処理が実行されることになる。その結果、不要なエンコード信号が出力され、符号量が増加してしまう可能性がある。例えば、余分なラインの画素の画素値によっては、残差が大きな値となり、増加する符号量が多くなってしまう可能性もある。

【0006】

このような問題に対処するために、余分なラインを含むマクロブロックの量子化ステップを調整することで、発生符号量の増加を抑制することができる。

【0007】

例えば、特許文献１では、領域情報、モード制御に基づいて、指定された領域の量子化ステップを調整し、当該指定された領域に符号を多く割り当てる、又は、少なく割り当てる、方法が開示されている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開平９−０９８４１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、特許文献１の技術では、指定された領域の量子化ステップを調整するだけであり、指定された領域に対して動画圧縮処理を実行する場合に生成される残差信号を制御するものではないので、残差信号が大きな場合には、当該指定された領域に対して動画圧縮処理を実行した場合に発生する符号量が多くなることがある。

【0010】

また、特許文献１の技術では、有効領域（映像有効領域）と余分な領域（映像無効領域）との両方を含んだマクロブロックに対して、符号量が少なくなるよう量子化ステップが制御される可能性がある。この場合、当該マクロブロックについての発生符号量が少なくなるように当該マクロブロックに適用される量子化ステップが比較的大きな値に設定されることになる。その結果、余分な領域（映像無効領域）から取得される残差信号の発生符号量を抑制することができるが、有効領域（映像有効領域）から取得される残差信号の発生符号量も抑制されることになる。したがって、このようにエンコードされた信号（動画像圧縮処理が実行された符号化信号）を、デコードすることで取得される映像において、当該マクロブロックに含まれる有効領域（映像有効領域）の画質が劣化する可能性がある。

【0011】

また、その全部または一部に、余分な領域（映像無効領域）を含むマクロブロックについて、動きベクトルの探索処理を行う場合、当該余分な領域も探索対象として動きベクトルの探索処理が実行されるので、精度の良い動きベクトルの探索処理を実行することができない。

【0012】

そこで、本発明は、上記問題点に鑑み、表示サイズとマクロブロック単位との関係から、所定のマクロブロックの一部または全部に、本来の映像を構成する有効領域（映像有効領域）ではない余分な領域（映像無効領域）が含まれる場合であっても、余分な符号量が発生することを抑制するとともに、画質劣化を適切に防止することができる動画像符号化装置、プログラム、および、集積回路を実現することを目的とする。

【課題を解決するための手段】

【0013】

上記課題を解決するために、第１の発明は、複数のマクロブロックからなるフレーム画像を形成することができる動画像信号を符号化する動画像符号化装置であって、記憶部と、インター予測部と、イントラ予測部と、位置情報取得部と、符号化モード判定部と、差分処理部と、第１ゼロ設定部と、直交変換部と、量子化部と、可変長符号化部と、を備える。

【0014】

記憶部は、参照画像を記憶する。

【0015】

インター予測部は、現フレーム画像と参照画像とに基づいて、インター予測処理を実行し、インター予測信号を取得する。

【0016】

イントラ予測部は、現フレーム画像を用いて、イントラ予測処理を実行し、イントラ予測信号を取得する。

【0017】

位置情報取得部は、画面上で映像を構成する映像有効領域と、画面上で映像を構成しない映像無効領域との境界についての位置情報を取得する。

【0018】

符号化モード判定部は、インター予測信号およびイントラ予測信号のいずれかを予測信号として出力する。

【0019】

差分処理部は、動画像信号と符号化モード判定部から出力される予測信号とに対して差分処理を行うことで、予測誤差信号を取得する。

【0020】

第１ゼロ設定部は、予測誤差信号が、映像無効領域に相当する信号である場合、予測誤差信号の信号値を「０」にすることで第１予測誤差信号を取得する。

【0021】

直交変換部は、第１予測誤差信号に対して、直交変換処理を実行する。

【0022】

量子化部は、直交変換部により処理された信号を量子化する。

【0023】

可変長符号化部は、量子化部により処理された信号に対して可変長符号化処理を実行することで、動画像符号化信号を取得する。

【0024】

この動画像符号化装置では、第１ゼロ設定部により、予測誤差信号が、映像無効領域に相当する信号である場合、予測誤差信号の信号値を「０」にした第１予測誤差信号が取得される。そして、第１予測誤差信号に対して動画像符号化処理が実行されるので、例えば、表示サイズとマクロブロック単位との関係から、所定のマクロブロックに、本来の映像を構成する有効領域（映像有効領域）ではない余分な領域（映像無効領域）が含まれる場合であっても、余分な符号量が発生することを抑制するとともに、画質劣化を適切に防止することができる。
第２の発明は、第１の発明であって、処理対象のマクロブロックを所定の分割方法により分割して取得した分割ブロックについて取得された第１予測誤差信号に基づいて、分割ブロックについての符号化コストを算出する符号化コスト算出部をさらに備える。

【0025】

符号化モード判定部は、符号化モード判定部により算出された符号化コストに基づいて、処理対象のマクロブロックの分割方法を決定し、決定された分割方法により取得された分割ブロックに映像無効領域を含む場合、当該無効領域に対応する予測誤差信号の信号値を「０」にするための第１制御信号を生成する。

【0026】

第１ゼロ設定部は、符号化モード判定部により生成された第１制御信号に基づいて、分割ブロックに含まれる映像無効領域に対応する予測誤差信号の信号値を「０」にする。

【0027】

この動画像符号化装置では、符号化コスト算出部が、分割ブロックについて取得された第１予測誤差信号に基づいて、分割ブロックについての符号化コストを算出するので、映像無効領域の影響を適切に排除することができ、適切な符号化コストの算出を行うことができる。

【0028】

第３の発明は、第２の発明であって、処理対象ブロックの周辺のブロックの動きベクトルに基づいて、処理対象ブロックの予測動きベクトルを取得する動きベクトル処理部をさらに備える。

【0029】

インター予測部は、符号化モード判定部により設定された分割ブロックの予測動きベクトルを動きベクトル処理部から取得し、取得した分割ブロックの予測動きベクトルに基づいて、分割ブロックに対して、インター予測処理を実行することで、分割ブロックの動きベクトルを取得し、取得した分割ブロックの動きベクトルを動きベクトル処理部に出力する。

【0030】

動きベクトル処理部は、分割ブロックの動きベクトルと、分割ブロックの予測動きベクトルとに対して差分処理を行うことで、差分ベクトル信号を取得する。

【0031】

この動画像符号化装置では、さらに、動きベクトル処理部を備えるので、差分ベクトル信号を取得し、差分ベクトル信号を用いた動画像符号化処理を実行することができる。

【0032】

第４の発明は、第３の発明であって、差分ベクトル信号が、映像無効領域に相当する信号である場合、差分ベクトル信号の信号値を「０」にすることで第１差分ベクトル信号を取得する第２ゼロ設定部をさらに備える。

【0033】

符号化モード判定部は、分割ブロックに映像無効領域が含まれる場合、当該無効領域に対応する差分ベクトル信号の信号値を「０」にするための第２制御信号を生成する。

【0034】

第２ゼロ設定部は、符号化モード判定部により生成された第２制御信号に基づいて、分割ブロックに含まれる映像無効領域に対応する差分ベクトル信号の信号値を「０」にする。

【0035】

この動画像符号化装置では、分割ブロックに含まれる映像無効領域に対応する差分ベクトル信号の信号値が「０」となるので、映像有効領域のみの差分ベクトル信号が動画像符号化される。したがって、この画像符号化装置では、映像無効領域のための差分ベクトル信号による余計な符号量の発生を効果的に抑制することができる。

【0036】

第５の発明は、第４の発明であって、インター予測部は、分割ブロックに映像無効領域が含まれる場合、当該分割ブロックの動きベクトルを算出する単位のブロックが全て映像無効領域である場合、当該ブロックの動きベクトルを当該ブロックの周辺の予測動きベクトルとする。

【0037】

この画像符号化装置では、全て映像無効領域のブロックであって、動きベクトル算出の対象となるブロックに対して、動きベクトルを、当該ブロックの周辺から算出された予測動きベクトルに設定する。これにより、当該ブロックの動きベクトルの探索処理を省略することができるため、演算量を削減することができる。さらに、当該ブロックにおいて、動きベクトルと予測動きベクトルとは同じであるため、差分ベクトル信号の信号値が「０」となり、当該ブロック（映像無効領域）のために、余計な符号量を発生させることもない。

【0038】

第６の発明は、第３から第５のいずれか発明であって、符号化コスト算出部は、分割ブロックについて取得された第１予測誤差信号と、差分ベクトル信号とに基づいて、分割ブロックについての符号化コストを算出する。

【0039】

これにより、第１予測誤差信号と、差分ベクトル信号とに基づいて、分割ブロックについての符号化コストをより高精度に算出することができる。

【0040】

第７の発明は、複数のマクロブロックからなるフレーム画像を形成することができる動画像信号を符号化する動画像符号化方法をコンピュータに実行させるためのプログラムである。

【0041】

動画像符号化方法は、記憶ステップと、インター予測ステップと、イントラ予測ステップと、位置情報取得ステップと、符号化モード判定ステップと、差分処理ステップと、第１ゼロ設定ステップと、直交変換ステップと、量子化ステップと、可変長符号化ステップと、を備える。

【0042】

記憶ステップは、参照画像を記憶する。

【0043】

インター予測ステップは、現フレーム画像と参照画像とに基づいて、インター予測処理を実行し、インター予測信号を取得する。

【0044】

イントラ予測ステップは、現フレーム画像を用いて、イントラ予測処理を実行し、イントラ予測信号を取得する。

【0045】

位置情報取得ステップは、画面上で映像を構成する映像有効領域と、画面上で映像を構成しない映像無効領域との境界についての位置情報を取得する。

【0046】

符号化モード判定ステップは、インター予測信号およびイントラ予測信号のいずれかを予測信号として出力する。

【0047】

差分処理ステップは、動画像信号と符号化モード判定ステップにより出力される予測信号とに対して差分処理を行うことで、予測誤差信号を取得する。

【0048】

第１ゼロ設定ステップは、予測誤差信号が、映像無効領域に相当する信号である場合、予測誤差信号の信号値を「０」にすることで第１予測誤差信号を取得する。

【0049】

直交変換ステップは、第１予測誤差信号に対して、直交変換処理を実行する。

【0050】

量子化ステップは、直交変換ステップにより処理された信号を量子化する。

【0051】

可変長符号化ステップは、量子化ステップにより処理された信号に対して可変長符号化処理を実行することで、動画像符号化信号を取得する。

【0052】

これにより、第１の発明と同様の効果を奏する動画像符号化方法をコンピュータに実行させるためのプログラムを実現することができる。

【0053】

第８の発明は、複数のマクロブロックからなるフレーム画像を形成することができる動画像信号を符号化する集積回路であって、記憶部と、インター予測部と、イントラ予測部と、位置情報取得部と、符号化モード判定部と、差分処理部と、第１ゼロ設定部と、直交変換部と、量子化部と、可変長符号化部と、を備える。

【0054】

記憶部は、参照画像を記憶する。

【0055】

インター予測部は、現フレーム画像と参照画像とに基づいて、インター予測処理を実行し、インター予測信号を取得する。

【0056】

イントラ予測部は、現フレーム画像を用いて、イントラ予測処理を実行し、イントラ予測信号を取得する。

【0057】

位置情報取得部は、画面上で映像を構成する映像有効領域と、画面上で映像を構成しない映像無効領域との境界についての位置情報を取得する。

【0058】

符号化モード判定部は、インター予測信号およびイントラ予測信号のいずれかを予測信号として出力する。

【0059】

差分処理部は、動画像信号と符号化モード判定部から出力される予測信号とに対して差分処理を行うことで、予測誤差信号を取得する。

【0060】

第１ゼロ設定部は、予測誤差信号が、映像無効領域に相当する信号である場合、予測誤差信号の信号値を「０」にすることで第１予測誤差信号を取得する。

【0061】

直交変換部は、第１予測誤差信号に対して、直交変換処理を実行する。

【0062】

量子化部は、直交変換部により処理された信号を量子化する。

【0063】

可変長符号化部は、量子化部により処理された信号に対して可変長符号化処理を実行することで、動画像符号化信号を取得する。

【0064】

これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。

【発明の効果】

【0065】

本発明によれば、表示サイズとマクロブロック単位との関係から、所定のマクロブロックの一部または全部に、本来の映像を構成する有効領域（映像有効領域）ではない余分な領域（映像無効領域）が含まれる場合であっても、余分な符号量が発生することを抑制するとともに、画質劣化を適切に防止することができる動画像符号化装置、プログラム、および、集積回路を実現することができる。

【図面の簡単な説明】

【0066】

【図1】第１実施形態に係る動画像符号化装置１０００の概略構成図。

【図2】１フレームの表示画像サイズが１９２０画素×１０８０画素である映像信号に対して、１６画素×１６画素のマクロブロックを用いた動画像符号化処理を実行するために生成された１９２０画素×１０８８画素の画像サイズを有する映像信号の一部を模式的に示した図。

【図3】処理対象マクロブロックＭＢ１の上半分（注目分割ブロックが１６×８）が有効領域である場合において、決定される動き補償（ＭＣ）のブロックサイズと、動きベクトルについて説明するための図。

【図4】パターンＡ２の場合の処理を説明するための図。

【図5】パターンＡ３の場合の処理を説明するための図。

【図6】処理対象マクロブロックＭＢ１の上半分（注目分割ブロックが１６×８）が有効領域である場合において、決定される動き補償（ＭＣ）のブロックサイズと、動きベクトルについて説明するための図。

【図7】無効領域のみを含むマクロブロックＭＢ２を示した図。

【図8】左下端部に無効領域を含むマクロブロックＭＢ３を示した図。

【図9】ブロックを１６×１６のブロックにしたときのインター予測処理の符号化コストが最小であった場合を説明するための図。

【図10】分割ブロックを８×１６のブロックにしたときのインター予測処理の符号化コストが最小であった場合を説明するための図。

【図11】分割ブロックを１６×８のブロックにしたときのインター予測処理の符号化コストが最小であった場合を説明するための図。

【図12】分割ブロックを８×８のブロックにしたときのインター予測処理の符号化コストが最小であった場合を説明するための図。

【図13】第１実施形態の変形例の動画像符号化装置に入力される画像を示した図。

【図14】無効領域ＡＲ１の左上端に位置するマクロブロックＭＢ０を示す図である。

【発明を実施するための形態】

【0067】

［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。

【0068】

＜１．１：動画像符号化装置の構成＞
図１は、第１実施形態に係る動画像符号化装置１０００の概略構成図である。

【0069】

動画像符号化装置１０００は、例えば、Ｈ．２６４に準拠した動画像符号化信号を生成し、出力することができる構成を有している。

【0070】

動画像符号化装置１０００は、図１に示すように、減算器１と、第１ゼロ設定部２と、コスト算出部３と、直交変換部４と、量子化部５と、可変長符号化部６と、逆量子化部７と、逆直交変換部８と、加算器９と、記憶部１０と、を備える。

【0071】

また、動画像符号化装置１０００は、図１に示すように、インター予測部１１と、イントラ予測部１２と、位置情報取得部１３と、スキップＭＢ判定部１４と、符号化モード判定部１５と、動きベクトル処理部１６と、第２ゼロ設定部１７と、を備える。

【0072】

減算器１は、動画像信号Ｄｉｎと、符号化モード判定部１５から出力される予測信号Ｄｐ（予測動画像信号）と、を入力する。減算器１は、動画像信号Ｄｉｎと、予測信号Ｄｐとの差分信号である予測誤差信号ｄｉｆｆを取得し、取得した予測誤差信号ｄｉｆｆを第１ゼロ設定部２に出力する。

【0073】

第１ゼロ設定部２は、符号化モード判定部から出力される制御信号ｃｔｌ＿ｚ１と、減算器１から出力される予測誤差信号ｄｉｆｆとを入力する。第１ゼロ設定部２は、制御信号ｃｔｌ＿ｚ１に基づいて、予測誤差信号ｄｉｆｆまたは予測誤差信号ｄｉｆｆの信号値を強制的に「０」にした信号のいずれかを選択し、予測誤差信号ｄｉｆｆ１として、コスト算出部３および直交変換部４に出力する。なお、第１ゼロ設定部２は、図１に示すように、例えば、セレクタｓｅｌ１を用いて実現される。

【0074】

コスト算出部３は、第１ゼロ設定部２から出力される予測誤差信号ｄｉｆｆ１と、第２ゼロ設定部１７から出力される動きベクトル差分信号ｄｉｆｆ１＿ＭＶに基づいて、符号化コストの算出を行う。そして、算出した符号化コストを含む情報ｃｏｓｔを符号化モード判定部１５に出力する。

【0075】

なお、コスト算出部３は、動画像符号化装置の制御を行う制御部（不図示）から、符号化コストの算出処理に必要な情報、例えば、マクロブロック（例えば、Ｈ．２６４規格に準拠する場合１６画素×１６画素からなるマクロブロック）と同一のサイズのブロックを分割して取得される分割ブロックサイズ、分割方法、イントラ予測／インター予測の種別等の情報を取得する。

【0076】

直交変換部４は、第１ゼロ設定部２から出力される予測誤差信号ｄｉｆｆ１を入力する。直交変換部４は、入力された予測誤差信号ｄｉｆｆ１に対して、所定のブロック単位（例えば、８画素×８画素のブロック単位や、４画素×４画素のブロック単位）で直交変換（例えば、整数変換や離散コサイン変換（ＤＣＴ））を実行し、直交変換後の信号を量子化部５に出力する。

【0077】

量子化部５は、直交変換部４から出力される直交変換後の信号を入力する。量子化部５は、直交変換部４から出力される直交変換後の信号に対して、量子化処理を実行し、量子化処理後の信号を、可変長符号化部６および逆量子化部７に出力する。

【0078】

逆量子化部７は、量子化部５から出力される信号を入力し、当該信号に対して、逆量子化処理を実行する。そして、逆量子化部７は、逆量子化処理後の信号を逆直交変換部８に出力する。

【0079】

逆直交変換部８は、逆量子化部７から出力される信号を入力し、当該信号に対して、逆直交変換処理を実行する。これにより、逆直交変換部８は、直交変換部４に入力された予測誤差信号ｄｉｆｆ１と同様の信号（予測誤差信号ｄｉｆｆ１’）を取得する。そして、逆直交変換部８は、逆直交変換処理後の信号（予測誤差信号ｄｉｆｆ１’）を加算器９に出力する。

【0080】

なお、予測誤差信号ｄｉｆｆ１’は、予測誤差信号ｄｉｆｆ１を、直交変換、量子化処理、逆量子化処理、および、逆直交変換処理を行うことで取得される信号であり、直交変換、量子化処理等に伴う誤差を含む信号である。

【0081】

加算器９は、逆直交変換部８から出力される信号と、符号化モード判定部１５から出力される予測信号Ｄｐとを入力とし、両者を加算する。これにより減算器１に入力される動画像信号Ｄｉｎと同様の動画像信号Ｄｉｎ’が取得される。加算器９は、取得した動画像信号Ｄｉｎ’を記憶部１０に出力する。

【0082】

記憶部１０は、例えば、複数フレーム分の動画像信号（データ）を記憶することができるフレームメモリである。記憶部１０は、加算器９から出力される動画像信号Ｄｉｎ’を記憶する。また、記憶部１０は、インター予測処理用の基準フレーム（例えば、現フレームの１フレーム前のフレーム）の動画像信号をインター予測部１１に出力する。また、記憶部１０は、イントラ予測処理用の基準フレーム（現フレーム）あるいは、当該基準フレームの所定の領域に相当するデータ（例えば、イントラ予測を行う単位のブロックのデータや、当該ブロックの複数個からなる領域のデータ）をイントラ予測部１２に出力する。

【0083】

インター予測部１１は、動画像信号Ｄｉｎと、記憶部１０からの出力（参照画像を形成する動画像信号）と、を入力する。また、インター予測部１１は、符号化モード判定部から出力される制御信号ｃｔｌ１と、位置情報取得部１３から出力される位置情報ｐｏｓとを入力する。インター予測部１１は、制御信号ｃｔｌ１と位置情報ｐｏｓとに基づいて、インター予測処理を実行し、インター予測信号（インター予測動画像信号）を取得する。そして、インター予測部１１は、取得したインター予測信号を符号化モード判定部１５に出力する。

【0084】

また、インター予測部１１は、動きベクトル処理部１６から予測動きベクトルｐＭＶ（予測動きベクトルに関する情報）を入力する。そして、インター予測部１１は、当該予測動きベクトルｐＭＶを、動きベクトルの探索処理の初期ベクトルに設定し、動きベクトルの探索処理を実行する。そして、インター予測部１１は、動きベクトルの探索処理により取得した動きベクトルＭＶ（動きベクトル情報ＭＶ）を動きベクトル処理部１６に出力する。

【0085】

イントラ予測部１２は、動画像信号Ｄｉｎと、記憶部１０からの出力（イントラフレーム画像（現フレーム画像）を形成する動画像信号）と、を入力する。また、イントラ予測部１２は、符号化モード判定部から出力される制御信号ｃｔｌ２と、位置情報取得部１３から出力される位置情報ｐｏｓとを入力する。イントラ予測部１２は、制御信号ｃｔｌ２と位置情報ｐｏｓとに基づいて、イントラ予測処理を実行し、イントラ予測信号（イントラ予測動画像信号）を取得する。そして、イントラ予測部１２は、取得したイントラ予測信号を符号化モード判定部１５に出力する。

【0086】

位置情報取得部１３は、動画像信号Ｄｉｎと、映像無効領域を特定するための情報Ｉｎｆｏ＿ａｒｅａとを入力とする。位置情報取得部１３は、処理対象中のマクロブロックの画面上の位置情報を取得する。また、位置情報取得部１３は、情報Ｉｎｆｏ＿ａｒｅａに基づいて、処理対象中のマクロブロックが、映像無効領域内に存在するのか否かについての情報を取得する。そして、位置情報取得部１３は、取得した上記２つの情報を含む情報を位置情報ｐｏｓとして、インター予測部１１と、イントラ予測部１２と、スキップＭＢ判定部１４と、符号化モード判定部１５と、動きベクトル処理部１６とに出力する。

【0087】

スキップＭＢ判定部１４は、動画像信号Ｄｉｎと、位置情報取得部１３から出力される位置情報ｐｏｓと、を入力とする。スキップＭＢ判定部１４は、位置情報ｐｏｓに基づいて、処理対象中のマクロブロックをスキップマクロブロック（スキップトマクロブロック）とするか否かを判定し、その判定結果を示す情報を符号化モード判定部１５に出力する。

【0088】

符号化モード判定部１５は、位置情報取得部１３から出力される位置情報ｐｏｓと、スキップＭＢ判定部１４から出力される情報と、インター予測部１１からの出力と、イントラ予測部１２からの出力と、コスト算出部３から出力される情報ｃｏｓｔと、を入力とする。

【0089】

符号化モード判定部１５は、位置情報ｐｏｓに基づいて、符号化コスト算出処理のときに、映像無効領域に対応する予測誤差信号が強制的に「０」となるように制御信号ｃｔｌ＿ｚ１を設定する。符号化モード判定部１５は、制御信号ｃｔｌ＿ｚ１を第１ゼロ設定部２に出力する。

【0090】

また、符号化モード判定部１５は、位置情報ｐｏｓに基づいて、符号化コスト算出処理のときに、所定の条件を満たし、映像無効領域に対応するベクトル差分信号が強制的に「０」となるように制御信号ｃｔｌ＿ｚ２を設定する。符号化モード判定部１５は、制御信号ｃｔｌ＿ｚ２を第２ゼロ設定部１７に出力する。

【0091】

また、符号化モード判定部１５は、コスト算出部３から出力される情報ｃｏｓｔと、位置情報ｐｏｓとに基づいて、処理対象マクロブロックについて、インター予測を適用するのか、あるいは、イントラ予測を適用するのかを決定する。
（１）インター予測を適用すると判定された場合、符号化モード判定部１５は、インター予測部１１に、インター予測処理を実行させるための制御信号ｃｔｌ１を生成し、当該制御信号ｃｔｌ１をインター予測部１１に出力する。
（２）イントラ予測を適用すると判定された場合、符号化モード判定部１５は、イントラ予測部１２に、イントラ予測処理を実行させるための制御信号ｃｔｌ２を生成し、当該制御信号ｃｔｌ２をイントラ予測部１２に出力する。

【0092】

また、符号化モード判定部１５は、採用した予測方法（イントラ予測／インター予測）についての情報、イントラ予測モード、イントラ予測処理に用いたブロックサイズ、インター予測に用いたブロックサイズ（分割ブロックサイズ、マクロブロック・パーティション）、サブマクロブロック・パーティションについての情報等を、情報Ｉｎｆｏ＿ｍｏｄｅとして、可変長符号化部６に出力する。

【0093】

動きベクトル処理部１６は、位置情報取得部１３から出力される位置情報ｐｏｓと、インター予測部１１から出力される動きベクトル情報ＭＶとを入力する。動きベクトル処理部１６は、処理対象ブロックの周辺のブロックの動きベクトルについての情報を記憶するメモリ（不図示）を有している。動きベクトル処理部１６は、処理対象ブロックの予測動きベクトルｐＭＶを、例えば、Ｈ．２６４規格に準拠した方法により、処理対象ブロックの周辺の動きベクトルを用いて取得する。そして、動きベクトル処理部１６は、取得した予測動きベクトルｐＭＶと、インター予測部１１により取得された動きベクトルＭＶとの差分をとることにより、動きベクトル差分信号ｄｉｆｆ＿ＭＶを取得する。そして、動きベクトル処理部１６は、取得した動きベクトル差分信号ｄｉｆｆ＿ＭＶを第２ゼロ設定部１７に出力する。また、動きベクトル処理部１６は、インター予測部１１での動きベクトルの探索処理の初期ベクトル用として、予測動きベクトルｐＭＶ（予測動きベクトルに関する情報）をインター予測部１１に出力する。

【0094】

第２ゼロ設定部１７は、動きベクトル処理部１６から出力される動きベクトル差分信号ｄｉｆｆ＿ＭＶと、符号化モード判定部１５から出力される制御信号ｃｔｌ＿ｚ２とを入力する。第２ゼロ設定部１７は、制御信号ｃｔｌ＿ｚ２に基づいて、
第２ゼロ設定部１７は、制御信号ｃｔｌ＿ｚ２に基づいて、動きベクトル差分信号ｄｉｆｆ＿ＭＶまたは動きベクトル差分信号ｄｉｆｆ＿ＭＶの信号値を強制的に「０」にした信号のいずれかを選択し、動きベクトル差分信号ｄｉｆｆ１＿ＭＶとして、コスト算出部３および可変長符号化部６に出力する。なお、第２ゼロ設定部１７は、図１に示すように、例えば、セレクタｓｅｌ２を用いて実現される。

【0095】

可変長符号化部６は、量子化部５から出力される信号を入力する。また、符号化モード判定部１５から出力される情報Ｉｎｆｏ＿ｍｏｄｅと、第２ゼロ設定部１７から出力される動きベクトル差分信号ｄｉｆｆ１＿ＭＶとを入力する。可変長符号化部６は、量子化部５から出力される信号と、情報Ｉｎｆｏ＿ｍｏｄｅと、動きベクトル差分信号ｄｉｆｆ１＿ＭＶとに対して可変長符号化処理を実行し、動画像符号化信号Ｄｏｕｔを取得し、取得した動画像符号化信号Ｄｏｕｔを出力する。

【0096】

＜１．２：動画像符号化装置の動作＞
以上のように構成された動画像符号化装置１０００の動作について、以下、説明する。

【0097】

（１．２．１：下半分に無効領域を含むマクロブロック（パターン１）の処理）
まず、図２に示すマクロブロックの処理について、説明する。

【0098】

図２は、１フレームの表示画像サイズが１９２０画素×１０８０画素である映像信号に対して、１６画素×１６画素のマクロブロックを用いた動画像符号化処理を実行するために生成された１９２０画素×１０８８画素の画像サイズを有する映像信号の一部（１０７３ライン〜１０８８ラインにおいて、水平方向の１番目の画素から第３２番目までの画素に相当する画像領域）を模式的に示した図である。

【0099】

以下では、説明便宜のため、動画像符号化装置１０００が、図２に示したマクロブロックＭＢ１を処理対象マクロブロックとして、処理する場合について、説明する。

【0100】

図２から分かるようにマクロブロックＭＢ１は、１６画素×１６画素（以下、「Ｎ画素×Ｍ画素」（Ｎ，Ｍ：自然数）を「Ｎ×Ｍ」と表記する。）のマクロブロックであり、上半分の１６画素×８画素の領域が有効領域（映像有効領域）であり、下半分の１６画素×８画素の領域が無効領域（映像無効領域）である。図２に無地で示した領域が有効領域であり、ハッチングを付した領域が無効領域である（以下同様）。

【0101】

位置情報取得部１３は、図２に示すように、１０８１ライン目から１０８８ライン目までの領域が無効領域（映像無効領域）であることを特定するための情報Ｉｎｆｏ＿ａｒｅａを入力する。

【0102】

位置情報取得部１３は、情報Ｉｎｆｏ＿ａｒｅａに基づいて、処理対象中のマクロブロックＭＢ１が、下半分の領域に無効領域を有することを示す情報を取得し、当該情報と上記情報Ｉｎｆｏ＿ａｒｅａを含む位置情報ｐｏｓとして、インター予測部１１と、イントラ予測部１２と、動きベクトル処理部１６とに出力する。

【0103】

動画像符号化装置１０００では、符号化コストの算出処理が実行される。具体的には、以下の（Ａ）に示した処理により、インター予測処理による符号化コストの算出処理が実行され、以下の（Ｂ）に示した処理により、イントラ予測処理による符号化コストの算出処理が実行される。

【0104】

（Ａ）インター予測処理による符号化コストの算出処理：
（Ａ１）インター予測部１１は、Ｈ．２６４規格に規定されている分割方法により分割されたブロック（分割ブロック（マクロブロック・パーティション））ごとにインター予測処理を実行する。マクロブロックＭＢ１の場合、マクロブロックの上半分が有効領域であるので、符号化モード判定部１５は、インター予測部１１に対して、制御信号ｃｔｌ１により、動き推定（ＭＥ：Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）および動き補償（ＭＣ：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）の処理対象を、マクロブロックＭＢ１の上半分の領域に設定し、動き推定（ＭＥ）および動き補償（ＭＣ）ための分割ブロックを１６×８、８×８（サブマクロブロック・パーティションあり）、８×８（サブマクロブロック・パーティションなし）に設定し、それぞれの場合について、動き推定（ＭＥ）および動き補償（ＭＣ）を実行し、マクロブロックＭＢ１の上半分の領域についてのインター予測信号を取得する。そして、インター予測部１１は、インター予測信号を符号化モード判定部１５に出力する。なお、マクロブロックＭＢ１の下半分の領域は、無効領域であるので、動き推定（ＭＥ）および動き補償（ＭＣ）の対象とはせず、マクロブロックＭＢ１の下半分の領域についての動き推定（ＭＥ）および動き補償（ＭＣ）は、実行されない。
（Ａ２）符号化モード判定部１５は、マクロブロックＭＢ１の下半分の領域の画素についての予測誤差信号ｄｉｆｆ１が「０」となるように制御信号ｃｔｌ＿ｚ１（図１の場合、信号値を「１」とする制御信号ｃｔｌ＿ｚ１）を生成し、第１ゼロ設定部２に出力する。
（Ａ３）符号化モード判定部１５は、マクロブロックＭＢ１の上半分の領域について、インター予測部１１により取得されたインター予測信号を、予測信号Ｄｐとして、減算器１に出力する。減算器１は、動画像信号Ｄｉｎ（マクロブロックＭＢ１に相当する動画像信号Ｄｉｎ）から、予測信号Ｄｐを減算し、予測誤差信号ｄｉｆｆを生成し、第１ゼロ設定部２に出力する。
（Ａ４）第１ゼロ設定部２は、符号化モード判定部１５からの制御信号ｃｔｌ＿ｚ１に従い、マクロブロックＭＢ１の上半分の領域については、減算器１から出力される予測誤差信号ｄｉｆｆを予測誤差信号ｄｉｆｆ１として、コスト算出部３に出力し、マクロブロックＭＢ１の下半分については、予測誤差信号ｄｉｆｆ１の信号値を強制的に「０」にして、コスト算出部３に出力する。なお、図１の場合、第１ゼロ設定部２に入力される制御信号ｃｔｌ＿ｚ１の信号値は、符号化モード判定部１５により、マクロブロックＭＢ１の上半分の領域についての処理が実行されるときは、「０」に設定され、マクロブロックＭＢ１の下半分の領域についての処理が実行されるときは、「１」に設定される。
（Ａ５）また、インター予測部１１は、動き推定（ＭＥ）により、上記で設定された分割ブロック（分割方法）ごとに取得した動きベクトルＭＶを動きベクトル処理部１６に出力する。動きベクトル処理部１６は、Ｈ．２６４規格に準拠した方法により、処理対象ブロックの周辺の動きベクトルを用いて、分割ブロックの予測動きベクトルを取得し、インター予測部１１から出力された動きベクトルと、取得した予測動きベクトルとの差分をとることにより、動きベクトル差分信号ｄｉｆｆ＿ＭＶを取得する。そして、取得された動きベクトル差分信号ｄｉｆｆ＿ＭＶは、第２ゼロ設定部１７に出力される。
（Ａ６）第２ゼロ設定部１７は、符号化モード判定部１５からの制御信号ｃｔｌ＿ｚ２に従い、マクロブロックＭＢ１の上半分の領域については、動きベクトル処理部１６から出力される動きベクトル差分信号ｄｉｆｆ＿ＭＶを動きベクトル差分信号ｄｉｆｆ１＿ＭＶとして、コスト算出部３に出力し、マクロブロックＭＢ１の下半分については、動きベクトル差分信号ｄｉｆｆ１＿ＭＶの信号値を強制的に「０」にして、コスト算出部３に出力する。なお、図１の場合、第２ゼロ設定部１７に入力される制御信号ｃｔｌ＿ｚ２の信号値は、符号化モード判定部１５により、マクロブロックＭＢ１の上半分の領域についての処理が実行されるときは、「０」に設定され、マクロブロックＭＢ１の下半分の領域についての処理が実行されるときは、「１」に設定される。
（Ａ７）コスト算出部３は、分割ブロックごとに、上記により取得された予測誤差信号ｄｉｆｆ１と、動きベクトル差分信号ｄｉｆｆ１＿ＭＶとを用いて符号化コストが算出する。なお、マクロブロックＭＢ１の下半分の領域（無効領域）における予測誤差信号ｄｉｆｆ１および動きベクトル差分信号ｄｉｆｆ１＿ＭＶは、その信号値が全て「０」であるので、コスト算出部３は、マクロブロックＭＢ１の上半分の領域（有効領域）についてのみ符号化コストを算出するようにしてもよい。

【0105】

（Ｂ）イントラ予測処理による符号化コストの算出処理：
（Ｂ１）イントラ予測部１２は、Ｈ．２６４規格に規定されているイントラ予測用のブロックサイズごとにインター予測処理を実行する。なお、直交変換のブロックサイズが４×４のとき、イントラ予測用のブロックサイズは、４×４または１６×１６であり、直交変換のブロックサイズが８×８のとき、イントラ予測用のブロックサイズは、８×８である。

【0106】

マクロブロックＭＢ１の場合、マクロブロックの上半分が有効領域であるので、符号化モード判定部１５は、イントラ予測部１２に対して、制御信号ｃｔｌ２により、イントラ予測用のブロックサイズおよびイントラ予測モードを設定する。イントラ予測部１２は、設定されたイントラ予測モードで、イントラ予測処理を実行し、イントラ予測信号を取得し、符号化モード判定部１５に出力する。これを、イントラ予測用のブロックサイズの種別、および、イントラ予測モードの種別ごとに行う。
（Ｂ２）符号化モード判定部１５は、マクロブロックＭＢ１の下半分の領域の画素についての予測誤差信号ｄｉｆｆ１が「０」となるように制御信号ｃｔｌ＿ｚ１（図１の場合、信号値を「１」とする制御信号ｃｔｌ＿ｚ１）を生成し、第１ゼロ設定部２に出力する。
（Ｂ３）符号化モード判定部１５は、マクロブロックＭＢ１の上半分の領域について、イントラ予測部１２により取得されたイントラ予測信号を、予測信号Ｄｐとして、減算器１に出力する。減算器１は、動画像信号Ｄｉｎ（マクロブロックＭＢ１に相当する動画像信号Ｄｉｎ）から、予測信号Ｄｐを減算し、予測誤差信号ｄｉｆｆを生成し、第１ゼロ設定部２に出力する。
（Ｂ４）第１ゼロ設定部２は、符号化モード判定部１５からの制御信号ｃｔｌ＿ｚ１に従い、マクロブロックＭＢ１の上半分の領域については、減算器１から出力される予測誤差信号ｄｉｆｆを予測誤差信号ｄｉｆｆ１として、コスト算出部３に出力し、マクロブロックＭＢ１の下半分については、予測誤差信号ｄｉｆｆ１の信号値を強制的に「０」にして、コスト算出部３に出力する。なお、図１の場合、第１ゼロ設定部２に入力される制御信号ｃｔｌ＿ｚ１の信号値は、符号化モード判定部１５により、マクロブロックＭＢ１の上半分の領域についての処理が実行されるときは、「０」に設定され、マクロブロックＭＢ１の下半分の領域についての処理が実行されるときは、「１」に設定される。
（Ｂ５）コスト算出部３は、イントラ予測用のブロックサイズの種別、および、イントラ予測モードの種別ごと、上記により取得された予測誤差信号ｄｉｆｆ１を用いて符号化コストが算出する。なお、マクロブロックＭＢ１の下半分の領域（無効領域）における予測誤差信号ｄｉｆｆ１は、その信号値が全て「０」であるので、コスト算出部３は、マクロブロックＭＢ１の上半分の領域（有効領域）についてのみ符号化コストを算出するようにしてもよい。

【0107】

上記処理により取得された、インター予測処理による符号化コストと、イントラ予測処理による符号化コストとに関する情報ｃｏｓｔが、コスト算出部３から符号化モード判定部１５に出力される。

【0108】

符号化モード判定部１５では、コスト算出部３により取得された符号化コストに関する情報ｃｏｓｔに基づいて、マクロブロックＭＢ１に対して、インター予測処理を行うのか、それとも、イントラ予測処理を行うのかを決定する。つまり、符号化モード判定部１５は、最小の符号化コストとなる予測処理を、インター予測部１１、または、イントラ予測部１２に実行させるための制御信号ｃｔｌ１、または、制御信号ｃｔｌ２を生成する。

【0109】

≪Ａ：インター予測処理≫
まず、符号化コストが最小であると判定されたのが、インター予測処理である場合について、場合分けをして、以下、説明する。

【0110】

≪Ａ１：分割ブロックが１６×８の場合（インター予測処理）≫
分割ブロックを１６×８としたときのインター予測処理の符号化コストが最小である場合（これを「パターンＡ１」の場合という。）、符号化モード判定部１５は、インター予測部１１に制御信号ｃｔｌ１を出力し、インター予測部１１に分割ブロックを１６×８として、マクロブロックＭＢ１の上半分の領域（有効領域）について、動き推定（ＭＥ）および動き補償（ＭＣ）を実行するように制御する。

【0111】

インター予測部１１は、符号化モード判定部１５からの制御信号ｃｔｌ１に従い、マクロブロックＭＢ１の上半分の領域（有効領域）について、動き推定（ＭＥ）および動き補償（ＭＣ）を実行する。なお、処理対象ブロックであるマクロブロックＭＢ１の上半分の１６×８のブロックを「注目分割ブロック」という。

【0112】

また、インター予測部１１は、記憶部１０から入力された参照画像と、動き推定（ＭＥ）処理で取得した動きベクトルＭＶとに基づいて、動き補償（ＭＣ）を実行することで、注目分割ブロックについてのインター予測信号を取得し、符号化モード判定部１５に出力する。

【0113】

符号化モード判定部１５は、注目分割ブロックが１６×８であり、マクロブロックＭＢ１の下半分の領域（１６×８の領域）が無効領域であるので、動き補償（ＭＣ）のブロックサイズを１６×１６に設定する。さらに、符号化モード判定部１５は、マクロブロックＭＢ１の動きベクトルを、インター予測部１１が、注目分割ブロック（マクロブロックＭＢ１の上半分の領域（１６×８の領域））を処理対象として取得した動きベクトルＭＶとする。この処理について、図３を用いて、説明する。

【0114】

図３は、処理対象マクロブロックＭＢ１の上半分（注目分割ブロックが１６×８）が有効領域である場合において、決定される動き補償（ＭＣ）のブロックサイズと、動きベクトルについて説明するための図である。なお、図３において、有効領域を無地（白地）の領域として、無効領域をハッチングを付した領域として示している（以下、同様）。

【0115】

上記の場合、図３の左図に示すように、注目分割ブロックＤＢ１（マクロブロックＭＢ１の上半分の領域）について、動き推定により算出された動きベクトルを動きベクトルＭＶ１とすると、インター予測部１１は、マクロブロックＭＢ１の上半分（１６×８の領域）を、参照画像において、動きベクトルＭＶ１が示す先に存在する画像領域として、インター予測信号を生成する。なお、マクロブロックの下半分（１６×８の領域）の無効領域については、動きベクトルの探索処理も、動き補償（ＭＣ）処理も実行されない。

【0116】

符号化モード判定部１５は、上記のようにして取得されたインター予測信号、および、注目分割ブロック（有効領域）の動きベクトルＭＶ１に基づいて、マクロブロックＭＢ１の動き補償のブロックサイズを１６×１６に設定し、当該１６×１６のブロックの動きベクトルをＭＶ１として、予測信号Ｄｐを生成し、減算器１に出力する。また、符号化モード判定部１５は、マクロブロックＭＢ１の動き補償のブロックサイズが１６×１６であることと、マクロブロックＭＢ１に対してインター予測処理が実行されたことを示す情報を情報Ｉｎｆｏ＿ｍｏｄｅとして、可変長符号化部６に出力する。

【0117】

また、符号化モード判定部１５は、無効領域に相当する予測誤差信号ｄｉｆｆの信号値が強制的に「０」となるように制御信号ｃｔｌ＿ｚ１を生成し、第１ゼロ設定部２に出力する。

【0118】

減算器１は、マクロブロックＭＢ１に相当する動画像信号Ｄｉｎから、符号化モード判定部１５から入力された予測信号Ｄｐを減算し取得した予測誤差信号ｄｉｆｆを、第１ゼロ設定部２に出力する。

【0119】

第１ゼロ設定部２は、マクロブロックＭＢ１の上半分の１６×８の領域（有効領域）に相当する予測誤差信号ｄｉｆｆが入力された場合は、符号化モード判定部１５からの制御信号ｃｔｌ＿ｚ１に従い、入力された予測誤差信号ｄｉｆｆを、そのまま、予測誤差信号ｄｉｆｆ１として、直交変換部４に出力する。一方、第１ゼロ設定部２は、マクロブロックＭＢ１の下半分（無効領域）の１６×８の領域に相当する予測誤差信号ｄｉｆｆが入力された場合は、符号化モード判定部１５からの制御信号ｃｔｌ＿ｚ１に従い、その信号値を強制的に「０」にし、予測誤差信号ｄｉｆｆ１として、直交変換部４に出力する。

【0120】

直交変換部４では、予測誤差信号ｄｉｆｆ１に対して、直交変換処理を実行し、直交変換後の信号が量子化部５に出力される。

【0121】

量子化部５は、直交変換部４から入力される信号に対して量子化処理を実行し、量子化処理後の信号を可変長符号化部６に出力する。

【0122】

また、インター予測部１１は、上記により取得された動きベクトルＭＶ１を動きベクトル処理部１６に出力する。

【0123】

動きベクトル処理部１６は、インター予測部１１から入力された動きベクトルＭＶ１と、注目分割ブロックの周辺から取得した予測動きベクトルｐＭＶとの差分をとり、動きベクトル差分信号ｄｉｆｆ＿ＭＶを第２ゼロ設定部１７に出力する。第２ゼロ設定部１７は、動きベクトル処理部１６から入力した動きベクトル差分信号ｄｉｆｆ＿ＭＶを、マクロブロックＭＢ１用の動きベクトル差分信号ｄｉｆｆ１＿ＭＶとして、可変長符号化部６に出力する。

【0124】

可変長符号化部６は、量子化部５から入力された信号に対して可変長符号化処理を実行する。

【0125】

また、可変長符号化部６は、符号化モード判定部１５から入力されたマクロブロックＭＢ１の動き補償のブロックサイズが１６×１６であることと、マクロブロックＭＢ１に対してインター予測処理が実行されたことを示す情報Ｉｎｆｏ＿ｍｏｄｅと、第２ゼロ設定部１７から入力されたマクロブロックＭＢ１用の動きベクトル差分信号ｄｉｆｆ１＿ＭＶとに対して、可変長符号化処理を実行する。

【0126】

可変長符号化部６は、上記のように、量子化信号、各種情報（モード情報等）、および、差分ベクトル信号に対して、可変長符号化処理を実行して取得した信号を、マクロブロックＭＢ１に対する動画像符号化信号Ｄｏｕｔとして、出力する。

【0127】

このように、動画像符号化装置１０００では、有効領域のみを用いて、動き推定処理、動き補償処理を実行するので、無効領域の影響を受けることなく、精度の良い動き推定処理、動き補償処理を実行することができるので、それにより取得される動きベクトルの精度も高い。また、動画像符号化装置１０００では、無効領域における予測誤差信号を強制的に「０」にするので、無効領域に対する符号量の発生を顕著に抑制することができる。また、無効領域についての動き推定処理（動きベクトル探索処理）、動き補償処理を実行することがないので、演算量の増加も抑制することができる。

【0128】

≪Ａ２：分割ブロックが８×８であり、かつ、サブブロック（サブマクロブロック・パーティション）がない場合（インター予測処理）≫
分割ブロックを８×８とし、かつ、サブブロックなしにしたときのインター予測処理の符号化コストが最小である場合（これを「パターンＡ２」の場合という。）、符号化モード判定部１５は、インター予測部１１に制御信号ｃｔｌ１を出力し、インター予測部１１に分割ブロックを８×８として、マクロブロックＭＢ１の上半分の２つの領域（有効領域）について、動き推定（ＭＥ）および動き補償（ＭＣ）を実行するように制御する。

【0129】

図４は、パターンＡ２の場合の処理を説明するための図である。

【0130】

インター予測部１１は、符号化モード判定部１５からの制御信号ｃｔｌ１に従い、マクロブロックＭＢ１の上半分の領域（有効領域）について、動き推定（ＭＥ）および動き補償（ＭＣ）を実行する。具体的には、インター予測部１１は、処理対象ブロックであるマクロブロックＭＢ１の上半分の２つの８×８のブロックについての予測動きベクトルｐＭＶ（注目分割ブロックの周辺のブロックから求めた予測動きベクトル）を動きベクトル処理部１６から取得する。以下では、図４の左図に示すように、２つの８×８ブロックのうち左側の分割ブロック（８×８ブロック）を分割ブロックＤＢ１１とし、右側の分割ブロック（８×８ブロック）を分割ブロックＤＢ１２とする。

【0131】

なお、説明便宜のため、分割ブロックＤＢ１１が注目分割ブロック（処理対象分割ブロック）である場合について、以下、説明する。

【0132】

インター予測部１１は、分割ブロックＤＢ１１についての動き推定処理（ＭＥ）により注目分割ブロックＤＢ１１の動きベクトルＭＶ１１を取得する。インター予測部１１は、取得した動きベクトルＭＶ１１を動きベクトル処理部１６に出力する。

【0133】

また、インター予測部１１は、記憶部１０から入力された参照画像と、取得した動きベクトルＭＶ１１とに基づいて、動き補償（ＭＣ）を実行することで、注目分割ブロックＤＢ１１についてのインター予測信号を取得し、符号化モード判定部１５に出力する。

【0134】

符号化モード判定部１５は、注目分割ブロックＤＢ１１が８×８であり、マクロブロックＭＢ１の左下半分の領域（８×８の領域）が無効領域であるので、動き補償（ＭＣ）のブロックを注目分割ブロックＤＢ１１を含む８×１６のブロックであるＭＥ用ブロックＤＢ１１ｅ（図４の右図に示すＭＥ用ブロックＤＢ１１ｅ）に設定し、さらに、ＭＥ用ブロックＤＢ１１ｅの動きベクトルＭＶ１１ｅを、インター予測部１１により、注目分割ブロックＤＢ１１を処理対象として取得された動きベクトルＭＶ１１（図４の左図に示す動きベクトルＭＶ１１）とする。この処理について、図４を用いて、具体的に説明する。

【0135】

パターンＡ２の場合、図４の左図に示すように、注目分割ブロックＤＢ１１について、インター予測部１１は、注目分割ブロックＭＢ１１を、参照画像において、動きベクトルＭＶ１１が示す先に存在する画像領域として、インター予測信号を生成する。なお、マクロブロックの下半分（８×１６の領域）の無効領域については、動きベクトルの探索処理も、動き補償（ＭＣ）処理も実行しない。

【0136】

符号化モード判定部１５は、上記のようにして取得されたインター予測信号、および、注目分割ブロックＤＢ１１の動きベクトルＭＶ１１に基づいて、ＭＥ用ブロックＤＢ１１ｅの動き補償のブロックサイズを８×１６に設定し、当該８×１６のブロックの動きベクトルをＭＶ１１と同じベクトルである動きベクトルＭＶ１１ｅとして、予測信号Ｄｐを生成し、減算器１に出力する。また、符号化モード判定部１５は、ＭＥ用ブロックＤＢ１１ｅの動き補償のブロックサイズが８×１６であることと、ＭＥ用ブロックＤＢ１１ｅに対してインター予測処理が実行されたことを示す情報を情報Ｉｎｆｏ＿ｍｏｄｅとして、可変長符号化部６に出力する。

【0137】

また、符号化モード判定部１５は、無効領域に相当する予測誤差信号ｄｉｆｆの信号値が強制的に「０」となるように制御信号ｃｔｌ＿ｚ１を生成し、第１ゼロ設定部２に出力する。

【0138】

減算器１は、ＭＥ用ブロックＤＢ１１ｅに相当する動画像信号Ｄｉｎから、符号化モード判定部１５から入力された予測信号Ｄｐを減算し取得した予測誤差信号ｄｉｆｆを、第１ゼロ設定部２に出力する。

【0139】

第１ゼロ設定部２は、ＭＥ用ブロックＤＢ１１ｅの上半分の領域（有効領域）に相当する予測誤差信号ｄｉｆｆが入力された場合は、符号化モード判定部１５からの制御信号ｃｔｌ＿ｚ１に従い、入力された予測誤差信号ｄｉｆｆを、そのまま、予測誤差信号ｄｉｆｆ１として、直交変換部４に出力する。一方、第１ゼロ設定部２は、ＭＥ用ブロックＤＢ１１ｅの上半分の領域の下半分（無効領域）の領域に相当する予測誤差信号ｄｉｆｆが入力された場合は、符号化モード判定部１５からの制御信号ｃｔｌ＿ｚ１に従い、その信号値を強制的に「０」にし、予測誤差信号ｄｉｆｆ１として、直交変換部４に出力する。

【0140】

直交変換部４では、予測誤差信号ｄｉｆｆ１に対して、直交変換処理を実行し、直交変換後の信号が量子化部５に出力される。

【0141】

量子化部５は、直交変換部４から入力される信号に対して量子化処理を実行し、量子化処理後の信号を可変長符号化部６に出力する。

【0142】

また、インター予測部１１は、上記により取得された動きベクトルＭＶ１１ｅ（ＭＶ１１と同じ動きベクトル）を動きベクトル処理部１６に出力する。

【0143】

動きベクトル処理部１６は、インター予測部１１から入力された動きベクトルＭＶ１１ｅ（ＭＶ１１と同じ動きベクトル）と、注目分割ブロックの周辺から取得した予測動きベクトルｐＭＶとの差分をとり、動きベクトル差分信号ｄｉｆｆ＿ＭＶを第２ゼロ設定部１７に出力する。第２ゼロ設定部１７は、動きベクトル処理部１６から入力した動きベクトル差分信号ｄｉｆｆ＿ＭＶを、ＭＥ用ブロックＤＢ１１ｅ用の動きベクトル差分信号ｄｉｆｆ１＿ＭＶとして、可変長符号化部６に出力する。

【0144】

可変長符号化部６は、量子化部５から入力された信号に対して可変長符号化処理を実行する。

【0145】

また、可変長符号化部６は、符号化モード判定部１５から入力されたＭＥ用ブロックＤＢ１１ｅの動き補償のブロックサイズが８×１６であることと、ＭＥ用ブロックＤＢ１１ｅに対してインター予測処理が実行されたことを示す情報Ｉｎｆｏ＿ｍｏｄｅと、第２ゼロ設定部１７から入力されたＭＥ用ブロックＤＢ１１ｅ用の動きベクトル差分信号ｄｉｆｆ１＿ＭＶとに対して、可変長符号化処理を実行する。

【0146】

可変長符号化部６は、上記のように、量子化信号、各種情報（モード情報等）、および、差分ベクトル信号に対して、可変長符号化処理を実行して取得した信号を、ＭＥ用ブロックＤＢ１１ｅに対する動画像符号化信号Ｄｏｕｔとして、出力する。

【0147】

このように、動画像符号化装置１０００では、有効領域のみを用いて、動き推定処理、動き補償処理を実行するので、無効領域の影響を受けることなく、精度の良い動き推定処理、動き補償処理を実行することができるので、それにより取得される動きベクトルの精度も高い。また、動画像符号化装置１０００では、無効領域における予測誤差信号を強制的に「０」にするので、無効領域に対する符号量の発生を顕著に抑制することができる。また、無効領域についての動き推定処理（動きベクトル探索処理）、動き補償処理を実行することがないので、演算量の増加も抑制することができる。

【0148】

なお、上記では、分割ブロックＤＢ１１が注目分割ブロック（処理対象分割ブロック）である場合について、説明したが、分割ブロックＤＢ１２（図４に示す分割ブロックＤＢ１２）が注目分割ブロック（処理対象分割ブロック）である場合についても、上記と同様の処理が実行され、ＭＥ用ブロックＤＢ１２ｅ（図４に示すＭＥ用ブロックＤＢ１２ｅ）に対する動画像符号化信号Ｄｏｕｔが取得される。

【0149】

≪Ａ３：分割ブロックが８×８の場合であって、サブブロック（サブマクロブロック・パーティション）がある場合（インタ予測処理）≫
分割ブロックを８×８とし、かつ、サブブロックありにしたときのインター予測処理の符号化コストが最小である場合（これを「パターンＡ３」の場合という。）、符号化モード判定部１５は、インター予測部１１に制御信号ｃｔｌ１を出力し、インター予測部１１に分割ブロックを８×８として、さらに、符号化コストが最小となるサブブロックが設定されたマクロブロックＭＢ１の上半分の有効領域について、動き推定（ＭＥ）および動き補償（ＭＣ）を実行するように制御する。ここでは、説明便宜のため、有効領域の８×８の分割ブロックのサブブロックが全て４×４のブロックである場合について説明する。なお、サブブロックは、例えば、Ｈ．２６４規格に規定されているように、４×８のブロック、８×４のブロック、４×４のブロックを取り得る。

【0150】

図５は、パターンＡ３の場合の処理を説明するための図である。

【0151】

インター予測部１１は、符号化モード判定部１５からの制御信号ｃｔｌ１に従い、マクロブロックＭＢ１の上半分の領域（有効領域）について、動き推定（ＭＥ）および動き補償（ＭＣ）を実行する。具体的には、インター予測部１１は、処理対象ブロックであるマクロブロックＭＢ１の上半分の８つの４×４のブロック（図５の左図に示すサブブロックｄＢ１１、ｄＢ１２、ｄＢ１３、ｄＢ１４、ｄＢ２１、ｄＢ２２、ｄＢ２３、ｄＢ２４）についての予測動きベクトルｐＭＶ（注目分割ブロックの周辺のブロックから求めた予測動きベクトル）を動きベクトル処理部１６から取得する。

【0152】

なお、説明便宜のため、サブブロックｄＢ２２が注目ブロック（処理対象ブロック）である場合について、以下、説明する。

【0153】

インター予測部１１は、分割ブロックｄＢ２２についての予測動きベクトルｐＭＶを動きベクトルの探索処理の初期ベクトルとして、動きベクトルの探索処理を実行し、注目ブロックｄＢ２２の動きベクトルｍｖ２２を取得する。

【0154】

インター予測部１１は、取得した動きベクトルｍｖ２２を動きベクトル処理部１６に出力する。

【0155】

また、インター予測部１１は、記憶部１０から入力された参照画像と、取得した動きベクトルｍｖ２２とに基づいて、動き補償（ＭＣ）を実行することで、注目ブロックｄＢ２２についてのインター予測信号を取得し、符号化モード判定部１５に出力する。つまり、注目ブロックｄＢ２２については、Ｈ．２６４に規格されている通りの処理を行う。そして、そのために、符号化モード判定部１５は、注目ブロックｄＢ２２に相当する予測誤差信号ｄｉｆｆが、第１ゼロ設定部２において、そのまま、予測誤差信号ｄｉｆｆ１として出力されるように、制御信号ｃｔｌ１を生成する。

【0156】

また、インター予測部１１は、注目ブロックｄＢ２２について取得された動きベクトルｍｖ２２を動きベクトル処理部１６に出力し、動きベクトル処理部１６は、注目ブロックｄＢ２２の周辺ブロックから取得された予測動きベクトルと、動きベクトルｍｖ２２との差分をとることで、動きベクトル差分信号ｄｉｆｆ＿ＭＶを取得し、第２ゼロ設定部１７に出力する。

【0157】

第２ゼロ設定部１７は、注目ブロックｄＢ２２が有効領域に含まれるので、制御信号ｃｔｌ＿ｚ２に従い、動きベクトル差分信号ｄｉｆｆ＿ＭＶを、そのまま、動きベクトル差分信号ｄｉｆｆ１＿ＭＶとして、可変長符号化部６に出力する。

【0158】

つまり、注目ブロックｄＢ２２については、Ｈ．２６４規格に規定されている通常の処理が実行される。

【0159】

なお、マクロブロックＭＢ１の有効領域に含まれる他のサブブロックについても同様である。

【0160】

次に、パターンＡ３の場合の無効領域の処理について、図５の左図の８×８の分割ブロックｄＢ３１が処理対象である場合を例に、説明する。

【0161】

符号化モード判定部１５は、分割ブロックｄＢ３１が無効領域に含まれるので、当該領域において予測誤差信号ｄｉｆｆ１の信号値が強制的に「０」となるように、制御信号ｃｔｌ１を生成し、第１ゼロ設定部２に出力する。

【0162】

第１ゼロ設定部２は、分割ブロックｄＢ３１に相当する予測誤差信号ｄｉｆｆが入力された場合、制御信号ｃｔｌ１に従い、信号値「０」を出力する。これにより、第１ゼロ設定部２から出力される、分割ブロックｄＢ３１に相当する予測誤差信号ｄｉｆｆ１の信号値は「０」となる。なお、直交変換部４以降の処理は、上記で説明した処理と同様である。

【0163】

次に、分割ブロックｄＢ３１に設定する動きベクトルについての処理について、説明する。

【0164】

符号化モード判定部１５は、処理対象の分割ブロックｄＢ３１が、８×８のブロックであり、無効領域内のブロックであるので、分割ブロックｄＢ３１の周辺から算出される予測動きベクトルを、分割ブロックｄＢ３１の動きベクトルに設定するよう指示する制御信号ｃｔｌ１を生成し、インター予測部１１に出力する。

【0165】

インター予測部１１は、制御信号ｃｔｌ１に従い、動きベクトル処理部１６から、分割ブロックｄＢ３１の周辺のブロックから取得された予測動きベクトルｐｍｖ３１を取得する。例えば、分割ブロックｄＢ３１の周辺のブロックおよび取得された動きベクトルが図５の左図に示す場合、動きベクトル処理部１６は、Ｈ．２６４規格の規定通り、ｐｍｖ３１を、
ｐｍｖ３１＝ｍｅｄｉａｎ（ｍｖ２１，ｍｖ２３，ｍｖ３０）
ｍｅｄｉａｎ（）：要素のメディアン値をとる関数
ｍｖ２１：ブロックｄＢ２１の動きベクトル
ｍｖ２３：ブロックｄＢ２３の動きベクトル
ｍｖ３０：ブロックｄＢ３０の動きベクトル
により、取得する。

【0166】

そして、インター予測部１１は、上記により取得された予測動きベクトルを、そのまま、分割ブロックｄＢ３１の動きベクトルｍｖ３１として採用する。これにより、分割ブロックｄＢ３１についての動きベクトル探索処理は省略される。

【0167】

そして、インター予測部１１は、上記のように取得した動きベクトルｍｖ３１を、分割ブロックｄＢ３１の動きベクトルとして、動きベクトル処理部１６に出力する。

【0168】

動きベクトル処理部１６は、分割ブロックｄＢ３１の予測動きベクトルｐｍｖ３１と、インター予測部１１から入力された動きベクトルｍｖ３１との差分をとり、動きベクトル差分信号ｄｉｆｆ＿ＭＶを取得し、第２ゼロ設定部１７に出力する。なお、予測動きベクトルｐｍｖ３１と動きベクトルｍｖ３１とは同じなので、信号値が「０」である動きベクトル差分信号ｄｉｆｆ＿ＭＶが、動きベクトル処理部１６から第２ゼロ設定部１７に出力されることになる。そして、第２ゼロ設定部１７は、入力された動きベクトル差分信号ｄｉｆｆ＿ＭＶを、そのまま、動きベクトル差分信号ｄｉｆｆ１＿ＭＶとして、可変長符号化部６に出力する。

【0169】

可変長符号化部６では、分割ブロックｄＢ３１に対応する動きベクトル差分信号ｄｉｆｆ１＿ＭＶに対して可変長符号化処理を行う。なお、分割ブロックｄＢ３１に対応する動きベクトル差分信号ｄｉｆｆ１＿ＭＶは、上記の通り、信号値が「０」となるので、可変長符号化処理後の分割ブロックｄＢ３１に相当する動画像符号化信号は、その発生符号量が抑制されたものとなる。

【0170】

なお、分割ブロックｄＢ３２についても、上記と同様の処理が実行される。

【0171】

このように、パターンＡ３の場合、動画像符号化装置では、無効領域に相当する予測誤差信号ｄｉｆｆ１の信号値が「０」となり、また、動きベクトル差分信号ｄｉｆｆ１＿ＭＶの信号値も「０」となるため、無効領域に相当する部分の動画像符号化信号の発生符号量を効果的に抑制することができる。また、上記の通り、無効領域に対する処理は、Ｈ．２６４規格に準拠した処理を実行するだけなので、回路規模の増大を抑制しつつ、簡単に実現することができる。

【0172】

≪Ｂ：イントラ予測処理≫
次に、符号化コストが最小であると判定されたのが、イントラ予測処理である場合について図６を用いて説明する。

【0173】

図６は、処理対象マクロブロックＭＢ１の上半分（注目分割ブロックが１６×８）が有効領域である場合において、決定される動き補償（ＭＣ）のブロックサイズと、動きベクトルについて説明するための図である。なお、以下では、イントラ予測モードとして、Ｈ．２６４規格で規定されている予測モード０（垂直方向への予測モード）の場合について説明する。なお、イントラ予測のためのブロックサイズは、８×８に設定されているものとして、説明する。

【0174】

図６の場合、符号化モード判定部１５は、イントラ予測部１２に対して、予測モード０として、イントラ予測処理を実行するように指示する制御信号ｃｔｌ１を生成し、イントラ予測部１２に出力する。

【0175】

イントラ予測部１２は、制御信号ｃｔｌ１に従い、マクロブロックＭＢ１に対して、予測モード０のイントラ予測処理を実行する。具体的には、図６に示すように、イントラ予測部１２は、無効領域に存在する８×８のブロックＤＢ２１の各列の画素の画素値を、有効領域に存在する８×８ブロックであるブロックＤＢ１１の最下段に位置する８つの画素Ｐ１〜Ｐ８の画素値と、それぞれ、同じ画素値となるように設定する。また、同様に、イントラ予測部１２は、無効領域に存在する８×８のブロックＤＢ２２の各列の画素の画素値を、有効領域に存在する８×８ブロックであるブロックＤＢ１２の最下段に位置する８つの画素Ｐ９〜Ｐ１６の画素値と、それぞれ、同じ画素値となるように設定する。このようにして、イントラ予測部１２は、イントラ予測ブロックＤＢ２１、ＤＢ２２を取得する。

【0176】

そして、イントラ予測部１２は、実際のブロックＤＢ２１の画素の画素値と、イントラ予測ブロックの画素の画素値との差分をとることで、ブロックＤＢ２１に相当するイントラ予測信号を符号化モード判定部１５に出力する。なお、ブロックＤＢ２２についても同様である。以下では、ブロックＤＢ２１に対する処理について、説明する。

【0177】

符号化モード判定部１５は、無効領域に存在するブロックＤＢ２１に対応する予測誤差信号ｄｉｆｆ１の信号値が「０」となるように、制御信号ｃｔｌ＿ｚ１を生成し、第１ゼロ設定部２に出力する。

【0178】

また、符号化モード判定部１５は、ブロックＤＢ２１に対応するインター予測信号を予測信号Ｄｐとして減算器１に出力する。

【0179】

減算器１は、ブロックＤＢ２１に相当する動画像信号Ｄｉｎから、予測信号Ｄｐを減算して取得した予測誤差信号ｄｉｆｆを第１ゼロ設定部２に出力する。

【0180】

第１ゼロ設定部２は、符号化モード判定部１５から出力される制御信号ｃｔｌ＿ｚ１に従い、予測誤差信号ｄｉｆｆ１の信号値を強制的に「０」にし、直交変換部４に出力する。

【0181】

直交変換部４以降において、上記で説明した、インター予測処理がなされた場合の予測誤差信号ｄｉｆｆ１の処理と同様の処理が実行される。

【0182】

このように、動画像符号化装置１０００では、符号化コストが最小であると判定されたのが、イントラ予測処理である場合において、無効領域に相当する予測誤差信号ｄｉｆｆ１の信号値を強制的に「０」とするので、不要な符号量の発生を適切に抑制することができる。

【0183】

なお、上記では、予測モード０について説明したが、他の予測モードにおいても、動画像符号化装置１０００では、同様に無効領域に相当する予測誤差信号ｄｉｆｆ１の信号値を強制的に「０」とするので、不要な符号量の発生を適切に抑制することができる。

【0184】

（１．２．２：無効領域のみを含むマクロブロック（パターン２）の処理）
次に、図７に示すように、無効領域のみを含むマクロブロックの処理について、説明する。

【0185】

図７は、無効領域のみを含むマクロブロックＭＢ２を示した図である。

【0186】

スキップＭＢ判定部１４は、図７に示すマクロブロックＭＢ２に相当する動画像信号Ｄｉｎが入力された場合、マクロブロックＭＢ２をスキップマクロブロックに設定するための情報を生成し、当該情報を符号化モード判定部１５に出力する。

【0187】

符号化モード判定部１５は、スキップＭＢ判定部１４からの情報に基づいて、マクロブロックＭＢ２をスキップマクロブロックに設定し、マクロブロックＭＢ２をスキップマクロブロックに設定したことを示す情報を、情報Ｉｎｆｏ＿ｍｏｄｅに含め、可変長符号化部６に出力する。そして、可変長符号化部６は、マクロブロックＭＢ２をスキップマクロブロックに設定したことを示す情報に対して、可変長符号化処理を実行し、動画像符号化信号Ｄｏｕｔを生成し出力する。

【0188】

これにより、無効領域のみを含むマクロブロックＭＢ２はスキップマクロブロックに設定されるだけなので、インター予測処理、イントラ予測処理等が実行されることがない。その結果、動画像符号化装置１０００では、無効領域について不要な符号を発生させることがなく、不要な符号量の発生を適切に抑制することができる。

【0189】

（１．２．３：左下端部に無効領域を含むマクロブロック（パターン３）の処理）
次に、図８に示すように、左下端部に無効領域を含むマクロブロックＭＢ３の処理について、説明する。

【0190】

≪図９の場合≫
マクロブロックＭＢ３についての符号化コスト計算を行った結果、ブロックを１６×１６のブロックにしたときのインター予測処理の符号化コストが最小であった場合、符号化モード判定部１５は、動き補償のブロックサイズを１６×１６に設定し、インター予測部１１に、動き補償のブロックサイズを１６×１６として、インター予測処理を実行させるように制御信号ｃｔｌ１を生成する。図９に、ブロックを１６×１６のブロックにしたときのインター予測処理の符号化コストが最小であった場合を説明するための図を示す。

【0191】

インター予測部１１は、制御信号ｃｔｌ１に基づいて、動き補償のブロックサイズを１６×１６として、インター予測処理を実行する。そして、動き補償のブロックサイズを１６×１６として、動きベクトルの探索処理を実行し、動きベクトルＭＶ３を取得する。なお、動きベクトルの探索処理については、上記で説明した処理と同様である。

【0192】

そして、インター予測部１１は、動きベクトルＭＶ３を用いた動き補償処理により取得したインター予測信号を符号化モード判定部１５に出力する。

【0193】

符号化モード判定部１５は、マクロブロックＭＢ３の無効領域の部分において、予測誤差信号ｄｉｆｆ１が強制的に「０」となるように制御信号ｃｔｌ＿ｚ１を生成し、第１ゼロ設定部２に出力する。

【0194】

そして、上記で説明したのと同様に、無効領域についての予測誤差信号ｄｉｆｆ１の信号値が「０」となるように制御される。

【0195】

動画像符号化装置１０００では、図９に示すように、ブロックを１６×１６のブロックにしたときのインター予測処理の符号化コストが最小であった場合、動き補償のブロックサイズを１６×１６とし、当該ブロックにより取得される動きベクトルＭＶ３を用いて動画像符号化処理を実行する。そして、動画像符号化装置１０００は、無効領域において、予測誤差信号ｄｉｆｆ１が「０」となるように制御するので、無効領域による不要な符号量の発生を適切に防止することができる。

【0196】

≪図１０の場合≫
マクロブロックＭＢ３についての符号化コスト計算を行った結果、ブロックを８×１６のブロックにしたときのインター予測処理の符号化コストが最小であった場合、符号化モード判定部１５は、動き補償のブロックサイズを８×１６に設定し、インター予測部１１に、動き補償のブロックサイズを８×１６として、インター予測処理を実行させるように制御信号ｃｔｌ１を生成する。図１０に、分割ブロックを８×１６のブロックにしたときのインター予測処理の符号化コストが最小であった場合を説明するための図を示す。

【0197】

インター予測部１１は、制御信号ｃｔｌ１に基づいて、動き補償のブロックサイズを８×１６として、インター予測処理を実行する。

【0198】

インター予測部１１は、マクロブロックＭＢ３の右半分の８×１６の分割ブロックＤＢ１２については、動き補償のブロックサイズを８×１６として、動きベクトルの探索処理を実行し、動きベクトルＭＶ１２Ａを取得する。なお、動きベクトルの探索処理については、上記で説明した処理と同様である。

【0199】

インター予測部１１は、マクロブロックＭＢ３の左半分の８×１６のブロックでは、図４を用いて説明したのと同様に、８×８ブロックであるブロックＤＢ１１により、インター予測処理を実行し、取得した動きベクトルＭＶ１１を、図１０の右図に示すように、マクロブロックＭＢ３の左半分の８×１６の分割ブロックＤＢ１１ｅの動きベクトルして、インター予測処理を実行する。つまり、分割ブロックＤＢ１１ｅを動き補償のブロックとして、インター予測処理（動き推定処理、動き補償処理）を実行する。そして、図４を用いて説明したのと同様に、動画像符号化装置１０００では、無効領域に相当する予測誤差信号ｄｉｆｆ１を強制的に「０」とすることで、無効領域についての符号量の発生を抑制する。

【0200】

≪図１１の場合≫
マクロブロックＭＢ３についての符号化コスト計算を行った結果、ブロックを１６×８のブロックにしたときのインター予測処理の符号化コストが最小であった場合、符号化モード判定部１５は、動き補償のブロックサイズを１６×８に設定し、インター予測部１１に、動き補償のブロックサイズを１６×８として、インター予測処理を実行させるように制御信号ｃｔｌ１を生成する。図１１に、分割ブロックを１６×８のブロックにしたときのインター予測処理の符号化コストが最小であった場合を説明するための図を示す。

【0201】

インター予測部１１は、制御信号ｃｔｌ１に基づいて、動き補償のブロックサイズを１６×８として、インター予測処理を実行する。

【0202】

インター予測部１１は、マクロブロックＭＢ３の上半分の１６×８の分割ブロックＤＢ１１については、動き補償のブロックサイズを１６×８として、動きベクトルの探索処理を実行し、動きベクトルＭＶ１１Ａを取得する。なお、動きベクトルの探索処理については、上記で説明した処理と同様である。

【0203】

インター予測部１１は、マクロブロックＭＢ３の下半分の１６×８のブロックでは、図４を用いて説明したのと同様に、８×８ブロックであるブロックＤＢ２２により、インター予測処理を実行し、取得した動きベクトルＭＶ２２を、図１１の右図に示すように、マクロブロックＭＢ３の下半分の１６×８の分割ブロックＤＢ２１ｅの動きベクトルして、インター予測処理を実行する。つまり、分割ブロックＤＢ２１ｅを動き補償のブロックとして、インター予測処理（動き推定処理、動き補償処理）を実行する。そして、図４を用いて説明したのと同様に、動画像符号化装置１０００では、無効領域に相当する予測誤差信号ｄｉｆｆ１を強制的に「０」とすることで、無効領域についての符号量の発生を抑制する。

【0204】

≪図１２の場合≫
マクロブロックＭＢ３についての符号化コスト計算を行った結果、ブロックを８×８のブロックにしたときのインター予測処理の符号化コストが最小であった場合、符号化モード判定部１５は、動き補償のブロックサイズを８×８に設定し、インター予測部１１に、動き補償のブロックサイズを８×８として、インター予測処理を実行させるように制御信号ｃｔｌ１を生成する。図１２に、分割ブロックを８×８のブロックにしたときのインター予測処理の符号化コストが最小であった場合を説明するための図を示す。

【0205】

インター予測部１１は、制御信号ｃｔｌ１に基づいて、動き補償のブロックサイズを８×８として、インター予測処理を実行する。

【0206】

インター予測部１１は、図１２に示す分割ブロックＤＢ１１、ＤＢ１２、および、ＤＢ２２については、動き補償のブロックサイズを８×８として、それぞれ、動きベクトルの探索処理を実行し、動きベクトルＭＶ１１、ＭＶ１２、および、ＭＶ２２を取得する。なお、動きベクトルの探索処理については、上記で説明した処理と同様である。

【0207】

インター予測部１１は、図１２に示す、無効領域のみを含む分割ブロックＤＢ２１に対しては、図５を用いて説明したのと同様に、分割ブロックＤＢ２１の周辺から算出される予測動きベクトルを、分割ブロックＤＢ２１の動きベクトルに設定するよう指示する制御信号ｃｔｌ１を生成し、インター予測部１１に出力する。

【0208】

インター予測部１１は、制御信号ｃｔｌ１に従い、動きベクトル処理部１６から、分割ブロックＤＢ２１の周辺のブロックから取得された予測動きベクトルｐｍｖ２１を取得する。例えば、分割ブロックＤＢ２１の周辺のブロックおよび取得された動きベクトルが図１２の左図に示す場合、動きベクトル処理部１６は、Ｈ．２６４規格の規定通り、ｐｍｖ２１を、
ｐｍｖ２１＝ｍｅｄｉａｎ（ＭＶ１１，ＭＶ１２，ＭＶ２０）
ｍｅｄｉａｎ（）：要素のメディアン値をとる関数
ｍｖ１１：ブロックＤＢ１１の動きベクトル
ｍｖ１２：ブロックＤＢ１２の動きベクトル
ｍｖ２０：ブロックＤＢ２０の動きベクトル
により、取得する。

【0209】

そして、インター予測部１１は、上記により取得された予測動きベクトルを、そのまま、分割ブロックＤＢ２１の動きベクトルＭＶ２１ｅとして採用する。これにより、分割ブロックＤＢ２１についての動きベクトル探索処理は省略される。

【0210】

そして、インター予測部１１は、上記のように取得した動きベクトルｐｍｖ２１を、分割ブロックＤＢ２１の動きベクトルとして、動きベクトル処理部１６に出力する。

【0211】

動きベクトル処理部１６は、分割ブロックＤＢ２１の予測動きベクトルｐｍｖ２１と、インター予測部１１から入力された動きベクトルＭＶ２１との差分をとり、動きベクトル差分信号ｄｉｆｆ＿ＭＶを取得し、第２ゼロ設定部１７に出力する。なお、予測動きベクトルｐｍｖ２１と動きベクトルＭＶ２１とは同じなので、信号値が「０」である動きベクトル差分信号ｄｉｆｆ＿ＭＶが、動きベクトル処理部１６から第２ゼロ設定部１７に出力されることになる。そして、第２ゼロ設定部１７は、入力された動きベクトル差分信号ｄｉｆｆ＿ＭＶを、そのまま、動きベクトル差分信号ｄｉｆｆ１＿ＭＶとして、可変長符号化部６に出力する。

【0212】

可変長符号化部６では、分割ブロックＤＢ２１に対応する動きベクトル差分信号ｄｉｆｆ１＿ＭＶに対して可変長符号化処理を行う。なお、分割ブロックＤＢ２１に対応する動きベクトル差分信号ｄｉｆｆ１＿ＭＶは、上記の通り、信号値が「０」となるので、可変長符号化処理後の分割ブロックＤＢ２１に相当する動画像符号化信号は、その発生符号量が抑制されたものとなる。

【0213】

以上のように、動画像符号化装置１０００では、処理対象のマクロブロック内に無効領域がある場合、無効領域に相当する予測誤差信号の信号値を強制的に「０」にすることで、無効領域による不要な符号量の発生を抑制する。また、動画像符号化装置１０００では、無効領域に相当する領域の動きベクトルを、周辺のブロックを用いて予測した予測動きベクトルとして、差分ベクトル信号を取得するので、無効領域についての動きベクトルを符号化する場合に、不要な符号量が発生することを適切に防止することができる。

【0214】

また、また、動画像符号化装置１０００では、無効領域に相当する領域の動きベクトルを、周辺のブロックを用いて予測した予測動きベクトルとして、差分ベクトル信号を取得するので、動きベクトル探索処理を実行する必要がない。

【0215】

≪変形例≫
次に、第１実施形態の変形例について、説明する。

【0216】

本変形例では、無効領域の画素の画素値が全て同一値である場合についての動画像符号化装置１０００の処理について説明する。

【0217】

本変形例では、動画像符号化装置１０００に、図１３に示す画像を表示する動画像信号Ｄｉｎが入力される場合について、以下、説明する。図１３において、領域ＡＲ１および領域ＡＲ３が、無効領域（映像無効領域）であり、かつ、全ての画素の画素値が同一である領域であり、領域ＡＲ２が有効領域（映像有効領域）である。

【0218】

まず、本変形例において、無効領域ＡＲ１の左上端に位置するマクロブロックＭＢ０に対してイントラ予測処理が実行される場合について、説明する。

【0219】

図１４は、無効領域ＡＲ１の左上端に位置するマクロブロックＭＢ０を示す図である。

【0220】

マクロブロックＭＢ０は、無効領域ＡＲ１の左上端に位置するマクロブロックであるので、イントラ予測を実行する場合に、所定の値による画素値を用いて、イントラ予測処理が実行される。例えば、予測モード０である場合、図１４に示すように、マクロブロックＭＢ０の各列の画素値は、所定の値Ｄ１（例えば、「１２８」）に設定される。そして、本変形例における無効領域の画素値をＤ２とすると、イントラ予測部１２は、マクロブロックＭＢ０の全ての画素値がＤ１となるイントラ予測信号を取得する。イントラ予測部１２は、取得したイントラ予測信号（信号値：Ｄ１）を符号化モード判定部１５に出力する。

【0221】

符号化モード判定部１５は、予測信号Ｄｐとして、イントラ予測信号（信号値：Ｄ１）を減算器１に出力する。

【0222】

減算器１は、マクロブロックＭＢ０に相当する動画像信号Ｄｉｎ（信号値：Ｄ２）から、イントラ予測信号（信号値：Ｄ１）を減算することで予測誤差信号ｄｉｆｆ（信号値：Ｄ２−Ｄ１）を取得し、第１ゼロ設定部２に出力し、第１ゼロ設定部２は、入力された予測誤差信号ｄｉｆｆを、そのまま、予測誤差信号ｄｉｆｆ１として出力する。そして、予測誤差信号ｄｉｆｆ１に対して、直交変換部４以降の処理が、上記と同様に実行される。

【0223】

つまり、本変形例では、上記実施形態と異なり、画像の左上端にあるマクロブロックＭＢ０に対してイントラ予測処理が実行された場合、無効領域に相当する予測誤差信号ｄｉｆｆ１を強制的に「０」にしない。

【0224】

なお、図１３に示すように、有効領域から無効領域に変わる最初のマクロブロックＭＢｎにおいても、マクロブロックＭＢ０についての上記処理と同様に、予測誤差信号ｄｉｆｆ１を強制的に「０」にしない。

【0225】

これは、デコード処理において、無効領域の全ての画素の画素値Ｄ２を再現させるためである。

【0226】

なお、映像信号の有効領域が開始される位置（図１３の左上端に相当する位置）のマクロブロックおよび有効領域から無効領域に移る最初の位置にあるマクロブロック（例えば、図１３のマクロブロックＭＢｎ）以外の領域に対しては、上記実施形態と同様に、無効領域に相当する予測誤差信号ｄｉｆｆ１の信号値を強制的に「０」にする。

【0227】

以上により、動画像符号化装置１０００では、無効領域の画素の画素値が全て同一値である場合についても、無効領域において無駄な符号量の発生を適切に抑制することができる。

【0228】

なお、本変形例では、無効領域の画素の画素値が全て同じであるため、量子化処理により、量子化誤差が発生する場合、デコード処理後の信号において、もとの画素値が再現されない可能性がある。この場合、例えば、量子化部５に、ルックアップテーブルを設け、もとの画素値が必ず再現されるように量子化ステップ値（あるいは量子化パラメータ値）を、無効領域の画素の画素値に応じて決定するようにしてもよい。

【0229】

次に、本変形例において、無効領域ＡＲ１の左上端に位置するマクロブロックＭＢ０に対してインター予測処理が実行される場合について、説明する。

【0230】

この場合、動画像符号化装置１０００は、無効領域に含まれる分割ブロックの動きベクトルを「０」にする。これにより、参照画像における同一座標位置の分割ブロック（同一の画素値である画素からなる無効領域内の分割ブロック）が参照されるため、予測誤差信号ｄｉｆｆ１の信号値が「０」となる。したがって、動画像符号化装置１０００では、無効領域の画素の画素値が全て同一値である場合についても、無効領域において無駄な符号量の発生を適切に抑制することができる。

【0231】

［他の実施形態］
上記実施形態(変形例を含む)で示した、符号化コストを算出するための構成、および、符号化コストを算出するための処理方法は、一例であり、これに限定されない。既に開発されている多様な符号化コスト算出方法や構成を、上記実施形態の動画像符号化装置に適用するようにしてもよい。

【0232】

なお、上記実施形態では、マクロブロックのサイズが１６×１６の場合について、説明したが、これに限定されることはなく、マクロブロックのサイズは、他のサイズであってもよい。

【0233】

また、上記実施形態の動画像符号化装置の一部または全部は、集積回路（例えば、ＬＳＩ、システムＬＳＩ等）として実現されるものであってもよい。

【0234】

上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

【0235】

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る動画像符号化装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

【0236】

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

【0237】

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。

【0238】

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

【0239】

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

【符号の説明】

【0240】

１０００ 動画像符号化装置
１ 減算器
２ 第１ゼロ設定部
３ コスト算出部
４ 直交変換部
５ 量子化部
６ 可変長符号化部
１０ 記憶部
１１ インター予測部
１２ イントラ予測部
１３ 位置情報取得部
１５ 符号化モード判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】