特許 6246962 動きベクトルの予測復号方法、および予測復号装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6246962

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】動きベクトルの予測復号方法、および予測復号装置

(51)【国際特許分類】

   H04N 19/52 20140101AFI20171204BHJP

【ＦＩ】

   H04N19/52

【請求項の数】2

【全頁数】28

(21)【出願番号】特願2017-15603(P2017-15603)

(22)【出願日】2017年1月31日

(62)【分割の表示】特願2015-245384(P2015-245384)の分割

【原出願日】2011年12月20日

(65)【公開番号】特開2017-108433(P2017-108433A)

(43)【公開日】2017年6月15日

【審査請求日】2017年1月31日

(31)【優先権主張番号】特願2011-2205(P2011-2205)

(32)【優先日】2011年1月7日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(72)【発明者】

【氏名】藤林 暁

(72)【発明者】

【氏名】鈴木 芳典

(72)【発明者】

【氏名】ブン チュンセン

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特許第６０９９７２９（ＪＰ，Ｂ２）

【文献】 特表２０１０−５１５３９９（ＪＰ，Ａ）

【文献】 特開２００８−０４８２００（ＪＰ，Ａ）

【文献】 国際公開第２０１２／０７１９４９（ＷＯ，Ａ１）

【文献】 国際公開第２０１２／０２３７６３（ＷＯ，Ａ２）

【文献】 Ken McCann et al.，Samsung's Response to the Call for Proposals on Video Compression Technology，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，1st Meeting: Dresden, DE，２０１０年 ４月，JCTVC-A124，pp.1-12

【文献】 Frank Bossen and Philipp Kosse，Simplified motion vector coding method，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，2nd Meeting: Geneva, CH，２０１０年 ７月，JCTVC-B094，pp.1-5

【文献】 Test Model under Consideration, Output Document (draft007)，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，2nd Meeting: Geneva, CH，２０１０年１０月，JCTVC-B205，pp.1-20,35-38,78-93

【文献】 Akira Fujibayashi and Frank Bossen，CE9 3.2d Simplified Motion vector prediction，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，4th Meeting: Daegu, Korea，２０１１年 １月１５日，JCTVC-D231，pp.1-5

【文献】 Jian-Liang Lin et al.，Motion vector coding techniques for HEVC，IEEE 13th International Workshop on Multimedia Signal Processing (MMSP 2011)，IEEE，２０１１年１０月，pp.1-6

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

複数のフレーム画像の時間系列で構成される動画像を復元する動き補償予測に用いられる動きベクトルを予測復号する方法であって、
復号対象のフレーム画像内の対象区画に対して左に位置する左隣接領域に属する複数の区画の動きベクトルから、所定の予測動きベクトル候補決定基準を満たす一つの第１予測動きベクトル候補を決定するステップと、
前記対象区画に対して、上に位置する上隣接領域に属する複数の区画の動きベクトルから、所定の予測動きベクトル候補決定基準を満たす一つの第２予測動きベクトル候補を決定するステップと、
符号化データを復号して、前記対象区画用の予測動きベクトルを特定するための予測動きベクトル指示情報を復元するステップと、
少なくとも前記第１予測動きベクトル候補と前記第２予測動きベクトル候補を含む複数の予測動きベクトル候補から、前記予測動きベクトル指示情報により特定される予測動きベクトルを選択するステップと、を備え、
前記第２予測動きベクトル候補を決定するステップにおいて、前記上隣接領域内に含まれる複数の区画を右から左方向にスキャンすることにより、該複数の区画の動きベクトルから前記所定の予測動きベクトル候補決定基準を満たす動きベクトルを前記第２予測動きベクトル候補として決定し、
スキャン順でｊ番目の区画が、上隣接領域に存在し、且つ、当該区画が動きベクトルを持つ場合には、ｊ番目の区画と対象区画が同一の参照画面リスト識別番号及び参照画面番号をもつか否かを判定し、満たされる場合には、ｊ番目の区画の動きベクトルを第２予測動きベクトル候補として決定する、予測復号方法。

【請求項2】

複数のフレーム画像の時間系列で構成される動画像を復元する動き補償予測に用いられる動きベクトルを予測復号する予測復号装置であって、
復号対象のフレーム画像内の対象区画に対して左に位置する左隣接領域に属する複数の区画の動きベクトルから、所定の予測動きベクトル候補決定基準を満たす一つの第１予測動きベクトル候補を決定する手段と、
前記対象区画に対して、上に位置する上隣接領域に属する複数の区画の動きベクトルから、所定の予測動きベクトル候補決定基準を満たす一つの第２予測動きベクトル候補を決定する手段と、
符号化データを復号して、前記対象区画用の予測動きベクトルを特定するための予測動きベクトル指示情報を復元する手段と、
少なくとも前記第１予測動きベクトル候補と前記第２予測動きベクトル候補を含む複数の予測動きベクトル候補から、前記予測動きベクトル指示情報により特定される予測動きベクトルを選択する手段と、を備え、
前記第２予測動きベクトル候補を決定する手段において、前記上隣接領域内に含まれる複数の区画を右から左方向にスキャンすることにより、該複数の区画の動きベクトルから前記所定の予測動きベクトル候補決定基準を満たす動きベクトルを前記第２予測動きベクトル候補として決定し、
スキャン順でｊ番目の区画が、上隣接領域に存在し、且つ、当該区画が動きベクトルをもつ場合には、ｊ番目の区画と対象区画が同一の参照画面リスト識別番号及び参照画面番号をもつか否かを判定し、満たされる場合には、ｊ番目の区画の動きベクトルを第２予測動きベクトル候補として決定する、予測復号装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動きベクトルの予測復号方法、および予測復号装置に関するものである。

【背景技術】

【0002】

動画像符号化及び動画像復号においては、動き補償予測技術が用いられることがある。動き補償技術においては、動画像における処理対象のフレームが複数の区画に分割される。これら複数の区画は処理対象の区画（対象区画）として順次選択される。そして、対象区画の動きベクトルが求められる。また、動き補償予測技術においては、対象区画の隣接区画の動きベクトルを用いて予測動きベクトルを求めて、当該対象区画の動きベクトルを予測符号化又は予測復号することがある。

【0003】

図１（ａ）及び図１（ｂ）は、動き補償予測に使われる隣接矩形区画を例示する図である。図１（ａ）では、対象区画ＢＴの形状と隣接区画ＢＬ，ＢＡ，ＢＲＡの形状は同一である。左隣接区画ＢＬは、対象区画ＢＴ内の左上の画素に対して左側に存在する隣接画素を含んでおり、上隣接区画ＢＡは、対象区画ＢＴ内の左上の画素に対して上側に存在する隣接画素を含んでおり、右上隣接区画ＢＲＡは、対象区画ＢＴ内の右上の画素に対して右上側に存在する隣接画素を含んでいる。従来技術のＨ．２６４／ＡＶＣにおいては、左隣接区画ＢＬ、上隣接区画ＢＡ、及び右上隣接区画ＢＲＡの動きベクトルの水平成分及び垂直成分の中間値（ｍｅｄｉａｎ ｖａｌｕｅ）を有する予測動きベクトルが用いられている。

【0004】

一方、図１（ｂ）は、対象区画ＢＴの形状と異なる形状を有する複数の隣接区画が存在する場合を例示している。図１（ｂ）の複数の隣接区画は、左隣接区画ＢＬ、上隣接区画ＢＡ、右上隣接区画ＢＲＡに加えて、隣接区画ＢＬ１，ＢＬ２，ＢＡ１，ＢＡ２，ＢＤ，ＢＥを含んでいる。特許文献１に記載された技術によれば、複数の隣接区画が予め定められた空間的順序で探索され、対象区画の画素信号に対して最良の空間類似度を有する隣接区画をもつ隣接区画が特定され、特定された隣接区画の動きベクトルが予測動きベクトルとして利用される。特許文献１の技術では、空間的類似度として、対象区画の画素信号と隣接区画の画素信号の絶対値差分和（ＳＡＤ）が用いられている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特表２０１０−５１５３９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述した特許文献１の技術は、複数の隣接区画を所定の順序で探索しつつ、空間的類似度を計算するため、予測動きベクトルの決定に多くの演算が必要となり得る。

【0007】

したがって、当技術分野においては、予測動きベクトルの決定に要する演算量を低減することが要請されている。

【課題を解決するための手段】

【0008】

本発明の予測復号方法は、複数のフレーム画像の時間系列で構成される動画像を復元する動き補償予測に用いられる動きベクトルを予測復号する方法であって、復号対象のフレーム画像内の対象区画に対して左に位置する左隣接領域に属する複数の区画の動きベクトルから、所定の予測動きベクトル候補決定基準を満たす一つの第１予測動きベクトル候補を決定するステップと、前記対象区画に対して、上に位置する上隣接領域に属する複数の区画の動きベクトルから、所定の予測動きベクトル候補決定基準を満たす一つの第２予測動きベクトル候補を決定するステップと、符号化データを復号して、前記対象区画用の予測動きベクトルを特定するための予測動きベクトル指示情報を復元するステップと、少なくとも前記第１予測動きベクトル候補と前記第２予測動きベクトル候補を含む複数の予測動きベクトル候補から、前記予測動きベクトル指示情報により特定される予測動きベクトルを選択するステップと、を備え、前記第２予測動きベクトル候補を決定するステップにおいて、前記上隣接領域内に含まれる複数の区画を右から左方向にスキャンすることにより、該複数の区画の動きベクトルから前記所定の予測動きベクトル候補決定基準を満たす動きベクトルを前記第２予測動きベクトル候補として決定し、スキャン順でｊ番目の区画が、上隣接領域に存在し、且つ、当該区画が動きベクトルを持つ場合には、ｊ番目の区画と対象区画が同一の参照画面リスト識別番号及び参照画面番号をもつか否かを判定し、満たされる場合には、ｊ番目の区画の動きベクトルを第２予測動きベクトル候補として決定する。

【0009】

本発明の予測復号装置は、複数のフレーム画像の時間系列で構成される動画像を復元する動き補償予測に用いられる動きベクトルを予測復号する予測復号装置であって、復号対象のフレーム画像内の対象区画に対して左に位置する左隣接領域に属する複数の区画の動きベクトルから、所定の予測動きベクトル候補決定基準を満たす一つの第１予測動きベクトル候補を決定する手段と、前記対象区画に対して、上に位置する上隣接領域に属する複数の区画の動きベクトルから、所定の予測動きベクトル候補決定基準を満たす一つの第２予測動きベクトル候補を決定する手段と、符号化データを復号して、前記対象区画用の予測動きベクトルを特定するための予測動きベクトル指示情報を復元する手段と、少なくとも前記第１予測動きベクトル候補と前記第２予測動きベクトル候補を含む複数の予測動きベクトル候補から、前記予測動きベクトル指示情報により特定される予測動きベクトルを選択する手段と、を備え、前記第２予測動きベクトル候補を決定する手段において、前記上隣接領域内に含まれる複数の区画を右から左方向にスキャンすることにより、該複数の区画の動きベクトルから前記所定の予測動きベクトル候補決定基準を満たす動きベクトルを前記第２予測動きベクトル候補として決定し、スキャン順でｊ番目の区画が、上隣接領域に存在し、且つ、当該区画が動きベクトルをもつ場合には、ｊ番目の区画と対象区画が同一の参照画面リスト識別番号及び参照画面番号をもつか否かを判定し、満たされる場合には、ｊ番目の区画の動きベクトルを第２予測動きベクトル候補として決定する。

【発明の効果】

【0010】

本発明によれば、予測動きベクトルの決定に要する演算量を低減し得る。

【図面の簡単な説明】

【0011】

【図1】動き補償予測に使われる隣接矩形区画を例示する図である。

【図2】一実施形態に係る動画像符号化装置の構成を示す図である。

【図3】動きベクトルの予測符号化方法の一実施形態を示すフローチャートである。

【図4】動き補償予測に使われる隣接矩形区画を例示する図である。

【図5】図３のステップＳ３０２の処理の第１実施形態を詳細に示すフローチャートである。

【図6】図３のステップＳ３０３の処理の第１実施形態を詳細に示すフローチャートである。

【図7】一実施形態に係る動画像復号装置の構成を示す図である。

【図8】動きベクトルの予測復号方法の一実施形態を示すフローチャートである。

【図9】第２実施形態の動きベクトルの予測符号化方法における予測動きベクトル候補の決定処理を示すフローチャートである。

【図10】第２実施形態の動きベクトルの予測復号方法を示すフローチャートである。

【図11】一実施形態に係る動画像符号化プログラムの構成を示す図である。

【図12】一実施形態に係る動画像復号プログラムの構成を示す図である。

【図13】一実施形態に係るコンピュータのハードウェア構成を示す図である。

【図14】一実施形態に係るコンピュータを示す斜視図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して種々の実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。

【0013】

図２は、一実施形態に係る動画像符号化装置の構成を示す図である。図２に示す動画像符号化装置２０は、本発明の一側面に係る動きベクトルを予測符号化する装置の一例である。

【0014】

動画像符号化装置２０に入力される動画像は、フレーム画像の時間系列で構成される。以下、符号化処理対象のフレーム画像信号を「現フレーム」と呼ぶ。動画像符号化装置２０では、現フレームは、可変サイズの矩形の区画に分割され、区画単位で、以下に説明する処理が行われる。

【0015】

動画像符号化装置２０は、予測モードとして、画面間予測モードと複数の画面内予測モードを、区画ごとに切り替えて用いることができる。例えば、動画像符号化装置２０では、区画ごとに、画面間予測モード及び複数の画面内予測モードのうち符号化効率の良い予測モードが選択される。ここで、「画面間予測モード」とは、フレーム画像信号と時間的に異なる複数の符号化済みフレーム画像信号（参照フレーム画像信号）を参照して動きベクトルを検出することにより、動き補償フレーム間予測を行うモードである。また、「画面内予測モード」とは、同一空間上の符号化済みである近傍の領域の画素値を用いた空間予測を行うモードである。なお、「画面間予測モード」においては、例えばＮ×Ｎ画素の区画を更に任意サイズ（例えば、Ｎ／２画素×ＮラインやＮ／４画素×Ｎ／４ライン）に分割した小区画ごとに動き検出、動き予測、及び動き補償の各処理が行われ得る。

【0016】

図２に示すように、動画像符号化装置２０は、入力器２０１、動き検出器２０２、予測動きベクトル候補決定器２０３、予測動きベクトル決定器２０４、動きベクトル差分器２０５、動き補償器２０６、メモリ２０７、空間予測器２０８、予測方法決定器２０９、減算器２１０、変換器２１１、量子化器２１２、エントロピー符号化器２１３、逆量子化器２１４、逆変換器２１５、及び、加算器２１６を備え得る。

【0017】

入力器２０１は、外部から入力される動画像信号としての入力映像信号を受信し、当該動画像信号をフレーム画像信号に分解する。入力器２０１は、フレーム画像信号を、ラインＬ２０１ａ及びＬ２０１ｂを介して、減算器２１０及び動き検出器２０２へ出力する。

【0018】

メモリ２０７は、過去に符号化済みのフレーム画像信号およびその予測に用いられた情報（動きベクトル、参照画面リスト識別番号、参照画面番号）等を記憶しておく部分である。

【0019】

動き検出器２０２は、動きベクトルの検出を行う。より具体的には、動き検出器２０２は、ラインＬ２０７ａ経由でメモリ２０７から入力される参照フレーム画像信号を用いて、当該参照フレーム内の所定の探索範囲内で、ラインＬ２０１ａ経由で入力される現フレーム内の対象区画の画像信号パターンに類似する画像信号パターンを探索する。動き検出器２０２は、対象区画と探索した画像信号パターンとの間の空間的な変位量である動きベクトル、並びに、利用した参照フレームのフレーム番号を特定するための参照画面リスト識別番号及び参照画面番号を検出する。検出された動きベクトル、参照画面リスト識別番号、及び参照画面番号は、ラインＬ２０２ａ経由で動き補償器２０６に、また、ラインＬ２０２ｃ経由で動きベクトル差分器２０５に出力される。また、動き検出器２０２は、検出した参照画面リスト識別番号及び参照画面番号を、ラインＬ２０２ｂ経由で、予測動きベクトル候補決定器２０３に出力する。なお、動画像符号化装置２０では、参照フレーム画像信号を特定するフレーム番号をリスト形式で管理することができる。フレーム番号を特定するためには、リストを特定するための参照画面リスト識別番号（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｕｔｒｅ Ｌｉｓｔ）、及び、リスト内におけるフレーム番号のインデックスとなる参照画面番号（Ｒｅｆｅｒｅｎｃｅ Ｉｎｄｅｘ）が用いられる。かかる技術は、Ｈ．２６４／ＡＶＣ等で公知の技術である。

【0020】

予測動きベクトル候補決定器２０３は、ラインＬ２０７ｂ経由で入力される符号化済みの複数の隣接区画の動きベクトルを用いて、予測動きベクトル候補を決定する。この予測動きベクトル候補の決定に関する詳細は後述する。予測動きベクトル候補決定器２０３は、決定した予測動きベクトル候補をラインＬ２０３経由で予測動きベクトル決定器２０４に出力する。

【0021】

予測動きベクトル決定器２０４は、ラインＬ２０３経由で入力された予測動きベクトル候補から最適予測動きベクトル（予測動きベクトル値）を決定する。より具体的には、予測動きベクトル決定器２０４は、予測動きベクトル候補のうち、ラインＬ２０２ｃ経由で入力された対象区画の動きベクトルに対する差分が最も小さい予測動きベクトル候補を最適予測動きベクトルＰＭＶｏｐｔとして決定する。決定された最適予測動きベクトルＰＭＶｏｐｔは、ラインＬ２０４ａ経由で動きベクトル差分器２０５に送られる。また、予測動きベクトル候補の数、及び、予測動きベクトル候補から最適予測動きベクトルＰＭＶｏｐｔを特定するための予測動きベクトル指示情報がラインＬ２０４ｂ経由でエントロピー符号化器２１３に送られる。

【0022】

なお、本実施形態では、対象区画の動きベクトルに対する差分が最も小さくなる予測動きベクトル候補が、最適予測動きベクトルＰＭＶｏｐｔとして選択されているが、予測動きベクトル決定器２０４は、算出される動きベクトル差分に対して割り当てられる符号量が最も小さい予測動きベクトル候補を最適予測動きベクトルＰＭＶｏｐｔとして選択してもよい。

【0023】

また、本実施形態では、対象区画の動き検出の後に最適予測動きベクトルを決定したが、動き検出前に最適予測動きベクトルが検出されてもよい。具体的には、下式に示すように、実際に算出された各予測動きベクトル候補を用いて動き補償を行った際の予測画像信号と対象画像信号との絶対値差分和（ＳＡＤｐｍｖ）、及び、その予測動きベクトル候補を符号化した場合の符号量Ｒｐｍｖと符号量に対する重みであるλを用いたコスト関数に基づき最適予測動きベクトルが算出されてもよい。この場合には、図２の予測動きベクトル決定器２０４に対してラインＬ２０１ａから対象区画の画像信号が入力され、ラインＬ２０７ａから参照フレーム画像信号が入力されればよい。

【数1】

【0024】

動きベクトル差分器２０５は、ラインＬ２０２ｃ経由で入力された動きベクトルとラインＬ２０４ａ経由で入力された最適予測動きベクトルとの差分情報である動きベクトル差分値を算出する。動きベクトル差分器２０５は、算出した動きベクトル差分値と参照画面リスト識別番号及び参照画面番号とを含む信号を予測情報としてラインＬ２０５ａ経由でエントロピー符号化器２１３へ送る。また、動きベクトル差分器２０５は、ラインＬ２０５ｂ経由で動きベクトルと参照画面リスト識別番号及び参照画面番号とを含む信号をメモリ２０７に送信する。

【0025】

動き補償器２０６は、動き検出器２０２から受け取った参照画面リスト識別番号及び参照画面番号により特定されるフレーム番号の参照フレーム画像信号を参照し、動き検出器２０２から受け取った動きベクトルを用いて、対象区画の予測画像信号を生成する。この予測画像信号は、予測方法決定器２０９に出力される。

【0026】

空間予測器２０８は、ラインＬ２０７ａ経由で入力される符号化済みの近傍の領域の画像信号（参照フレーム画像信号）を参照して、予測画像信号を生成する。空間予測器２０８は、生成した予測画像信号を予測方法決定器２０９に出力する。

【0027】

予測方法決定器２０９は、動き補償器２０６及び空間予測器２０８から受信した予測画像信号を比較して、何れか一方の予測画像信号を選択し、選択した予測画像信号を減算器２１０に出力する。また、予測方法決定器２０９は、選択した予測画像信号を生成した予測方法を示す予測モード情報を、ラインＬ２０９ｂ経由でエントロピー符号化器２１３に出力する。

【0028】

減算器２１０は、ラインＬ２０１ｂ経由で入力されるフレーム画像信号とラインＬ２０９ａ経由で入力される予測画像信号との差分値（予測残差信号）を生成し、当該予測残差信号を変換器２１１に出力する。

【0029】

変換器２１１は、ラインＬ２１０経由で入力される予測残差信号を直交変換することにより、直交変換係数を生成して、当該直交変換係数を量子化器２１２に出力する。量子化器２１２は、ラインＬ２１１経由で入力される直交変換係数を量子化することにより、量子化直交変換係数を生成し、量子化直交変換係数をエントロピー符号化器２１３及び逆量子化器２１４に送る。

【0030】

エントロピー符号化器２１３は、ラインＬ２１２経由で入力される量子化直交変換係数と、予測方法決定器２０９から受けた予測モード情報と、動きベクトル差分器２０５から送信された予測情報と、予測動きベクトル決定器２０４から出力された予測動きベクトル指示情報に対してエントロピー符号化を行って、生成した符号化データを圧縮ストリームに多重化して、当該圧縮ストリームを外部へ伝送する。

【0031】

逆量子化器２１４は、ラインＬ２１２経由で入力される量子化直交変換係数を逆量子化することにより直交変換係数を生成し、当該直交変換係数を逆変換器２１５に送る。そして、逆変換器２１５は、ラインＬ２１４経由で入力される直交変換係数に対して逆直交変換を適用することにより、予測残差信号を生成し、当該予測残差信号を加算器２１６に送る。

【0032】

加算器２１６は、ラインＬ２１５経由で入力される予測残差信号とラインＬ２０９ａ経由で入力される予測画像信号とを加算してフレーム画像信号を生成し、当該フレーム画像信号をメモリ２０７に送る。このフレーム画像信号は、メモリ２０７に格納され、以降の符号化処理で、参照フレーム画像信号として用いられる。また、メモリ２０７には、ラインＬ２０５ｂ経由で入力された動きベクトルや参照画面リスト識別番号及び参照画面番号等も参照フレーム画像信号に関連付けられて格納される。

【0033】

以下、動画像符号化装置２０で用いられ得る動きベクトルの予測符号化方法の一実施形態ついて、説明する。

【0034】

まず、図１（ｂ）を参照して、対象区画に隣接する区画について説明する。区画ＢＬ，ＢＬ１，ＢＬ２は、対象区画ＢＴの左境界に接する区画である。区画ＢＤは、対象区画ＢＴ内の左下の画素に対して左下に存在する隣接画素を含む区画である。また、区画ＢＥは、対象区画ＢＴ内の左上の画素に対して左上に存在する隣接画素を含む区画である。区画ＢＡ，ＢＡ１，ＢＡ２は、対象区画ＢＴの上境界に接する区画である。区画ＢＲＡは、対象区画ＢＴ内の右上の画素に対して右上に存在する隣接画素を含む区画である。なお、対象区画に隣接する区画は、図１（ａ）に示すように、対象区画ＢＴと同じサイズの区画であってもよい。

【0035】

次に、図３を参照する。図３は、動きベクトルの予測符号化方法の一実施形態を示すフローチャートである。図３に示すように、一実施形態の動きベクトルの予測符号化方法においては、まず、予測動きベクトル候補決定器２０３に、参照画面リスト識別番号及び参照画面番号が入力される（ステップＳ３０１）。

【0036】

次に、予測動きベクトル候補決定器２０３が、対象区画ＢＴの左隣接領域に含まれる一以上の区画の動きベクトルから予測動きベクトル候補ＰＭＶ１を決定する（ステップＳ３０２）。予測動きベクトル候補ＰＭＶ１の決定方法についての詳細は後述する。

【0037】

次に、予測動きベクトル候補決定器２０３は、対象区画ＢＴの上隣接領域に含まれる一以上の区画の動きベクトルから予測動きベクトル候補ＰＭＶ２を決定する（ステップＳ３０３）。予測動きベクトル候補ＰＭＶ２の決定方法についての詳細は後述する。

【0038】

次に、予測動きベクトル候補決定器２０３は、予測動きベクトル候補ＰＭＶ３を決定する（ステップＳ３０４）。本実施形態では、参照フレーム内の区画であって対象区画と空間的に同位置の区画の動きベクトルが、予測動きベクトル候補ＰＭＶ３として決定される。

【0039】

なお、予測動きベクトル候補ＰＭＶ３としては、参照フレーム内の対象区画と同位置の区画の動きベクトルに代えて、その他の空間的に隣接する区画の動きベクトルが用いられてもよい。また、予測動きベクトル候補ＰＭＶ１と予測動きベクトル候補ＰＭＶ２に基づき計算される平均値等が、予測動きベクトル候補ＰＭＶ３として用いられてもよい。

【0040】

また、予測動きベクトル候補の数は、３以上であってもよい。この場合に、左隣接領域及び上隣接領域のそれぞれから異なる方法で複数の予測動きベクトル候補が決定されてもよい。より具体的には、左隣接領域及び上隣接領域のそれぞれにおいて、複数の異なるスキャン方向に各領域内の区画を探索することにより複数の予測動きベクトル候補を決定してもよい。また、その他の隣接領域の動きベクトルが予測動きベクトル候補として用いられてもよい。

【0041】

図３に戻り、次いで、予測動きベクトル候補決定器２０３は、予測動きベクトル候補ＰＭＶ１、予測動きベクトル候補ＰＭＶ２、及び予測動きベクトル候補ＰＭＶ３のうち、同一ではない予測動きベクトル候補のみを最終的な予測動きベクトル候補として決定する（ステップＳ３０５）。具体例を示せば、予測動きベクトル候補ＰＭＶ１と予測動きベクトル候補ＰＭＶ３が同一の場合には、予測動きベクトル候補としてＰＭＶ１とＰＭＶ２のみが選択される。また、ステップＳ３０２からＳ３０４において条件を満足する予測動きベクトル候補が決定されなかった場合には、零動きベクトルが予測動きベクトル候補となる。

【0042】

次いで、予測動きベクトル決定器２０４が、予測動きベクトル候補決定器２０３によって決定された予測動きベクトル候補から、上述したように最適予測動きベクトルを決定する（ステップＳ３０６）。

【0043】

次いで、エントロピー符号化器２１３が、最適予測動きベクトルが予測動きベクトル候補のうちの何れであるかを特定するための予測動きベクトル指示情報を符号化する（ステップＳ３０７）。

【0044】

一実施形態においては、予測動きベクトル指示情報は、予測動きベクトル決定器２０４で選択された予測動きベクトル候補の数に応じたビット数の符号化データに符号化され得る。例えば、予測動きベクトル候補の数が０か１の場合には、予測動きベクトル指示情報は符号化されず伝送されない。また、予測動きベクトル候補の数が２か３の場合には、予測動きベクトル指示情報は最大で２ビットにて符号化される。

【0045】

なお、予測動きベクトル候補の数とは無関係に固定の符号化テーブルに基づき予測動きベクトル指示情報が符号化されてもよい。この場合には、以下の符号化テーブルを用いて、予測動きベクトル指示情報が符号化され得る。
＜表１． 符号化テーブル＞
ビット値 最適予測動きベクトル
０・・・・・・予測動きベクトル候補１（ＰＭＶ１）
１０・・・・・予測動きベクトル候補２（ＰＭＶ２）
１１・・・・・予測動きベクトル候補３（ＰＭＶ３）

【0046】

一実施形態においては、予測動きベクトル候補ＰＭＶ１、予測動きベクトル候補ＰＭＶ２、予測動きベクトル候補ＰＭＶ３の決定順序は変更されてもよい。例えば、対象区画を複数の小区画に分割して小区画毎に符号化処理を行う際に、この形態を利用することができる。具体的には、対象区画を上下に２分割した場合の下側の小区画及び対象区画を左右に２分割した場合の左側の小区画を対象区画とする場合には、左隣接領域、上隣接領域、その他の領域（例えば、対象区画と同位置の参照フレーム内の区画）の順に、予測動きベクトル候補が決定され得る。一方、対象区画を上下に２分割した場合の上側の小区画及び対象区画を左右に２分割した場合の右側の小区画を対象区画とする場合には、これら対象区画に対しては、上隣接領域、左隣接領域、その他の領域（例えば、対象区画と同位置の参照フレーム内の区画）の順に、予測動きベクトル候補が決定され得る。

【0047】

以下、一実施形態に係る予測動きベクトル候補の決定処理に関する第１実施形態について詳細に説明する。まず、図１（ｂ）、図４、及び図５を参照して、図３のステップＳ３０２の処理の第１実施形態について説明する。図１（ｂ）に示すように、ここでは、対象区画に対して左下の隣接区画ＢＤ及び対象区画に対して左に隣接する区画ＢＬ，ＢＬ１，ＢＬ２が左隣接領域を構成するものとする。また、図４の（ａ）に示すインデックスｉの昇順で左隣接領域内の区画がスキャンされるものとする。即ち、左隣接領域内の区画が下から上に順にスキャンされるものとする。

【0048】

なお、左下の隣接区画ＢＤは、左隣接領域に含まれていなくてもよい。また、左下の隣接区画ＢＤよりも更に下方の区画が左隣接領域に含まれていてもよい。さらに、区画ＢＥや区画ＢＥよりも上に位置する区画が左隣接領域に含まれていてもよい。さらに、対象区画の左に位置し当該対象区画から一定距離離れた区画が左隣接領域に含まれていてもよい。

【0049】

図４の（ａ）及び図５に戻り、ステップＳ３０２の処理においては、まず、予測動きベクトル候補決定器２０３は、インデックスｉを０に設定する（ステップＳ５０１）。予測動きベクトル候補決定器２０３は、続くステップＳ５０２において、インデックスｉを１だけ増分する。

【0050】

次いで、予測動きベクトル候補決定器２０３は、スキャン順でｉ番目の区画が左隣接領域に存在し、且つ、当該区画が動きベクトルをもつか否かを判定する（ステップＳ５０３）。ｉ番目の区画が左隣接領域に存在し、且つ、当該区画が動きベクトルをもつ場合には、続くステップＳ５０４において、予測動きベクトル候補決定器２０３は、ｉ番目の区画と対象区画が同一の参照画面リスト識別番号及び参照画面番号をもつか否かを判定する。ステップＳ５０４の判定条件が満たされる場合には、続くステップＳ５０５において、予測動きベクトル候補決定器２０３は、ｉ番目の区画の動きベクトルを予測動きベクトル候補ＰＭＶ１として決定し、続くステップＳ５０６において、予測動きベクトル候補ＰＭＶ１を出力し、処理を終了する。

【0051】

一方、ステップＳ５０３の判定条件が満たされない場合、又は、ステップＳ５０４の判定条件が満たされない場合には、処理はステップＳ５０７に移行する。ステップＳ５０７においては、予測動きベクトル候補決定器２０３は、インデックスｉが左隣接領域の区画の個数Ｎを超えているか否かを判定する。ステップＳ５０７の判定条件が満たされない場合、予測動きベクトル候補決定器２０３は、ステップＳ５０２からの処理を続行する。一方、ステップＳ５０７の判定条件が満たされた場合、予測動きベクトル候補決定器２０３は、処理を終了する。

【0052】

なお、図４の（ａ）に示す形態では、左隣接領域の区画が下から順にスキャンされるが、一実施形態においては、図４の（ｃ）に示すように、上から順にスキャンされてもよい。

【0053】

また、一実施形態においては、図４の（ａ）に示すスキャン順と図４の（ｃ）に示すスキャン順が適応的に選択されてもよい。例えば、隣接区画の動きベクトルの関係に基づき、スキャン順序が決定されてもよい。具体的には、図１（ｂ）の区画ＢＬの動きベクトルと区画ＢＡの動きベクトルの絶対値差分αと、区画ＢＲＡの動きベクトルと区画ＢＤの動きベクトルの絶対値差分βを比較し、絶対値差分αが絶対値差分βより小さい場合には、図４の（ｃ）のスキャン順が選択されてもよい。一方、逆の場合には、図４の（ａ）のスキャン順が選択されてもよい。

【0054】

また、一実施形態においては、ステップＳ５０２にて、インデックスｉを２以上の数値で増分することにより、スキャンする区画を間引いてもよい。

【0055】

以下、図１（ｂ）、図４、及び図６を参照して、図３のステップＳ３０３の処理の第１実施形態について詳細に説明する。図１（ｂ）に示すように、ここでは、対象区画に対して左上の隣接区画ＢＥ及び対象区画に対して上に隣接する区画ＢＡ，ＢＡ１，ＢＡ２が上隣接領域を構成するものとする。また、図４の（ａ）に示すインデックスｊの昇順で上隣接領域内の区画がスキャンされるものとする。即ち、上隣接領域内の区画が右から左に順にスキャンされるものとする。

【0056】

なお、左上の隣接区画ＢＥは、上隣接領域に含まれていなくてもよい。また、左上の隣接区画ＢＥよりも更に左の区画が上隣接領域に含まれていてもよい。さらに、対象区画の上に位置し当該対象区画から一定距離離れた区画が上隣接領域に含まれていてもよい。

【0057】

図４の（ａ）及び図６に戻り、ステップＳ３０３の処理においては、まず、予測動きベクトル候補決定器２０３は、インデックスｊを０に設定する（ステップＳ６０１）。予測動きベクトル候補決定器２０３は、続くステップＳ６０２において、インデックスｊを１だけ増分する。

【0058】

次いで、予測動きベクトル候補決定器２０３は、スキャン順でｊ番目の区画が上隣接領域に存在し、且つ、当該区画が動きベクトルをもつか否かを判定する（ステップＳ６０３）。ｊ番目の区画が上隣接領域に存在し、且つ、当該区画が動きベクトルをもつ場合には、続くステップＳ６０４において、予測動きベクトル候補決定器２０３は、ｊ番目の区画と対象区画が同一の参照画面リスト識別番号及び参照画面番号をもつか否かを判定する。ステップＳ６０４の判定条件が満たされる場合には、続くステップＳ６０５において、予測動きベクトル候補決定器２０３は、ｊ番目の区画の動きベクトルが予測動きベクトル候補ＰＭＶ１と同一であるか否かを判定する。ｊ番目の区画の動きベクトルが予測動きベクトル候補ＰＭＶ１と異なる場合には、続くステップＳ６０６において、予測動きベクトル候補決定器２０３は、ｊ番目の区画の動きベクトルを予測動きベクトル候補ＰＭＶ２として決定し、続くステップＳ６０７において、予測動きベクトル候補ＰＭＶ２を出力し、処理を終了する。

【0059】

一方、ステップＳ６０３の判定条件が満たされない場合、ステップＳ６０４の判定条件が満たされない場合、又は、ステップＳ６０５の判定条件が満たされる場合には、処理は、ステップＳ６０８に移行する。

【0060】

ステップＳ６０８においては、予測動きベクトル候補決定器２０３は、インデックスｊが上隣接領域の区画の個数Ｍを超えているか否かを判定する。ステップＳ６０８の判定条件が満たされない場合、予測動きベクトル候補決定器２０３は、ステップＳ６０２からの処理を続行する。一方、ステップＳ６０８の判定条件が満たされた場合、予測動きベクトル候補決定器２０３は、処理を終了する。

【0061】

なお、図４の（ａ）に示す形態では、上隣接領域の区画が右から順にスキャンされるが、一実施形態においては、図４の（ｃ）に示すように、左から順にスキャンされてもよい。

【0062】

また、一実施形態においては、図４の（ａ）に示すスキャン順と図４の（ｃ）に示すスキャン順が適応的に選択されてもよい。例えば、隣接区画の動きベクトルの関係に基づき、スキャン順序が決定されてもよい。具体的には、図１（ｂ）の区画ＢＬの動きベクトルと区画ＢＡの動きベクトルの絶対値差分αと、区画ＢＲＡの動きベクトルと区画ＢＤの動きベクトルの絶対値差分βを比較し、絶対値差分αが絶対値差分βより小さい場合には、図４の（ｃ）のスキャン順が選択されてもよい。一方、逆の場合には、図４の（ａ）のスキャン順が選択されてもよい。

【0063】

また、上述した実施形態では、区画ＢＥを上隣接領域に含めているが、区画ＢＥを左隣接領域に含めてもよい。また、区画ＢＥを上隣接領域及び左隣接領域とは独立した領域とし、区画ＢＥの動きベクトルを別個の予測動きベクトル候補として取り扱ってもよい。

【0064】

また、上述した実施形態では、隣接領域の区画の動きベクトルを予測動きベクトル候補として選択するための判定条件に、参照画面リスト識別番号及び参照画面番号の双方を用いているが、これに限定されるものではない。例えば、当該判定条件に、参照画面リスト識別番号及び参照画面番号の一方が用いられてもよい。また、参照画面番号を用いない場合には、参照フレームと対象フレーム間の距離に応じて隣接領域の区画の動きベクトルのスケーリングを行ってもよい。また、その他の画面内予測の情報を用いてもよい。具体的には、対象区画の大きさと隣接区画の大きさを上述した判定条件の１つとしてもよい。具体的には対象区画のサイズがＮ×Ｎ画素の場合、隣接領域内の区画のサイズがＮ×Ｎ画素であることを判定条件としたり、又は、Ｎ／２×Ｎ／２画素から２Ｎ×２Ｎ画素のサイズの区画であることを判定条件としてもよい。

【0065】

また、上述した実施形態では、左隣接領域の予測動きベクトル候補ＰＭＶ１が算出された後に、上隣接領域の予測動きベクトル候補ＰＭＶ２の算出が行われているが、これに限定されるものではない。左隣接領域の予測動きベクトル候補ＰＭＶ１の決定より先に上隣接領域の予測動きベクトル候補ＰＭＶ２が決定されてもよい。この場合、左隣接領域の予測動きベクトル候補ＰＭＶ１の決定する処理において、左隣接領域に含まれる区画の動きベクトルが上隣接領域の予測動きベクトル候補ＰＭＶ２と同一であることを判定する処理を行い得る。

【0066】

また、上述した実施形態では、ステップＳ６０５において、上隣接領域のｊ番目の区画の動きベクトルが左隣接領域の予測動きベクトル候補ＰＭＶ１と同一であるか否かが判定されているが、この判定は実施されなくてもよい。この場合、ステップＳ６０４の判定条件が満たされる場合に、直接ステップＳ６０６の処理を行えばよい。

【0067】

また、一実施形態においては、ステップＳ６０２にて、インデックスｊを２以上の数値で増分することにより、スキャンする区画を間引いてもよい。

【0068】

以下、動画像符号化装置２０によって生成された圧縮ストリームを復号して動画像を復元する動画像復号装置について説明する。図７は、一実施形態に係る動画像復号装置の構成を示す図である。図７に示す動画像復号装置３０は、本発明の一側面に係る動きベクトルを予測復号する装置の一例である。

【0069】

図７に示すように、動画像復号装置３０は、エントロピー復号器３０１と、予測動きベクトル候補決定器３０２と、予測動きベクトル決定器３０３と、動きベクトル加算器３０４と、動き補償器３０５と、フレームメモリ３０６と、空間予測器３０７と、予測方法決定器３０８と、逆量子化器３０９と、逆直交変換器３１０と、加算器３１１と、を備え得る。

【0070】

エントロピー復号器３０１は、圧縮ストリームを受信した後、当該圧縮ストリームにおいて各フレームの先頭を表す同期ワードを検出した後、分割区画単位で、当該圧縮ストリーム内の符号化データから予測モード情報と量子化直交変換係数を復元する。また、予測モード情報によって特定される予測モードが「画面間予測モード」である場合には、エントロピー復号器３０１は、圧縮ストリーム内の符号化データを復号して、動きベクトル差分値、参照画面リスト識別番号、及び参照画面番号の復元も行う。

【0071】

エントロピー復号器３０１は、復元した量子化直交変換係数をラインＬ３０１ａ経由で逆量子化器３０９に送る。また、エントロピー復号器３０１は、予測モード情報、参照画面リスト識別番号、及び参照画面番号をラインＬ３０１ｂ経由で予測動きベクトル候補決定器３０２に送る。さらに、エントロピー復号器３０１は、復元した動きベクトル差分値を、ラインＬ３０１ｄ経由で動きベクトル加算器３０４に送る。また、エントロピー復号器３０１は、復元した予測モード情報をラインＬ３０１ｅ経由で予測方法決定器３０８に送る。

【0072】

予測動きベクトル候補決定器３０２は、受け取った予測モード情報によって特定される予測モードが「画面間予測モード」である場合に、復号済みの隣接区画の動きベクトルから予測動きベクトル候補を決定する。予測動きベクトル候補決定器３０２によって行われる予測動きベクトル候補の決定に関する処理は、予測動きベクトル候補決定器２０３について上述した処理と同様であるので、ここでは、その説明を割愛する。この予測動きベクトル候補決定器３０２は、決定した予測動きベクトル候補をラインＬ３０２ｂ経由で予測動きベクトル決定器３０３に出力する。さらに、予測動きベクトル候補決定器３０２は、予測動きベクトル候補の数をラインＬ３０２ａ経由でエントロピー復号器３０１に出力する。

【0073】

エントロピー復号器３０１は、ラインＬ３０２ａ経由で予測動きベクトル候補の数を受け取ると、当該数に応じて圧縮ストリーム内の符号化データを復号して、予測動きベクトル指示情報を復元する。エントロピー復号器３０１は、復元した予測ベクトル指示情報を予測動きベクトル決定器３０３に送る。より具体的には、予測動きベクトル候補の数が０か１の場合には、予測動きベクトル指示情報は伝送されてこないため、復元処理は行われない。また、予測動きベクトル候補の数が２か３の場合には、最大で２ビットの符号化データをエントロピー復号化することにより、予測動きベクトル指示情報が復元される。

【0074】

なお、エントロピー復号器３０１は、予測動きベクトル候補決定器３０２で選択された予測動きベクトル候補の数に応じて符号化データを復号することにより予測動きベクトル指示情報の復元を行っているが、これに限定されるものではない。例えば、予測動きベクトル候補の数とは関係なく上述した表１の固定の符号化テーブルを用いて予測動きベクトル指示情報が復元されてもよい。なお、固定符号化テーブルの設定はこれに限定されるものではない。また、予測動きベクトル候補の算出の前に、予測動きベクトル指示情報が復元されてもよい。

【0075】

予測動きベクトル決定器３０３は、ラインＬ３０２ｂ経由で入力された予測動きベクトル候補の中から、ラインＬ３０１ｃ経由で入力される予測動きベクトル指示情報に基づき最適予測動きベクトルＰＭＶｏｐｔを決定する。決定された最適予測動きベクトルＰＭＶｏｐｔは、ラインＬ３０３経由で動きベクトル加算器３０４に送られる。

【0076】

動きベクトル加算器３０４は、エントロピー復号器３０１から送信された動きベクトル差分値と予測動きベクトル決定器３０３から送信された最適予測動きベクトルＰＭＶｏｐｔとを加算して、動きベクトルを復元する。動きベクトル加算器３０４は、復元した動きベクトルを含む信号をラインＬ３０４経由で動き補償器３０５に送る。

【0077】

動き補償器３０５は、動きベクトル加算器３０４から送られた動きベクトルとラインＬ３０１ｄ経由でエントロピー復号器３０１から送信される予測モード情報、参照画面リスト識別番号、及び参照画面番号に基づいてメモリ３０６内の参照フレーム画像信号を選択し、選択した参照フレーム画像信号を用いて、予測画像信号を生成する。動き補償器３０５は、ラインＬ３０５ａ経由で、予測画像信号を予測方法決定器３０８に送る。また、動き補償器３０５は、予測画像信号の生成に利用した予測モード情報、参照画面リスト識別番号、及び参照画面番号をラインＬ３０５ｂ経由でメモリ３０６に出力する。なお、メモリ３０６には、過去に復号済みのフレーム画像信号、予測モード情報、参照画面リスト識別番号、及び参照画面番号が格納されている。

【0078】

また、空間予測器３０７は、ラインＬ３０１ｅ経由で入力される予測モード情報によって特定される予測モードが「画面内予測モード」である場合に、復号済みの近傍ブロックの画像信号（参照フレーム画像信号）を参照して予測画像信号を生成し、当該予測画像信号を予測方法決定器３０８に送る。

【0079】

予測方法決定器３０８は、エントロピー復号器３０１から送信された予測モード情報に基づいて、画面間予測によって生成された予測画像信号及び画面内予測によって生成された予測画像信号のいずれかを選択し、選択した予測画像信号を、ラインＬ３０８経由で加算器３１１に送る。

【0080】

逆量子化器３０９は、エントロピー復号器３０１により送信された量子化直交変換係数を逆量子化して、直交変換係数を復元する。逆量子化器３０９は、復元した直交変換係数をラインＬ３０９経由で逆直交変換器３１０に送る。

【0081】

逆直交変換器３１０は、受け取った直交変換係数に逆直交変換を適用して、予測残差信号を復元する。逆直交変換器３１０は、復元した予測残差信号をラインＬ３１０経由で加算器３１１に送る。

【0082】

加算器３１１は、予測方法決定器３０８から送信された予測画像信号と、逆直交変換器３１０から送信された予測残差信号とを加算して、フレーム画像信号を復元する。

【0083】

復元されたフレーム画像信号は所定の表示タイミングで表示デバイス（図示せず）へ出力され、入力映像信号（動画像信号）が再生され得る。また、フレーム画像信号は、以降の復号化処理に用いられるため、参照フレーム画像信号としてメモリ３０６に格納される。ここで、フレーム画像信号は、動画像符号化装置２０における同一番号のフレーム画像信号と同一の値となり得る。また、動きベクトルや参照フレーム番号に関する情報も参照フレーム画像信号に関連付けて同時に格納される。

【0084】

以下、動画像復号装置３０で用いられる動きベクトルの予測復号方法の一実施形態ついて、図８を参照して説明する。図８は、動きベクトルの予測復号方法の一実施形態を示すフローチャートである。

【0085】

図８に示すように、一実施形態に係る予測動きベクトルの予測復号方法においては、まず、予測動きベクトル候補決定器３０２に、参照画面リスト識別番号及び参照画面番号が入力される（ステップＳ８０１）。

【0086】

次に、予測動きベクトル候補決定器３０２が、対象区画ＢＴの左隣接領域に含まれる一以上の区画の動きベクトルから予測動きベクトル候補ＰＭＶ１を決定する（ステップＳ３０２）。

【0087】

次に、予測動きベクトル候補決定器３０２は、対象区画ＢＴの上隣接領域に含まれる一以上の区画の動きベクトルから予測動きベクトル候補ＰＭＶ２を決定する（ステップＳ３０３）。

【0088】

次に、予測動きベクトル候補決定器３０２は、予測動きベクトル候補ＰＭＶ３を決定する（ステップＳ３０４）。なお、図８におけるステップＳ３０２〜ステップＳ３０４の処理は、図３におけるステップＳ３０２〜ステップＳ３０４の処理と同様である。

【0089】

次に、ステップＳ８０５において、予測動きベクトル候補決定器３０２は、予測動きベクトル候補ＰＭＶ１、予測動きベクトル候補ＰＭＶ２、予測動きベクトル候補ＰＭＶ３のうち、同一ではない予測動きベクトル候補のみを予測動きベクトル候補とする。具体例を示せば、予測動きベクトル候補ＰＭＶ１と予測動きベクトル候補ＰＭＶ３が同一の場合には、予測動きベクトル候補として予測動きベクトル候補ＰＭＶ１と予測動きベクトル候補ＰＭＶ２のみが選択される。また、ステップＳ８０５までの処理で有効な予測動きベクトル候補が決定されなかった場合には、零動きベクトルが予測動きベクトル候補とされる。

【0090】

ステップＳ８０６において、上述したように、エントロピー復号器３０１が予測動きベクトル候補の数に基づいて予測動きベクトル指示情報を復元する。次いで、ステップＳ８０７において、予測動きベクトル決定器３０３が、予測動きベクトル指示情報に基づいて、予測動きベクトル候補から最適予測動きベクトルを選択する。

【0091】

以下、動きベクトルの予測符号化方法の第２実施形態について説明する。図９は、第２実施形態の動きベクトルの予測符号化方法における予測動きベクトル候補の決定処理を示すフローチャートである。第２実施形態の動きベクトルの予測符号化方法では、図３のステップＳ３０２〜ステップＳ３０４の代わりに、図９に示すフローが用いられる。

【0092】

まず、本実施形態では、ステップＳ９０１において、予測動きベクトル候補決定器２０３は、対象区画の左隣接領域に含まれる区画を下方向にスキャンして、これら区画の動きベクトルから予測動きベクトル候補ＰＭＶａを決定する。ステップＳ９０１においては、予測動きベクトル候補決定器２０３は、図４の（ｃ）に示す左隣接領域のスキャン順に従って第１実施形態で説明した予測動きベクトル候補ＰＭＶ１の決定方法（ステップＳ３０２）を実施することにより、予測動きベクトル候補ＰＭＶａを検出することができる。なお、予測動きベクトル候補ＰＭＶａの決定のために、予測動きベクトル候補決定器２０３は、第１実施形態と同様に、入力される参照画面リスト識別番号及び参照画面番号を用いることができる。

【0093】

次に、ステップＳ９０２において、予測動きベクトル候補決定器２０３は、対象区画の左隣接領域に含まれる区画を上方向にスキャンして、これら区画の動きベクトルから予測動きベクトル候補ＰＭＶｂを決定する。ステップＳ９０２においては、予測動きベクトル候補決定器２０３は、図４の（ａ）に示す左隣接領域のスキャン順に従って第１実施形態で説明した予測動きベクトル候補ＰＭＶ１の決定方法（ステップＳ３０２）を実施することにより、予測動きベクトル候補ＰＭＶｂを検出することができる。なお、予測動きベクトル候補ＰＭＶｂの決定にも、予測動きベクトル候補決定器２０３は、参照画面リスト識別番号及び参照画面番号を用いることができる。

【0094】

次に、ステップＳ９０３において、予測動きベクトル候補決定器２０３は、予測動きベクトル候補ＰＭＶａおよび予測動きベクトル候補ＰＭＶｂから左隣接領域の予測動きベクトル候補ＰＭＶＸを選択する。また、予測動きベクトル候補決定器２０３は、選択した予測動きベクトル候補を求めるために用いたスキャン方向Ｘを示すスキャン方向指示情報を生成する。具体的には、予測動きベクトル候補決定器２０３は、予測動きベクトル候補ＰＭＶａ及び予測動きベクトル候補ＰＭＶｂのうち、対象区画の予測動きベクトルに対する誤差が最も小さい予測動きベクトル候補を、予測動きベクトル候補ＰＭＶＸとして決定する。また、予測動きベクトル候補決定器２０３は、予測動きベクトル候補ＰＭＶＸとして予測動きベクトル候補ＰＭＶａが選択された場合には、下方向を示すスキャン方向指示情報を生成し、予測動きベクトル候補ＰＭＶｂが選択されている場合には、上方向を示すスキャン方向指示情報を生成する。

【0095】

次に、ステップＳ９０４において、予測動きベクトル候補決定器２０３は、対象区画の上隣接領域に含まれる区画を右方向にスキャンして、これら区画の動きベクトルから予測動きベクトル候補ＰＭＶｃを決定する。ステップＳ９０４においては、予測動きベクトル候補決定器２０３は、図４の（ｃ）に示す上隣接領域のスキャン順に従って第１実施形態で説明した予測動きベクトル候補ＰＭＶ２の決定方法（ステップＳ３０３）を実施することにより、予測動きベクトル候補ＰＭＶｃを検出することができる。なお、予測動きベクトル候補ＰＭＶｃの決定のために、予測動きベクトル候補決定器２０３は、第１実施形態と同様に、入力される参照画面リスト識別番号及び参照画面番号を用いることができる。

【0096】

次に、ステップＳ９０５において、予測動きベクトル候補決定器２０３は、対象区画の上隣接領域に含まれる区画を左方向にスキャンして、これら区画の動きベクトルから予測動きベクトル候補ＰＭＶｄを決定する。ステップＳ９０５においては、予測動きベクトル候補決定器２０３は、図４の（ａ）に示す上隣接領域のスキャン順に従って第１実施形態で説明した予測動きベクトル候補ＰＭＶ２の決定方法（ステップＳ３０３）を実施することにより、予測動きベクトル候補ＰＭＶｄを検出することができる。なお、予測動きベクトル候補ＰＭＶｄの決定にも、予測動きベクトル候補決定器２０３は、参照画面リスト識別番号及び参照画面番号を用いることができる。

【0097】

次に、ステップＳ９０６において、予測動きベクトル候補決定器２０３は、予測動きベクトル候補ＰＭＶｃおよび予測動きベクトル候補ＰＭＶｄから上隣接領域の予測動きベクトル候補ＰＭＶＹを選択する。また、予測動きベクトル候補決定器２０３は、選択した予測動きベクトル候補を求めるために用いたスキャン方向Ｙを示すスキャン方向指示情報を生成する。具体的には、予測動きベクトル候補決定器２０３は、予測動きベクトル候補ＰＭＶｃ及び予測動きベクトル候補ＰＭＶｄのうち、対象区画の予測動きベクトルに対する誤差が最も小さい予測動きベクトル候補を、予測動きベクトル候補ＰＭＶＹとして決定する。また、予測動きベクトル候補決定器２０３は、予測動きベクトル候補ＰＭＶＹとして予測動きベクトル候補ＰＭＶｃが選択された場合には、右方向を示すスキャン方向指示情報を生成し、予測動きベクトル候補ＰＭＶｄが選択されている場合には、左方向を示すスキャン方向指示情報を生成する。

【0098】

次に、ステップＳ９０７において、予測動きベクトル候補決定器２０３は、ステップＳ３０４の処理と同様に、対象区画と空間的に同位置の参照フレーム内の区画の予測動きベクトル候補ＰＭＶＺを取得する。このステップＳ９０７における処理は、第１実施形態のステップＳ３０４の処理の上述した変形形態と同様であってもよい。

【0099】

次に、ステップＳ９０８において、予測動きベクトル候補決定器２０３は、予測動きベクトル候補ＰＭＶＸ、予測動きベクトル候補ＰＭＶＹ、予測動きベクトル候補ＰＭＶＺのうち、同一ではない予測動きベクトル候補のみを予測動きベクトル候補とする。そして、予測動きベクトル候補決定器２０３は、予測動きベクトル候補、予測動きベクトル候補の数、及び、スキャン方向指示情報を出力する。具体例を示せば、予測動きベクトル候補ＰＭＶＸと予測動きベクトル候補ＰＭＶＺが同一の場合には、予測動きベクトル候補として予測動きベクトル候補ＰＭＶＸと予測動きベクトル候補ＰＭＶＹのみが選択される。また、ステップＳ９０１〜ステップＳ９０７において有効な予測動きベクトル候補が決定されなかった場合、零動きベクトルが予測動きベクトル候補とされる。

【0100】

次いで、第２実施形態では、第１実施形態のステップＳ３０６と同様の処理が行われる。最後に、ステップＳ３０７において、エントロピー符号化器２１３が、最適予測動きベクトルが予測動きベクトル候補のうちの何れであるかを特定するための予測動きベクトル指示情報を符号化する。なお、第２実施形態においては、ステップＳ３０７において、符号化器２１３は、スキャン方向指示情報も符号化する。

【0101】

なお、第２実施形態においても、左隣接領域を構成する区画、及び、上隣接領域を構成する区画は、第１実施形態について上述したように変更されてもよい。また、予測動きベクトルの個数についても、第１実施形態について上述したように変更されてもよい。また、第１実施形態について上述したように、予測動きベクトル候補ＰＭＶＸ，ＰＭＶＹ，ＰＭＶＺの決定順序を、対象区画を小区画に分割する態様及び当該小区画の位置に基づいて、変更してもよい。

【0102】

以下、第２実施形態の動きベクトルの予測復号方法について説明する。図１０は、第２実施形態の動きベクトルの予測復号方法を示すフローチャートである。図１０に示す予測復号方法は、第２実施形態の動きベクトルの予測符号化方法によって生成された符号化データから動きベクトルを予測するものである。

【0103】

図１０に示すように、本実施形態では、まず、ステップＳ１００１において、予測動きベクトル候補決定器３０２に、復元された参照画面リスト識別番号、参照画面番号、スキャン方向指示情報（スキャン方向Ｘ，スキャン方向Ｙ）が入力される。

【0104】

次に、ステップＳ１００２において、予測動きベクトル候補決定器３０２が、参照画面リスト識別番号、参照画面番号、及び、スキャン方向Ｘを特定するためのスキャン方向指示情報に応じて、左隣接領域の予測動きベクトル候補ＰＭＶＸを決定する。予測動きベクトル候補ＰＭＶＸは、スキャン方向指示情報によって特定されるスキャン方向Ｘに左隣接領域内の区画を順次スキャンすることにより、第１の実施形態の予測動きベクトル候補ＰＭＶ１の決定と同様の処理により決定される。

【0105】

次に、ステップＳ１００３において、予測動きベクトル候補決定器３０２は、参照画面リスト識別番号、参照画面番号、及び、スキャン方向Ｙを特定するためのスキャン方向指示情報に応じて、上隣接領域の予測動きベクトル候補ＰＭＶＹを決定する。予測動きベクトル候補ＰＭＶＹは、スキャン方向指示情報によって特定されるスキャン方向Ｙに上隣接領域内の区画を順次スキャンすることにより、第１の実施形態の予測動きベクトル候補ＰＭＶ２の決定と同様の処理により決定される。

【0106】

次いで、ステップＳ１００４において、予測動きベクトル候補決定器３０２は、対象区画と空間的に同一の参照フレーム内の区画の予測動きベクトル候補ＰＭＶＺを決定する。ステップＳ１００４の処理は、ステップＳ３０４の処理と同様である。

【0107】

次いで、ステップＳ１００５において、予測動きベクトル候補決定器３０２は、予測動きベクトル候補ＰＭＶＸ、予測動きベクトル候補ＰＭＶＹ、予測動きベクトル候補ＰＭＶＺの内、同一ではない予測動きベクトル候補のみを予測動きベクトル候補とする。具体例を示せば、予測動きベクトル候補ＰＭＶＸと予測動きベクトル候補ＰＭＶＺが同一の場合には、予測動きベクトル候補として予測動きベクトル候補ＰＭＶＸと予測動きベクトル候補ＰＭＶＹのみが選択される。また、ステップＳ１００５までの処理で有効な予測動きベクトル候補が決定されなかった場合には、零動きベクトルが予測動きベクトル候補とされる。

【0108】

次いで、ステップＳ１００６において、復号器３０１が予測動きベクトル候補の数に基づいて予測動きベクトル指示情報を復元する。次いで、ステップＳ１００７において、予測動きベクトル決定器３０３が、予測動きベクトル指示情報に基づいて、予測動きベクトル候補から最適予測動きベクトルを選択する。

【0109】

なお、第２実施形態においても、第１実施形態について上述したように、予測動きベクトル候補ＰＭＶＸ，ＰＭＶＹ，ＰＭＶＺの決定順序を、対象区画を小区画に分割する態様及び当該小区画の位置に基づいて、変更してもよい。

【0110】

以上、説明した動画像符号化装置２０及び動画像復号装置３０によれば、予測動きベクトルの候補を絞り込んだ後に、それら予測動きベクトル候補から最適予測動きベクトルが検出される。したがって、最適予測動きベクトルの決定に要する演算量が削減され得る。また、最適予測動きベクトルを特定するための予測動きベクトル指示情報を少ないビット数で符号化し得る。

【0111】

また、第２実施形態の予測符号化及び予測復号を用いる動画像符号化装置２０及び動画像復号装置３０によれば、対象区画の動きベクトルからの誤差がより少ない予測動きベクトル候補を求めることができる。

【0112】

以下、コンピュータを動画像符号化装置２０として機能させるための動画像符号化プログラム１０００と、コンピュータを上述した動画像復号装置３０として機能させるための動画像復号プログラム１１００について説明する。

【0113】

図１１は、一実施形態に係る動画像符号化プログラムの構成を示す図である。図１２は、一実施形態に係る動画像復号プログラムの構成を示す図である。図１３は、一実施形態に係るコンピュータのハードウェア構成を示す図である。図１４は、一実施形態に係るコンピュータを示す斜視図である。

【0114】

図１１に示す動画像符号化プログラム１０００は、記録媒体ＳＭに格納されて提供され得る。また、図１２に示す動画像復号プログラム１１００も、記録媒体ＳＭに格納されて提供され得る。なお、記録媒体ＳＭとしては、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。

【0115】

図１３に示すように、コンピュータＣ１０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置Ｃ１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）Ｃ１４と、記録媒体ＳＭに記憶されたプログラムを記憶するメモリＣ１６と、ディスプレイといった表示装置Ｃ１８と、入力装置であるマウスＣ２０及びキーボードＣ２２と、データ等の送受を行うための通信装置Ｃ２４と、プログラムの実行を制御するＣＰＵ Ｃ２６と、を備え得る。

【0116】

コンピュータＣ１０は、記録媒体ＳＭが読取装置Ｃ１２に挿入されると、読取装置Ｃ１２から記録媒体ＳＭに格納された動画像符号化プログラム１０００にアクセス可能になり、当該プログラム１０００によって、動画像符号化装置２０として動作することが可能になる。

【0117】

また、コンピュータＣ１０は、記録媒体ＳＭが読取装置Ｃ１２に挿入されると、読取装置Ｃ１２から記録媒体ＳＭに格納された動画像復号プログラム１１００にアクセス可能になり、当該プログラム１１００によって、動画像復号装置３０として動作することが可能になる。

【0118】

図１１に示すように、動画像符号化プログラム１０００は、処理を統括するメインモジュール１００１、入力モジュール１００２、動き検出モジュール１００３、予測動きベクトル候補決定モジュール１００４、予測動きベクトル決定モジュール１００５、動きベクトル差分モジュール１００６、動き補償モジュール１００７、空間予測モジュール１００８、予測方法決定モジュール１００９、減算モジュール１０１０、直交変換モジュール１０１１、量子化モジュール１０１２、エントロピー符号化モジュール１０１３、逆量子化モジュール１０１４、逆直交変換モジュール１０１５、及び、加算モジュール１０１６を備えている。入力モジュール１００２、動き検出モジュール１００３、予測動きベクトル候補決定モジュール１００４、予測動きベクトル決定モジュール１００５、動きベクトル差分モジュール１００６、動き補償モジュール１００７、空間予測モジュール１００８、予測方法決定モジュール１００９、減算モジュール１０１０、直交変換モジュール１０１１、量子化モジュール１０１２、エントロピー符号化モジュール１０１３、逆量子化モジュール１０１４、逆直交変換モジュール１０１５、加算モジュール１０１６がコンピュータに行わせる機能は、上述した入力器２０１、動き検出器２０２、予測動きベクトル候補決定器２０３、予測動きベクトル決定器２０４、動きベクトル差分器２０５、動き補償器２０６、空間予測器２０８、予測方法決定器２０９、減算器２１０、変換器２１１、量子化器２１２、エントロピー符号化器２１３、逆量子化器２１４、逆変換器２１５、加算器２１６の機能と、それぞれ同様である。

【0119】

図１２に示すように、動画像復号プログラム１１００は、処理を統括するメインモジュール１１０１、エントロピー復号モジュール１１０２、予測動きベクトル候補決定モジュール１１０３、予測動きベクトル決定モジュール１１０４、動きベクトル加算モジュール１１０５、動き補償モジュール１１０６、空間予測モジュール１１０７、予測方法決定モジュール１１０８、逆量子化モジュール１１０９、逆直交変換モジュール１１１０、及び、加算モジュール１１１１を備える。エントロピー復号モジュール１１０２、予測動きベクトル候補決定モジュール１１０３、予測動きベクトル決定モジュール１１０４、動きベクトル加算モジュール１１０５、動き補償モジュール１１０６、空間予測モジュール１１０７、予測方法決定モジュール１１０８、逆量子化モジュール１１０９、逆直交変換モジュール１１１０、加算モジュール１１１１がコンピュータに実現させる機能は、上述したエントロピー復号器３０１、予測動きベクトル候補決定器３０２、予測動きベクトル決定器３０３、動きベクトル加算器３０４、動き補償器３０５、空間予測器３０７、予測方法決定器３０８、逆量子化器３０９、逆直交変換器３１０、加算器３１１の機能と、それぞれ同様である。

【0120】

以上、種々の実施形態について説明したが、本発明は上述した実施形態に限定されることなく種々の変形が可能である。例えば、上述した実施形態では、対象区画の動きベクトルと予測動きベクトル（最適予測動きベクトル）との間の差分である動きベクトル差分値の符号化データが符号化装置から復号装置に送信されているが、符号化装置から復号装置に送信動きベクトル差分値の符号化データを送信することなく、最適予測動きベクトルを対象区画の動きベクトルとして採用してもよい。

【0121】

また、予測動きベクトル候補ＰＭＶＸの決定においては、予測動きベクトル候補ＰＭＶａ及びＰＭＶｂを用いて予測画像信号を作成し、予測動きベクトル候補ＰＭＶａ及びＰＭＶｂのうち、予測画像信号と対象区画の画像信号との間の絶対値差分和（ＳＡＤ）をより小さくする予測動きベクトル候補を予測動きベクトル候補ＰＭＶＸとして採用してもよい。また、予測動きベクトル候補ＰＭＶＹの決定においては、予測動きベクトル候補ＰＭＶｃ及びＰＭＶｄを用いて予測画像信号を作成し、予測動きベクトル候補ＰＭＶｃ及びＰＭＶｄのうち、予測画像信号と対象区画の画像信号との間の絶対値差分和（ＳＡＤ）をより小さくする予測動きベクトル候補を予測動きベクトル候補ＰＭＶＹとして採用してもよい。また、ＳＡＤの代わりに、差分絶対値和（ＳＡＴＤ）又は差分二乗和（ＳＳＤ）が用いられてもよい。

【0122】

つぎに、本発明の一側面の作用効果について説明する。本発明の一側面は、動きベクトルの予測符号化技術に関するものである。

【0123】

本発明の一側面に係る動きベクトルの予測符号化方法は、複数のフレーム画像の時間系列で構成される動画像の動き補償予測に用いられる動きベクトルを予測符号化する方法であって、（ａ）上記動画像の符号化対象のフレーム画像内の対象区画の動きベクトルを求めるステップと、（ｂ）上記対象区画に対して左に位置する左隣接領域に属する一以上の区画の動きベクトルから、所定の予測動きベクトル候補決定基準を満たす一つの第１予測動きベクトル候補を決定するステップと、（ｃ）上記対象区画に対して、上に位置する上隣接領域に属する一以上の区画の動きベクトルから、所定の予測動きベクトル候補決定基準を満たす一つの第２予測動きベクトル候補を決定するステップと、（ｄ）上記第１予測動きベクトル候補と上記第２予測動きベクトル候補を含む一以上の予測動きベクトル候補と上記対象区画の上記動きベクトルとの比較に基づき、最適予測動きベクトルを選択し、選択した最適予測動きベクトルを特定するための予測動きベクトル指示情報を出力するステップと、（ｅ）上記予測動きベクトル指示情報を符号化するステップと、を含んでいる。

【0124】

また、本発明の一側面に係る動きベクトルの予測符号化装置は、複数のフレーム画像の時間系列で構成される動画像の動き補償予測に用いられる動きベクトルを予測符号化する装置であって、上記動画像の符号化対象のフレーム画像内の対象区画の動きベクトルを求める動き検出手段と、上記対象区画に対して左に位置する左隣接領域に属する一以上の区画の動きベクトルから、所定の予測動きベクトル候補決定基準を満たす一つの第１予測動きベクトル候補を決定する第１予測動きベクトル候補決定手段と、上記対象区画に対して、上に位置する上隣接領域に属する一以上の区画の動きベクトルから、所定の予測動きベクトル候補決定基準を満たす一つの第２予測動きベクトル候補を決定する第２予測動きベクトル候補決定手段と、上記第１予測動きベクトル候補と上記第２予測動きベクトル候補を含む一以上の予測動きベクトル候補と上記対象区画の上記動きベクトルとの比較に基づき、最適予測動きベクトルを選択し、選択した最適予測動きベクトルを特定するための予測動きベクトル指示情報を出力する予測動きベクトル決定手段と、上記予測動きベクトル指示情報を符号化する符号化手段と、を備えている。

【0125】

また、本発明の一側面に係る動きベクトルの予測符号化プログラムは、複数のフレーム画像の時間系列で構成される動画像の動き補償予測に用いられる動きベクトルを予測符号化する装置としてコンピュータを動作させるプログラムであって、該コンピュータを、上述した動き検出手段、第１予測動きベクトル候補決定手段、第２予測動きベクトル候補決定手段、予測動きベクトル決定手段、及び、符号化手段として機能させる。

【0126】

上述した本発明の一側面に係る動きベクトルの予測符号化技術によれば、予測動きベクトル候補を絞り込んだ後に、対象区画の動きベクトルと予測動きベクトル候補との比較に基づき予測動きベクトルが決定される。したがって、予測動きベクトルの決定に要する演算量が削減され得る。

【0127】

一実施形態においては、対象区画の画素信号の予測信号は、参照画面リスト識別番号及び参照画面番号によって特定されるフレーム番号を有する参照フレームを参照することにより生成され、対象区画用の参照画面リスト識別番号及び／又は参照画面番号と一致する参照画面リスト識別番号及び／又は参照画面番号を有する左隣接領域の区画の動きベクトルから、第１予測動きベクトル候補が決定され、対象区画用の参照画面リスト識別番号及び／又は参照画面番号と一致する参照画面リスト識別番号及び／又は参照画面番号を有する上隣接領域の区画の動きベクトルから、第２予測動きベクトル候補が決定されてもよい。

【0128】

一実施形態においては、予測動きベクトル指示情報は、予測動きベクトル候補の数に応じたビット数の符号化データに符号化されてもよい。例えば、予測動きベクトル指示情報は、予測動きベクトル候補の数に応じた最小数のビットの符号化データに符号化されてもよい。この形態によれば、予測動きベクトル指示情報の符号化データの符号量が低減され得る。

【0129】

一実施形態においては、左隣接領域は、対象区画の左下の隣接区画を含んでいてもよい。この左下の隣接区画は、対象区画内の左下の画素に対して左下側に存在する隣接画素を含む区画である。この形態は、左下の隣接区画の動きベクトルを独立した予測動きベクトル候補とせず、左下の隣接区画を左隣接領域に含めて当該左隣接領域から第１予測動きベクトル候補を決定する。これにより、予測動きベクトル候補の数が低減され得る。その結果、予測動きベクトル指示情報の符号化データの符号量が低減され得る。

【0130】

一実施形態においては、上隣接領域は、対象区画の右上の隣接区画を含んでいてもよい。この右上の隣接区画は、対象区画内の右上の画素に対して右上側に存在する隣接画素を含む区画である。この形態は、右上の隣接区画の動きベクトルを独立した予測動きベクトル候補とせず、右上の隣接区画を上隣接領域に含めて当該上隣接領域から第２予測動きベクトル候補を決定する。これにより、予測動きベクトル候補の数が低減され得る。その結果、予測動きベクトル指示情報の符号化データの符号量が低減され得る。

【0131】

一実施形態においては、左隣接領域又は上隣接領域の何れか一方が、対象区画の左上の隣接区画を含んでいてもよい。この左上の隣接区画は、対象区画内の左上の画素に対して左上側に存在する隣接画素を含む区画である。この形態は、左上の隣接区画の動きベクトルを独立した予測動きベクトル候補とせず、左上の隣接区画を左隣接領域又は上隣接領域に含めて予測動きベクトル候補を決定する。これにより、予測動きベクトル候補の数が低減され得る。その結果、予測動きベクトル指示情報の符号化データの符号量が低減され得る。

【0132】

一実施形態においては、左隣接領域内に含まれる一以上の区画を下から上方向にスキャンすることにより、当該一以上の区画の動きベクトルから所定の予測動きベクトル候補決定基準を満たす動きベクトルを第１予測動きベクトル候補として決定してもよい。また、所定の予測動きベクトル候補決定基準を満たす動きベクトルが検出されたときに、以後の左隣接領域のスキャンを停止してもよい。本願発明者が多数の動画像に対して行った調査に基づく知見によれば、左隣接領域の区画のうち対象区画の動きベクトルとの誤差の少ない動きベクトルを有する区画は、左隣接領域内において下側に存在する傾向がある。したがって、かかるスキャン順序で左隣接領域をスキャンすることにより、対象区画の動きベクトルとの誤差の少ない第１予測動きベクトル候補が、効率良く求められ得る。

【0133】

一実施形態においては、上隣接領域内に含まれる一以上の区画を右から左方向にスキャンすることにより、当該一以上の区画の動きベクトルから所定の予測動きベクトル候補決定基準を満たす動きベクトルを第２予測動きベクトル候補として決定してもよい。また、所定の予測動きベクトル候補決定基準を満たす動きベクトルが検出されたときに、以後の上隣接領域のスキャンを停止してもよい。本願発明者が多数の動画像に対して行った調査に基づく知見によれば、上隣接領域の区画のうち対象区画の動きベクトルとの誤差の少ない動きベクトルを有する区画は、上隣接領域内において右側に存在する傾向がある。したがって、かかるスキャン順序で上隣接領域をスキャンすることにより、対象区画の動きベクトルとの誤差の少ない第２予測動きベクトル候補が、効率良く求められ得る。

【0134】

一実施形態においては、第１予測動きベクトル候補を決定するために左隣接領域内に含まれる一以上の区画をスキャンする方向を示す第１スキャン方向指示情報を決定し、第２予測動きベクトル候補を決定するために上隣接領域内に含まれる一以上の区画をスキャンする方向を示す第２スキャン方向指示情報を決定し、第１スキャン方向指示情報及び第２スキャン方向指示情報を更に符号化してもよい。この形態においては、左隣接領域内において上下両方向にスキャンが行われ、所定の予測動きベクトル候補決定基準を満たす動きベクトルが選択される。上下両方向において選択された動きベクトルのうち、最適な動きベクトルが第１予測動きベクトル候補とされ、当該第１予測動きベクトル候補が探索されたスキャン方向を示す情報が第１スキャン方向指示情報となる。また、上隣接領域内において左右両方向にスキャンが行われ、所定の予測動きベクトル候補決定基準を満たす動きベクトルが選択される。左右両方向において選択された動きベクトルのうち、最適な動きベクトルが第２予測動きベクトル候補とされ、当該第２予測動きベクトル候補が探索された方向を示す情報が第２スキャン方向指示情報となる。かかる形態によれば、符号化効率を更に向上させ得る第１予測動きベクトル候補及び第２予測動きベクトル候補が決定され得る。

【0135】

一実施形態においては、一以上の予測動きベクトル候補の数が３以下であってもよい。この形態によれば、予測動きベクトル指示情報の符号化データの符号量がより低減され得る。

【0136】

一実施形態においては、対象区画の動きベクトルと最適予測動きベクトルとの間の残差信号を符号化せず、最適予測動きベクトルを対象区画の動きベクトルとして用いてもよい。かかる形態では、動きベクトルの残差信号が符号化されないので、符号化効率が更に向上され得る。

【0137】

本発明の別の一側面は、動きベクトルの予測復号技術に関するものである。

【0138】

本発明の一側面に係る動きベクトルを予測復号する方法は、複数のフレーム画像の時間系列で構成される動画像を復元する動き補償予測に用いられる動きベクトルの予測復号方法であって、（ａ）復号対象のフレーム画像内の対象区画に対して左に位置する左隣接領域に属する一以上の区画の動きベクトルから、所定の予測動きベクトル候補決定基準を満たす一つの第１予測動きベクトル候補を決定するステップと、（ｂ）上記対象区画に対して、上に位置する上隣接領域に属する一以上の区画の動きベクトルから、所定の予測動きベクトル候補決定基準を満たす一つの第２予測動きベクトル候補を決定するステップと、（ｃ）符号化データを復号して、上記対象区画用の最適予測動きベクトルを特定するための予測動きベクトル指示情報を復元するステップと、（ｄ）少なくとも上記第１予測動きベクトル候補と上記第２予測動きベクトル候補を含む一以上の予測動きベクトル候補から、上記予測動きベクトル指示情報により特定される最適予測動きベクトルを選択するステップと、を含んでいる。

【0139】

また、本発明の一側面に係る動きベクトルを予測復号する装置は、複数のフレーム画像の時間系列で構成される動画像を復元する動き補償予測に用いられる動きベクトルを予測復号する装置であって、復号対象のフレーム画像内の対象区画に対して左に位置する左隣接領域に属する一以上の区画の動きベクトルから、所定の予測動きベクトル候補決定基準を満たす一つの第１予測動きベクトル候補を決定する第１予測動きベクトル候補決定手段と、上記対象区画に対して、上に位置する上隣接領域に属する一以上の区画の動きベクトルから、所定の予測動きベクトル候補決定基準を満たす一つの第２予測動きベクトル候補を決定する第２予測動きベクトル候補決定手段と、符号化データを復号して、上記対象区画用の最適予測動きベクトルを特定するための予測動きベクトル指示情報を復元する復号手段と、少なくとも上記第１予測動きベクトル候補と上記第２予測動きベクトル候補を含む一以上の予測動きベクトル候補から、上記予測動きベクトル指示情報により特定される最適予測動きベクトルを選択する最適予測ベクトル決定手段と、を備えている。

【0140】

また、本発明の一側面に係る動きベクトルを予測復号するプログラムは、コンピュータを、複数のフレーム画像の時間系列で構成される動画像を復元する動き補償予測に用いられる動きベクトルを予測復号する装置として動作させるプログラムであって、当該コンピュータを、上述した第１予測動きベクトル候補決定手段、第２予測動きベクトル候補決定手段と、復号手段、及び、最適予測ベクトル決定手段と、として機能させる。

【0141】

上述した本発明の一側面に係る動きベクトルの予測復号技術によれば、予測動きベクトル候補を絞り込んだ後に、対象区画の動きベクトルと予測動きベクトル候補との比較に基づき予測動きベクトルが決定される。したがって、予測動きベクトルの決定に要する演算量が削減され得る。

【0142】

一実施形態においては、対象区画の画像信号の予測信号は、参照画面リスト識別番号及び参照画面番号によって特定されるフレーム番号を有する参照フレームを参照することにより生成され、対象区画用の参照画面リスト識別番号及び／又は参照画面番号と一致する参照画面リスト識別番号及び／又は参照画面番号を有する左隣接領域の区画の動きベクトルから、第１予測動きベクトル候補が決定され、対象区画用の参照画面リスト識別番号及び／又は参照画面番号と一致する参照画面リスト識別番号及び／又は参照画面番号を有する上隣接領域の区画の動きベクトルから、第２予測動きベクトル候補が決定されてもよい。

【0143】

一実施形態においては、予測動きベクトル指示情報の符号化データのビット数は、予測動きベクトル候補の数に応じたビット数であってもよい。例えば、予測動きベクトル指示情報の符号化データのビット数は、予測動きベクトル候補の数に応じた最小数のビット数であってもよい。この形態によれば、予測動きベクトル指示情報の符号化データの符号量が低減され得る。

【0144】

一実施形態においては、左隣接領域が、対象区画の左下の隣接区画を含んでいてもよい。この形態は、左下の隣接区画の動きベクトルを独立した予測動きベクトル候補とせず、左下の隣接区画を左隣接領域に含めて当該左隣接領域から第１予測動きベクトル候補を決定する。これにより、予測動きベクトル候補の数が低減され得る。その結果、予測動きベクトル指示情報の符号化データの符号量が低減され、符号化データから予測動きベクトル指示情報を復元する復号処理の演算量が削減され得る。

【0145】

一実施形態においては、上隣接領域が、対象区画の右上の隣接区画を含んでいてもよい。この形態は、右上の隣接区画の動きベクトルを独立した予測動きベクトル候補とせず、右上の隣接区画を上隣接領域に含めて当該上隣接領域から第２予測動きベクトル候補を決定する。これにより、予測動きベクトル候補の数が低減され得る。その結果、予測動きベクトル指示情報の符号化データの符号量が低減され、符号化データから予測動きベクトル指示情報を復元する復号処理の演算量が削減され得る。

【0146】

一実施形態においては、左隣接領域又は上隣接領域の何れか一方が、対象区画の左上の隣接区画を含んでいてもよい。この形態は、左上の隣接区画の動きベクトルを独立した予測動きベクトル候補とせず、左上の隣接区画を左隣接領域又は上隣接領域に含めて予測動きベクトル候補を決定する。これにより、予測動きベクトル候補の数が低減され得る。その結果、予測動きベクトル指示情報の符号化データの符号量が低減され、符号化データから予測動きベクトル指示情報を復元する復号処理の演算量が削減され得る。

【0147】

一実施形態においては、左隣接領域内に含まれる一以上の区画を下から上方向にスキャンすることにより、当該一以上の区画の動きベクトルから所定の予測動きベクトル候補決定基準を満たす動きベクトルを第１予測動きベクトル候補として決定してもよい。また、所定の予測動きベクトル候補決定基準を満たす動きベクトルが検出されたときに、以後の左隣接領域のスキャンを停止してもよい。かかるスキャン順序で左隣接領域をスキャンすることにより、対象区画の動きベクトルとの誤差の少ない第１予測動きベクトル候補が、効率良く求められ得る。

【0148】

一実施形態においては、上隣接領域内に含まれる一以上の区画を右から左方向にスキャンすることにより、当該一以上の区画の動きベクトルから所定の予測動きベクトル候補決定基準を満たす動きベクトルを第２予測動きベクトル候補として決定してもよい。また、所定の予測動きベクトル候補決定基準を満たす動きベクトルが検出されたときに、以後の上隣接領域のスキャンを停止してもよい。かかるスキャン順序で上隣接領域をスキャンすることにより、対象区画の動きベクトルとの誤差の少ない第２予測動きベクトル候補が、効率良く求められ得る。

【0149】

一実施形態においては、符号化データを復号して、左隣接領域内に含まれる一以上の区画をスキャンする方向を特定するための第１スキャン方向指示情報、及び、上隣接領域内に含まれる一以上の区画をスキャンする方向を特定するための第２スキャン方向指示情報を復元し、第１スキャン方向指示情報によって特定される方向に左隣接領域に含まれる一以上の区画をスキャンして、第１予測動きベクトル候補を決定し、第２スキャン方向指示情報によって特定される方向に上隣接領域に含まれる一以上の区画をスキャンして、第２予測動きベクトル候補を決定してもよい。かかる形態によれば、対象区画の動きベクトルに対する誤差がより少ない第１予測動きベクトル候補及び第２予測動きベクトル候補が決定され得る。

【0150】

一実施形態においては、一以上の予測動きベクトル候補の数が３以下であってもよい。この形態によれば、予測動きベクトル指示情報の符号量がより低減され得る。

【0151】

一実施形態においては、最適予測動きベクトルを対象区画の動きベクトルとして用いてもよい。かかる形態では、動きベクトルの残差信号が符号化されないので、符号化データのデータ量が低減され得る。

【符号の説明】

【0152】

２０…動画像符号化装置、３０…動画像復号装置、２０１…入力器、２０２…動き検出器、２０３…予測動きベクトル候補決定器、２０４…予測動きベクトル決定器、２０５…動きベクトル差分器、２０６…動き補償器、２０７…メモリ、２０８…空間予測器、２０９…予測方法決定器、２１０…減算器、２１１…変換器、２１２…量子化器、２１３…エントロピー符号化器、２１４…逆量子化器、２１５…逆変換器、２１６…加算器、３０１…エントロピー復号器、３０２…予測動きベクトル候補決定器、３０３…予測動きベクトル決定器、３０４…動きベクトル加算器、３０５…動き補償器、３０６…フレームメモリ、３０７…空間予測器、３０８…予測方法決定器、３０９…逆量子化器、３１０…逆直交変換器、３１１…加算器。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】