知財求人 - 知財ポータルサイト「IP Force」
▶ エスゼット ディージェイアイ テクノロジー カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-05
(45)【発行日】2024-01-16
(54)【発明の名称】動画像処理方法および装置
(51)【国際特許分類】
H04N 19/52 20140101AFI20240109BHJP
【ＦＩ】
H04N19/52
【請求項の数】
12
(21)【出願番号】P 2023029970
(22)【出願日】2023-02-28
(62)【分割の表示】P 2021533606の分割
【原出願日】2019-03-13
(65)【公開番号】P2023065555
(43)【公開日】2023-05-12
【審査請求日】2023-02-28
(31)【優先権主張番号】PCT/CN2018/125843
(32)【優先日】2018-12-29
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】513068816
【氏名又は名称】エスゼット ディージェイアイ テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】ＳＺ ＤＪＩ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ
【住所又は居所原語表記】６Ｆ，ＨＫＵＳＴ ＳＺ ＩＥＲ Ｂｌｄｇ．ＮＯ．９ Ｙｕｅｘｉｎｇ １ｓｔ Ｒｄ．Ｈｉ－Ｔｅｃｈ Ｐａｒｋ（Ｓｏｕｔｈ），Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７ Ｃｈｉｎａ
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】ワン ソホン
(72)【発明者】
【氏名】ジョン シャオジェン
(72)【発明者】
【氏名】ワン シャンシェ
(72)【発明者】
【氏名】マ スウェイ
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第２０２０／１１４４２０（ＷＯ，Ａ１）
【文献】国際公開第２０２０／０６０３２９（ＷＯ，Ａ１）
【文献】国際公開第２０２０／０１８２９７（ＷＯ，Ａ１）
【文献】国際公開第２０２０／００３２６６（ＷＯ，Ａ１）
【文献】Li Zhang, et al.，CE4-related: History-based Motion Vector Prediction，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-K0104-v5，11th Meeting: Ljubljana, SI，2018年07月，pp.1-7
【文献】Yi-Wen Chen and Xianglin Wang，CE4-related: Modified History-based MVP to support parallel processing，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0106，12th Meeting: Macao, CN，2018年09月，pp.1-3
【文献】Semih Esenlik, et al.，Non-CE4: Parallel Merge Estimation for VVC，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0216，12th Meeting: Macao, CN，2018年09月，pp.1-7
【文献】Xiaozhong Xu, Xiang Li, and Shan Liu，CE4-related: History based spatial-temporal MV prediction，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0302-v1，12th Meeting: Macao, CN，2018年09月，pp.1-2
【文献】Timofey Solovyev, Jianle Chen, Alexander Karabutov, and Sergey Ikonin，CE4-related: History-based MVP without using the last lookup table entry，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0425-v6，12th Meeting: Macao, CN，2018年10月，pp.1-4
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
履歴動き情報候補リストを取得することであって、前記履歴動き情報候補リストは、現在のフレームの第１の領域に含まれる複数の第１の画像ブロック各々を符号化または復号するために用いられ、前記履歴動き情報候補リストは、前記第１の領域に含まれる画像ブロック以外のすでに符号化または復号された画像ブロックである第２の画像ブロックの動き情報に基づいて取得される、ことと、
前記履歴動き情報候補リストに従って、前記複数の第１の画像ブロック各々を符号化または復号することと、を含み、
前記履歴動き情報候補リストは、履歴動きベクトルに基づいて予測されたＨＭＶＰ候補リストであり、
前記履歴動き情報候補リストは、前記第１の領域における前記複数の第１の画像ブロックに対して予測が実行されている間、変更されない、動画像処理方法。
【請求項2】
前記第１の領域における前記複数の第１の画像ブロックのうちの異なる第１の画像ブロックを符号化または復号するとき、採用する前記履歴動き情報候補リストに含まれる候補履歴動き情報および前記候補履歴動き情報は、前記履歴動き情報候補リストにおける順序が同じである請求項１に記載の方法。
【請求項3】
前記履歴動き情報候補リストを取得することは、前記履歴動き情報候補リストを更新するために、前記現在のフレームの第２の領域に含まれる少なくとも１つの第２の映像ブロックの前記動き情報を用いることを含み、
前記更新された履歴動き情報候補リストは、前記複数の第１の画像ブロックを符号化または復号するために用いられる、請求項１または２に記載の方法。
【請求項4】
前記少なくとも１つの第２の画像ブロックは、最後に符号化または復号された前記第２の領域における画像ブロックを含む、および／または、前記第２の領域における規定された位置における画像ブロックを含む、請求項３に記載の方法。
【請求項5】
前記第２の領域は、前記第１の領域の前に符号化または復号された領域である、請求項３又は４のいずれか一項に記載の方法。
【請求項6】
前記第１の領域における前記複数の第１の画像ブロックは、前記第１の領域を、四分木分割、三分木分割、または二分木分割のいずれかを行うことにより得られる画像ブロックである、請求項１に記載の方法。
【請求項7】
前記履歴動き情報候補リストに従って候補ＨＭＶＰを取得することであって、前記候補ＨＭＶＰは、動き情報候補リストにおける候補である、ことを更に有する請求項１に記載の方法。
【請求項8】
前記第１の領域における前記複数の第１の画像ブロックの符号化／復号が完了した後、前記履歴動き情報候補リストを更新することを更に有する請求項１から７のいずれか一項に記載の方法。
【請求項9】
符号化／復号された前記第１の領域における最後の第１の画像ブロックの動き情報に従って、前記履歴動き情報候補リストを更新することを更に有する請求項８に記載の方法。
【請求項10】
符号化／復号された前記第１の領域における前記最後の第１の画像ブロックの右下隅は、前記第１の領域の右下隅と一致する、請求項９に記載の方法。
【請求項11】
命令を格納するために構成されたメモリと、前記命令に格納された命令を実行するために構成されたプロセッサとを有する動画像処理装置であって、
前記メモリに格納された前記命令の実行が行われると、前記プロセッサに、
履歴動き情報候補リストを取得することであって、前記履歴動き情報候補リストは、現在のフレームの第１の領域に含まれる複数の第１の画像ブロック各々を符号化または復号するために用いられ、前記履歴動き情報候補リストは、前記第１の領域に含まれる画像ブロック以外のすでに符号化または復号された画像ブロックである第２の画像ブロックの動き情報に基づいて取得される、ことと、
前記履歴動き情報候補リストに従って、前記複数の第１の画像ブロック各々を符号化または復号することと、を実行させ、
前記履歴動き情報候補リストは、履歴動きベクトルに基づいて予測されたＨＭＶＰ候補リストであり、
前記履歴動き情報候補リストは、前記第１の領域における前記複数の第１の画像ブロックに対して予測が実行されている間、変更されない、動画像処理装置。
【請求項12】
動き情報の１または複数のインデックスを含むビットストリームを取得することと、
履歴動き情報候補リストを取得することであって、前記履歴動き情報候補リストは、現在のフレームの第１の領域に含まれる複数の第１の画像ブロック各々を復号するために用いられ、前記履歴動き情報候補リストは、前記第１の領域に含まれる画像ブロック以外のすでに復号された画像ブロックである第２の画像ブロックの動き情報に基づいて取得される、ことと、
前記履歴動き情報候補リストに従って、前記複数の第１の画像ブロック各々を復号することと、を含み、
前記履歴動き情報候補リストは、履歴動きベクトルに基づいて予測されたＨＭＶＰ候補リストであり、
前記履歴動き情報候補リストは、前記第１の領域における前記複数の第１の画像ブロックに対して予測が実行されている間、変更されない、動画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
著作権に関する声明
本特許書類で開示されている内容には著作権による保護の対象となる事項が含まれる。この著作権は、著作権者が所有する。著作権者は、当該特許書類や当該特許書類の開示の何人による複製に対しても、特許庁の公式ファイルまたはレコードに表示される通りであれば異議を唱えない。
本特許書類で開示されている内容には著作権による保護の対象となる事項が含まれる。この著作権は、著作権者が所有する。著作権者は、当該特許書類や当該特許書類の開示の何人による複製に対しても、特許庁の公式ファイルまたはレコードに表示される通りであれば異議を唱えない。
【0002】
本出願は、画像処理分野に関し、さらに具体的には、動画像処理方法および装置に関する。
【背景技術】
【0003】
予測は、主流な動画像符号化の枠組みの重要な構成部分であり、予測には、フレーム内予測とフレーム間予測が含まれる。フレーム間予測モードは、高度動きベクトル予測（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ，ＡＭＶＰ）モードとマージ（Ｍｅｒｇｅ）モードを含んでもよい。Ｍｅｒｇｅモードにおいては、動きベクトルの予測値（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ，ＭＶＰ）候補リストにおいてＭＶＰを確定し、直接このＭＶＰをＭＶとして確定することができ、ストリームにおいてＭＶＰおよび参照フレームインデックスを復号端に送信し、復号端の復号に用いることができる。
【0004】
上記ＭＶＰ候補リストを構築する際には、履歴に基づく動きベクトル予測（Ｈｉｓｔｏｒｙ－ｂａｓｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ，ＨＭＶＰ）候補リストから候補ＨＭＶＰを選択し、ＭＶＰ候補リストにおける候補ＭＶＰとすることができる。
【0005】
ここで、ＨＭＶＰ候補リストは、すでに符号化または復号されたブロックの動き情報に基づき生成されるものである。例えば、すでに符号化または復号が完了したブロックの符号化または復号である場合、このすでに符号化または復号したブロックの動き情報を用いて次の符号化または復号するブロックのＨＭＶＰリストを更新することができる。ＨＭＶＰリストは、さらに改善の余地がある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本願の実施例は、動画像処理方法および装置を提供し、複数の画像ブロック間の依存性を克服し、複数の画像ブロックが独立して符号化または復号できるようにする。
【課題を解決するための手段】
【0007】
第１の態様において、現在のフレームにおける第１の領域に含まれる複数の第１の画像ブロックにおける第１の画像ブロック各々を符号化または復号するために用いられる、前記第１の領域に含まれる画像ブロック以外のすでに符号化または復号された画像ブロックである第２の画像ブロックの動き情報に基づき取得される履歴動き情報候補リストを取得し、前記履歴動き情報候補リストに基づき、前記第１の画像ブロック各々を符号化または復号することを含む動画像処理方法を提供する。
【0008】
第２の態様において、履歴動き情報候補リストを用いて、現在のフレームの第２の領域における少なくとも１つの第２の画像ブロックを符号化または復号することと、前記第２の領域における少なくとも一部の第２の画像ブロックを符号化または復号した後の動き情報に基づき、前記履歴動き情報候補リストを更新し、更新後の前記履歴動き情報候補リストを得ることと、更新後の前記履歴動き情報候補リストを用いて、前記現在のフレームの第１の領域における複数の第１の画像ブロックを符号化または復号することと、を含む動画像処理方法を提供する。
【0009】
第３の態様において、現在のフレームにおける第１の領域に含まれる複数の第１の画像ブロックにおける第１の画像ブロック各々を符号化または復号するために用いられる、前記第１の領域に含まれる画像ブロック以外のすでに符号化または復号された画像ブロックである第２の画像ブロックの動き情報に基づき取得される履歴動き情報候補リストを取得するための取得ユニットと、前記履歴動き情報候補リストに基づき、前記第１の画像ブロック各々を符号化または復号するための符号化または復号ユニットと、を含む動画像処理装置を提供する。
【0010】
第４の態様において、履歴動き情報候補リストを用いて、現在のフレームの第２の領域における少なくとも１つの第２の画像ブロックを符号化または復号するための符号化または復号ユニットと、前記第２の領域における少なくとも一部の第２の画像ブロックを符号化または復号した後の動き情報に基づき、前記履歴動き情報候補リストを更新し、更新後の前記履歴動き情報候補リストを得るための更新ユニットと、を含み、前記符号化または復号ユニットは、さらに、更新後の前記履歴動き情報候補リストを用いて、前記現在のフレームの第１の領域における複数の第１の画像ブロックを符号化または復号するために用いられる動画像処理装置を提供する。
【0011】
第５の態様において、コンピュータが実行可能なコマンドを記憶するためのメモリと、このメモリにアクセスし、このコンピュータが実行可能なコマンドを実行し、上記第１または第２の態様の方法における操作を行うプロセッサと、を含むコンピュータシステムを提供する。
【0012】
第６の態様において、上記第１または第２の態様の方法を実行するように指示するために用いることができるプログラムコードが記憶されたコンピュータ記憶媒体を提供する。
【0013】
第７の態様において、上記第１または第２の態様の方法を実行するように指示するために用いることができるプログラムコードを含むコンピュータプログラム製品を提供する。
【0014】
本願の実施例において、すでに符号化または復号された第２の画像ブロックの動き情報を用いて履歴動き情報候補リストを構築し、構築された履歴動き情報候補リストを用いて第１の領域の複数の第１の画像ブロックを符号化または復号することができ、この複数の第１の画像ブロックの依存性を克服し、第１の領域の複数の第１の画像ブロックが独立した符号化または復号を保つことができるようにすることができる。
【0015】
本願の実施例における技術手法をより明確に説明するために、次に実施例または従来技術の記述における用いることが必要な図面について簡単に説明する。次の記述における図面は、本願の実施例の一部にすぎず、当業者にとって、創造的な労働を行わない前提の下で、これらの図面に基づきその他の図面をさらに得ることができることは自明のことである。
【図面の簡単な説明】
【0016】
【図1】本願の実施例による技術手法の構成図である。
【図2】本願の実施例による動画像処理方法の模式的フローチャートである。
【図3】本願の実施例による動画像処理方法の模式的フローチャートである。
【図4】本願の実施例によるＭＥＲの構成図である。
【図5】本願の実施例による動画像処理方法の模式図である。
【図6】本願の実施例によるＨＭＶＰ更新の模式図である。
【図7】本願の実施例による画像ブロックの隣接するブロックの模式図である。
【図8】本願の実施例による画像ブロックの空間領域候補の模式図である。
【図9】本願の実施例による動画像処理装置の模式的ブロック図である。
【図10】本願の実施例による動画像処理装置の模式的ブロック図である。
【図11】本願の実施例によるコンピュータシステムの模式的ブロック図である。
【発明を実施するための形態】
【0017】
以下、本願の実施例における図面と合わせ、本願の実施例における技術手法について記述するが、記述する実施例は、本願の一部の実施例であり、すべての実施例ではないことは明らかである。本願における実施例に基づき、当業者が創造的労働を行わない前提の下で得たその他すべての実施例は、いずれも本願の保護する範囲に属す。
【0018】
別段の説明がある場合を除き、本願の実施例で使用されるすべての技術用語および科学用語は、本願の技術分野の当業者が通常理解する意味と同じである。本願で使用される用語は、具体的な実施例を記述する目的のためのものにすぎず、本願の範囲を限定することを意図したものではない。
【0019】
図１は、本願の実施例を用いた技術手法の構成図である。
【0020】
図１に示すように、システム１００は、処理すべきデータ１０２を受信し、処理すべきデータ１０２を処理し、処理済みのデータ１０８を生成することができる。例えば、システム１００は、符号化すべきデータを受信し、符号化すべきデータを符号化して符号化済みのデータを生成するか、または、システム１００は、復号すべきデータを受信し、復号すべきデータを復号し、復号済のデータを生成することができる。いくつかの実施例において、システム１００における部品は、１つまたは複数のプロセッサにより実現することができ、このプロセッサは、計算装置におけるプロセッサであっても、移動装置（例えば無人機）におけるプロセッサであってもよい。このプロセッサは、いかなる種類のプロセッサであってもよく、本発明の実施例は、これについて限定しない。いくつかの可能性のある設計において、このプロセッサは、エンコーダ、デコーダまたはコーデック等を含んでもよい。システム１００において、さらに１つまたは複数のメモリを含んでもよい。このメモリは、コマンドおよびデータを記憶するために用いることができ、例えば、本発明の実施例の技術手法のコンピュータが実行可能なコマンド、処理すべきデータ１０２、処理済みのデータ１０８等を実現する。このメモリは、いかなる種類のメモリであってもよく、本発明の実施例は、これについて限定しない。
【0021】
符号化すべきデータは、テキスト、画像、図形オブジェクト、動画シーケンス、音声、動画像、または符号化が必要なその他のあらゆるデータを含んでもよい。いくつかの状況において、符号化すべきデータは、センサからのセンシングデータを含んでもよく、このセンサは、視覚センサ（例えば、カメラ、赤外線センサ）、マイクロフォン、近接センサ（例えば、超音波センサ、レーダー）、位置センサ、温度センサ、タッチセンサ等であってもよい。いくつかの状況において、符号化すべきデータは、ユーザからの情報、例えば、生体情報を含んでもよく、この生体情報は、顔面の特徴，指紋スキャン、網膜スキャン、声紋、ＤＮＡサンプリング等を含んでもよい。
【0022】
ここで、各々の画像を符号化する際に、画像を最初に複数の画像ブロックに分割することができる。いくつかの実施例において、画像を複数の画像ブロックに分割することができ、前記画像ブロックは、いくつかの符号化規格において、マクロブロック、最大符号化ユニット（ＬＣＵ，Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）または符号化ツリーユニット（ＣＴＵ，Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）と呼ばれている。画像ブロックは、重なっている部分を有してもまったく有さなくてもよい。この画像は、いかなる数の画像ブロックに分割してもよい。例を挙げれば、この画像は、１つのｍ×ｎの画像ブロック行列に分割することができる。画像ブロックは、矩形形状、正方形形状、円形形状またはその他のいかなる形状を有してもよい。画像ブロックは、ｐ×ｑ画素など、いかなる寸法を有してもよい。現在の動画像符号化規格では、まずこの画像を複数の小ブロックに分割して、解像度が異なる画像を符号化することができる。Ｈ．２６４については、画像ブロックはマクロブロックと呼ばれ、その大きさは１６×１６画素とすることができ、ＨＥＶＣについては、画像ブロックは最大符号化ユニットと呼ばれ、その大きさは６４×６４とすることができる。各々の画像ブロックが、同じ寸法および形状の少なくとも１つを有してもよい。その代わりに、２つ以上の画像ブロックが異なる寸法および形状の少なくとも１つを有してもよい。いくつかの実施例において、１つの画像ブロックは、１つのマクロブロックまたは最大符号化ユニットではなく、１つのマクロブロックまたは最大符号化ユニットを含む部分、または少なくとも２つの完全なマクロブロック（または最大符号化ユニット）、または少なくとも１つの完全なマクロブロック（または最大符号化ユニット）と１つのマクロブロック（または最大符号化ユニット）を含む部分、または少なくとも２つの完全なマクロブロック（または最大符号化ユニット）といくつかのマクロブロック（または最大符号化ユニット）を含む部分であってもよい。このように、画像が複数の画像ブロックに分割された後、それぞれ画像データにおけるこれらの画像ブロックを符号化することができる。
【0023】
符号化の過程において、冗長性を除去するために、画像に対して予測を行うことができる。動画像における異なる画像は、異なる予測方式を採用することができる。画像で採用する予測方式に基づき、画像をフレーム内予測画像とフレーム間予測画像に区別することができ、フレーム間予測画像は、前方向予測画像と双方向予測画像を含む。Ｉ画像は、フレーム内予測画像であり、キーフレームともいう。Ｐ画像は、前方向予測画像であり、採用する前にすでに符号化された１つのＰ画像またはＩ画像を参照画像とする。Ｂ画像は、双方向予測画像であり、前後の画像を採用して参照画像とする。一実施形態は、符号化端で複数の画像を符号化した後、１つ１つの画像群（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅ，ＧＯＰ）を生成するものであり、このＧＯＰは、１枚のＩ画像と、複数枚のＢ画像（または双方向予測画像）およびＰ画像（または前方向予測画像）の少なくとも１つとからなる画像群である。復号端は、再生時に１つ１つのＧＯＰを読み取り、復号後に画面を読み取ってからレンダリングして表示する。
【0024】
ここで、フレーム間予測を行う際に、各々の画像ブロックのために、参照フレームにおいて（一般には、時間領域付近のすでに再構築されたフレーム）最も相似したブロックを探して現在の画像ブロックの予測ブロックとする。現在のブロックと予測ブロックとの間の相対的な移動が、動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ，ＭＶ）である。
【0025】
動画像符号化規格におけるフレーム間予測モードは、ＡＭＶＰモードとＭｅｒｇｅモードを含んでもよい。
【0026】
ＡＭＶＰモードについては、先にＭＶＰを確定することができ、ここで、ＭＶＰを得るために、先に１つのＭＶＰ候補リスト（ＡＭＶＰ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を構築することができ、ＭＶＰ候補リストには、少なくとも１つの候補ＭＶＰを含んでもよく、各々の候補ＭＶＰは、対応して１つのインデックスを有してもよい。ＭＶＰを得た後、ＭＶＰに基づき動き予測の起点を確定することができ、起点付近において動き探索を行い、探索が完了した後、最も優れたＭＶを得る。ＭＶが参照ブロックの参照画像における位置を確定し、参照ブロックから現在のブロックを減じて残差ブロックを得て、ＭＶからＭＶＰを減じて動きベクトル差分（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ，ＭＶＤ）を得る。このＭＶＰが対応するインデックスおよびＭＶＤは、ストリームによって復号端に送信される。
【0027】
Ｍｅｒｇｅモードについては、先にＭＶＰを確定し、直接ＭＶＰをＭＶとして確定することができる。ここで、ＭＶＰを得るために、先に１つのＭＶＰ候補リスト（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を構築することができ、ＭＶＰ候補リストには、少なくとも１つの候補ＭＶＰを含んでもよく、各々の候補ＭＶＰは、対応して１つのインデックスを有してもよい。符号化端は、ＭＶＰ候補リストからＭＶＰを選択した後、このＭＶＰインデックスをストリームの中に書き込むことができ、復号端は、このインデックスに基づき、ＭＶＰ候補リストからこのインデックスに対応するＭＶＰを探し出し、画像ブロックの復号を実現することができる。
【0028】
Ｍｅｒｇｅモードをより明確に理解するため、次に、Ｍｅｒｇｅモードを採用して符号化を行う操作の流れについて説明する。
【0029】
ステップ１、ＭＶＰ候補リストを取得する。
【0030】
ステップ２、ＭＶＰ候補リストから最も優れたＭＶＰを１つ選び出すとともに、このＭＶＰのＭＶＰ候補リストにおけるインデックスを得る。
【0031】
ステップ３、このＭＶＰを現在のブロックのＭＶとする。
【0032】
ステップ４、ＭＶに基づき参照ブロックの参照画像における位置を確定する。
【0033】
ステップ５、参照ブロックから現在のブロックを減じ残差ブロックを得る。
【0034】
ステップ６、残差データおよびＭＶＰのインデックスをデコーダに送信する。
【0035】
以下の流れは、Ｍｅｒｇｅモードの１つの具体的な実施形態にすぎないと理解すべきである。Ｍｅｒｇｅモードは、さらに他の実施形態を有することができる。
【0036】
例えば、Ｓｋｉｐモードは、Ｍｅｒｇｅモードの１つの特例である。ＭｅｒｇｅモードによりＭＶを得た後、現在のブロックと参照ブロックが基本的に同じであるとエンコーダが確定した場合、残差データを送信する必要がなく、ＭＶのインデックスを送信するだけでよく、さらに１つのマーカーを送信してもよく、このマーカーは、現在のブロックが直接参照ブロックから得られることを表す。
【0037】
すなわち、Ｍｅｒｇｅモードの特徴は、ＭＶ＝ＭＶＰ（ＭＶＤ＝０）であり、Ｓｋｉｐモードは、再構築値ｒｅｃ＝予測値ｐｒｅｄ（残差分ｒｅｓｉ＝０）という特徴がさらに１つ多くなっている。
【0038】
上記ＡＭＶＰモードおよびＭｅｒｇｅモードの少なくとも１つにおけるＭＶＰ候補リスト（以下、候補リストまたは動き情報候補リストともいう）を構築する際に、ＨＭＶＰ候補リストから候補ＨＭＶＰを選択してＭＶＰ候補リストにおける候補ＭＶＰとすることができる。ＨＭＶＰ候補リストの更新方法には複数種あるが、以下、ＨＭＶＰ候補リストの２種類の更新方法について説明する。
【0039】
上述したＨＭＶＰについては、すでに符号化された１つのブロックの符号化を完了したときに、このすでに符号化された１つのブロックの動き情報を用いて、次の符号化すべきブロックのＨＭＶＰリストを更新するため、画像ブロック間の依存性が比較的強い。
【0040】
ハードウェアにおいて実現する際には、スループットを増加させるため、隣接するブロックの符号化（例えば動き予測等）プロセスを並行して行うことができるが、ＨＭＶＰ候補リストを構築する際には、このような依存性のため、並行処理を行うことができなくなる。
【0041】
このため、本願の実施例で提供する以下の手法では、画像ブロック間の依存性を克服することができる。
【0042】
本願の実施例の手法は、上述したＭｅｒｇｅモードまたはＡＭＶＰモードを用いたものに限定されず、他の符号化復号モードを用いてもよく、すなわち、符号化復号の過程において履歴動き情報候補リスト（例えば、ＨＭＶＰ候補リスト）を採用したあらゆる符号化復号モードを適用することができることを理解すべきである。
【0043】
本願の実施例の手法は、画像ブロック間の依存性を克服することができ、これにより、画像ブロックを並行処理する場面に用いることができるが、本願は、並行処理以外の場面にも用いることができ、すなわち、画像ブロック間の依存性を克服することは、他の用途にも用いることができると理解すべきである。
【0044】
図２は、本願の実施例による動画像処理方法２００の模式的フローチャートである。この方法２００は、以下の内容のうちの少なくとも一部の内容を含む。ここで、以下の方法２００は、符号化端に用いることも、復号端に用いることもできる。
【0045】
２１０において、現在のフレームにおける第１の領域に含まれる複数の第１の画像ブロックにおける第１の画像ブロック各々を符号化または復号するために用いられる、前記第１の領域に含まれる画像ブロック以外のすでに符号化または復号された画像ブロックである第２の画像ブロックの動き情報に基づき取得される履歴動き情報候補リストを取得する。
【0046】
２２０において、前記履歴動き情報候補リストに基づき、前記第１の画像ブロック各々を符号化または復号する。
【0047】
図３は、本願の実施例による動画像処理方法３００の模式的フローチャートである。この方法３００は、以下の内容のうちの少なくとも一部の内容を含む。ここで、以下の方法３００は、符号化端に用いることも、復号端に用いることもできる。
【0048】
３１０において、履歴動き情報候補リストを用いて、現在のフレームの第２の領域における少なくとも１つの第２の画像ブロックを符号化または復号する。
【0049】
３２０において、前記第２の領域における少なくとも一部の第２の画像ブロックを符号化または復号した後の動き情報に基づき、前記履歴動き情報候補リストを更新し、更新後の前記履歴動き情報候補リストを得る。
【0050】
３３０において、更新後の前記履歴動き情報候補リストを用いて、前記現在のフレームの第１の領域における複数の第１の画像ブロックを符号化または復号する。
【0051】
以上の方法２００または３００において、すでに符号化または復号された第２の画像ブロックの動き情報を用いて履歴動き情報候補リストを構築し、構築された履歴動き情報候補リストを用いて第１の領域の複数の第１の画像ブロックを符号化または復号することができ、この複数の第１の画像ブロック間の相互依存性を克服し、第１の領域の複数の第１の画像ブロックが独立した符号化または復号を保つことができるようにすることができる。
【0052】
本願をより明確に理解するため、次に本願の実施例の具体的な実施形態について説明する。以下の説明は、以上の方法２００および３００に適用することができると理解すべきである。
【0053】
本願の実施例における履歴動き情報候補リストは、少なくとも１つの候補履歴動き情報を含んでもよく、この候補履歴動き情報は、動き情報リストを構築するために選択することができ、これにより、符号化端または復号端は、この動き情報リストから現在の画像ブロックの動き情報を選択することができる。ここで、候補履歴動き情報は、すでに符号化または復号された画像ブロックの動き情報に基づき取得されるものである。
【0054】
選択可能に、本願の実施例における動き情報は、動きベクトル、参照フレームインデックス値、動きベクトル差、動きベクトル予測値のうちの１つまたは複数の組み合わせを表すことができる。
【0055】
本願の実施例における履歴動き情報候補リストは、ＨＭＶＰ候補リストであってもよく、このＨＭＶＰ候補リストは、選択可能に、少なくとも１つの候補ＭＶＰを含んでもよい。
【0056】
手法１
いくつかの例において、本願の実施例における領域（例えば、第１の領域または第２の領域）は、動き予測領域（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ Ｒｅｇｉｏｎ，ＭＥＲ）であってもよい。ＭＥＲは、矩形領域であっても、非矩形領域であってもよく、例えば、複数の正方形や長方形からなる非矩形領域であってもよい。
いくつかの例において、本願の実施例における領域（例えば、第１の領域または第２の領域）は、動き予測領域（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ Ｒｅｇｉｏｎ，ＭＥＲ）であってもよい。ＭＥＲは、矩形領域であっても、非矩形領域であってもよく、例えば、複数の正方形や長方形からなる非矩形領域であってもよい。
【0057】
各々の領域内の画像ブロックの符号化プロセスは、並行処理が可能である。
【0058】
本願の実施例における各領域の大きさは、同じであっても、異なっていてもよい。領域は、正方形、長方形、菱形、三角形、台形または円形等とすることができる。
【0059】
本願の実施例において、１つの領域が１つのＣＴＵのみに属していてもよく、すなわち、領域は、ＣＴＵを跨いでいなくてもよく、１つのＣＴＵは、１つまたは複数の領域を含んでもよい。当然ながら、１つの領域は、１つまたは複数のＣＴＵを含んでも、整数個以外のＣＴＵを含んでもよく、すなわち、あるＣＴＵが複数の領域に属していてもよい。
【0060】
本願の実施例において、各々の領域は、１つまたは複数の画像ブロックを含んでもよく、各画像ブロックの大きさは、同じであっても、異なっていてもよい。各領域に含まれる画像ブロックの数は、同じであっても、異なっていてもよい。各領域の画素は、重なっている部分が存在していなくてもよい。
【0061】
本願の実施例における画像ブロックは、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ，ＣＵ）であってもよく、当然ながら、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ，ＰＵ）であってもよく、本願の実施例ではこれについて具体的に限定しない。
【0062】
例えば、図４に示す４つのＭＥＲ、すなわち、ＭＥＲ１、ＭＥＲ２、ＭＥＲ３およびＭＥＲ４のように、この４つのＭＥＲの大きさは同じであってもよく、各ＭＥＲに含まれる画像ブロックの数は異なっていてもよく、ＭＥＲ１は、ＣＵ０、ＣＵ１、ＣＵ２およびＣＵ３の計４つのＣＵを含み、ＭＥＲ２は、ＣＵ４、ＣＵ５、ＣＵ６、ＣＵ７およびＣＵ８の計５つのＣＵを含み、ＭＥＲ３は、ＣＵ９を含み、ＭＥＲ４は、ＣＵ１０、ＣＵ１１およびＣＵ１２を含み、各ＣＵの大きさは、完全に同じでなくてもよい。
【0063】
選択可能に、本願の実施例において、図５に示すように、前の領域（第２の領域）のすでに符号化または復号された画像ブロックの動き情報を用いて、履歴動き情報候補リストを更新し、更新された履歴動き情報候補リストを用いて、現在の領域（第１の領域）の画像ブロックを符号化または復号することができる。さらに、現在の領域のすでに符号化または復号された画像ブロックの動き情報を用いて、履歴動き情報候補リストを再度更新し、次の領域の画像ブロックの符号化または復号に用いることができる。
【0064】
選択可能に、本願の実施例において、前記第１の領域に対し、異なる前記第１の画像ブロックを符号化または復号するとき、採用する前記履歴動き情報候補リストに含まれる候補履歴動き情報および前記候補履歴動き情報は、前記履歴動き情報候補リストにおける順序が同じである。
【0065】
領域をＭＥＲとする例では、現在のＭＥＲにおけるすべての画像ブロックの符号化または復号が完了した後、次のＭＥＲにおけるＣＵの符号化または復号に用いる履歴動き情報候補リストが、現在のＭＥＲで用いる履歴動き情報候補リストと異なるものであることを保証するため、現在のＭＥＲにおける画像ブロックの動き情報を用いて、履歴動き情報候補リストを更新することができ、次のＭＥＲにおけるＣＵを符号化または復号する際に、更新後の履歴動き情報候補リストを用いて構築動き情報リストを得る。
【0066】
例えば、図４に示すように、ＭＥＲ１におけるすべての画像ブロック（ＣＵ０～ＣＵ３）の符号化または復号が完了した後、ＭＥＲ２における画像ブロックを符号化または復号する前に、ＣＵ０～ＣＵ３の動き情報を用いて履歴動き情報候補リストを更新することができ、履歴動き情報候補リストの更新が完了した後、ＭＥＲ２におけるすべての画像ブロック（ＣＵ４～ＣＵ８）を符号化または復号する過程において、用いる履歴動き情報候補リストは再び更新せず、いずれも同じ履歴動き情報候補リストを用いる。ＭＥＲ３におけるすべての画像ブロック（ＣＵ９）の符号化または復号が完了した後、ＭＥＲ４における画像ブロックを符号化または復号する前に、ＣＵ９の動き情報を用いて履歴動き情報候補リストを更新する必要があり、履歴動き情報候補リストの更新が完了した後、ＭＥＲ４におけるすべての画像ブロック（ＣＵ１０～ＣＵ１２）を符号化または復号する過程において、用いる履歴動き情報候補リストは再び更新せず、いずれも同じ履歴動き情報候補リストを用いる。
【0067】
選択可能に、本願の実施例において、履歴動き情報候補リストを用いて動き情報リストを構築するとき、先入れ先出しの原則を採用してもよく、すなわち、先に追加された履歴動き情報が、先に選択され動き情報リストの構築に用いられる。
【0068】
具体的には、第１の動き情報（第２の領域のすでに符号化または復号された画像ブロックの動き情報に基づき得られたもの）を履歴動き情報候補リストの上位に加える。ここで、上位とは、履歴動き情報候補リストにおいて最も先に選択され動き情報リストの構築に用いられる位置をいい、これにより、先に履歴動き情報候補リストに加えられた履歴動き情報を、優先的に選択して動き情報リストの構築に用いることができる。
【0069】
選択可能に、本願の実施例において、履歴動き情報候補リストに含まれる候補履歴動き情報の数は、所定のものであってもよく、すなわち、履歴動き情報候補リストの大きさが固定であり、例えば、履歴動き情報候補リストに含まれる候補履歴動き情報の数を６に固定してもよい。
【0070】
このようにして、すでに符号化または復号された画像ブロックの動き情報を履歴動き情報候補リストに加え、履歴動き情報候補リストに含まれる候補履歴動き情報の数を増加させることにより、同時に履歴動き情報候補リストから同じ数の候補履歴動き情報を削除することができる。
【0071】
ここで、履歴動き情報候補リストから候補履歴動き情報を削除するとき、削除される候補履歴動き情報は、履歴動き情報候補リストにおける下位にある候補履歴動き情報であってもよい。ここで、下位にある候補履歴動き情報とは、最後に選択され動き情報リストの構築に用いられる候補履歴動き情報をいう。
【0072】
または、他の方式を採用して履歴動き情報候補リストから候補履歴動き情報を削除してもよい。
【0073】
例えば、履歴動き情報候補リストに追加された候補履歴動き情報が履歴動き情報候補リストにすでに存在している候補履歴動き情報と同じである場合、この同じ候補履歴動き情報を削除することができる。ここで、同じ候補履歴動き情報の履歴動き情報候補リストにおける位置を移動させ、履歴動き情報候補リストの上位に移動させると理解することもできる。
【0074】
例えば、図６に示すように、更新前のＨＭＶＰ候補リストは、Ｌ個の候補履歴動き情報を含み、追加が必要な候補履歴動き情報はＨＭＶＰ2であり、ＨＭＶＰ候補リストをチェックし、更新前のＨＭＶＰ候補リストに同じＨＭＶＰ2が存在していることがわかった。このとき、このＨＭＶＰ2をＨＭＶＰ候補リストの上位に移動させ、それに応じて他の候補履歴動き情報の位置を調整することができる。または、図６は、更新前のＨＭＶＰ候補リストにＨＭＶＰ2を加え、更新前のＨＭＶＰ候補リストにおけるＨＭＶＰ2を削除すると理解することもできる。
【0075】
上述した下位における候補履歴動き情報を削除する操作と、追加した候補履歴動き情報と同じ候補履歴動き情報を削除する操作は、同時に存在することができることを理解すべきである。
【0076】
例えば、加える必要がある候補履歴動き情報が２つであり、一方の候補履歴動き情報が更新前のリストにおけるある候補履歴動き情報と同じであり、他方の候補履歴動き情報は更新前のリストにおいて同じ候補履歴動き情報が存在していない場合、リストにおいてこの同じ候補履歴動き情報を削除したり、下位にある候補履歴動き情報を削除したりすることによって、追加される候補履歴動き情報の数が削除される候補履歴動き情報の数と同じになるようにすることができる。
【0077】
選択可能に、本願の実施例において、毎回の履歴動き情報候補リストを更新する過程において、履歴動き情報候補リストに追加される候補履歴動き情報の数および削除される候補履歴動き情報の数のうち少なくとも１つは、所定の値よりも小さくてもよく、この所定の値は、履歴動き情報候補リストに含まれることが許される候補履歴動き情報の数以下とすることができる。
【0078】
選択可能に、本願の実施例において、第２の領域のすでに符号化または復号された画像ブロックの動き情報のすべてを履歴動き情報候補リストの更新に用いても、すでに符号化または復号された画像ブロックの動き情報の一部を履歴動き情報候補リストの更新に用いてもよい。
【0079】
選択可能に、本願の実施例において、履歴動き情報候補リストを更新するために用いられる第２の画像ブロックは、前記第２の領域において最後に符号化または復号された画像ブロックであってもよいか、前記第２の領域における指定位置の画像ブロックを含むかの少なくとも１つである。
【0080】
ここで、前記第２の領域における指定位置の画像ブロックは、
前記第２の領域の左上隅、前記第２の領域の右上隅、前記第２の領域の左下隅、前記第２の領域の右下隅、前記第２の領域の中心点の少なくとも１つの位置にある画像ブロックを含む。
前記第２の領域の左上隅、前記第２の領域の右上隅、前記第２の領域の左下隅、前記第２の領域の右下隅、前記第２の領域の中心点の少なくとも１つの位置にある画像ブロックを含む。
【0081】
選択可能に、本願の実施例において、第２の領域における履歴動き情報候補リストを更新するために用いることができる第２の画像ブロックは、各第２の画像ブロックの位置座標および符号化順序のうち少なくとも１つに基づき選択されるものとすることができる。
【0082】
ここで、前記第２の領域における右側の画像ブロックの優先レベルが前記第２の領域における左側の画像ブロックの優先レベルよりも高いか、前記第２の領域における下側の画像ブロックの優先レベルが前記第２の領域における上側の画像ブロックの優先レベルよりも高いかの少なくとも１つである。ここで、上述した下側および上側は、対向する位置であってもよく、必ずしも真上または真下の位置ではない。または、先に符号化された画像ブロックの動き情報の優先レベルは、後から符号化された画像ブロックの優先レベルよりも高い。
【0083】
例えば、図４に示すように、ＭＥＲ２を現在の領域（すなわち第１の領域）とする場合、ＭＥＲ１のＣＵ１およびＣＵ３の優先レベルは、ＣＵ０およびＣＵ２の優先レベルよりも高く、ＣＵ３の優先レベルはＣＵ１の優先レベルよりも高い。
【0084】
本願の実施例において、第２の領域における各第２の画像ブロックの優先レベルは、第２の画像ブロックの位置座標および符号化順序の少なくとも１つに基づき定められる以外に、他の要素に基づき定めることもでき、本願の実施例は、これについて具体的に限定しないことを理解すべきである。
【0085】
選択可能に、本願の実施例における一実施形態において、毎回の更新を必要とする履歴動き情報の数に基づき、第２の領域からすでに符号化または復号された画像ブロックを選択し、選択されたすでに符号化または復号された画像ブロックの動き情報を履歴動き情報候補リストの更新に用いることができる。ここで、更新を必要とする履歴動き情報の数は、選択されたすでに符号化または復号された画像ブロックの数と等しくてもよい。
【0086】
例えば、履歴動き情報候補リストに対して２つの候補履歴動き情報を更新する必要がある場合、第２の領域からすでに符号化または復号された画像ブロックを２つ選択し、履歴動き情報候補リストにこの選択された２つのすでに符号化または復号された画像ブロックの動き情報を追加し、２つの候補履歴動き情報を削除することができる。
【0087】
選択可能に、本願の実施例の別の実施形態において、選択されたすでに符号化または復号された画像ブロックの数は、更新を必要とする履歴動き情報の数よりも大きくてもよい。このとき、選択されたすでに符号化または復号された画像ブロックの動き情報のすべてまたは一部に対して重み付き処理を行い、用いることが可能な履歴動き情報の数を、更新を必要とする候補履歴動き情報の数と等しくすることができる。
【0088】
例えば、履歴動き情報候補リストに対して更新する必要がある履歴動き情報の数が１つであり、選択されたすでに符号化または復号された画像ブロックの数が３つである場合、この３つのすでに符号化または復号された画像ブロックの動き情報に対して重み付き処理を行い、１つの候補履歴動き情報を得て、この１つの候補履歴動き情報を履歴動き情報候補リストに加え、この履歴動き情報候補リストから候補履歴動き情報を１つ削除することができる。
【0089】
例えば、履歴動き情報候補リストを更新する必要がある履歴動き情報の数が２つであり、選択されたすでに符号化または復号された画像ブロックの数が３つである場合、そのうちの２つのすでに符号化または復号された画像ブロックの動き情報に対して重み付き処理を行い、１つの候補履歴動き情報を得て、重み付き処理済みのこの１つの候補履歴動き情報および未処理の１つの候補履歴動き情報を履歴動き情報候補リストに加え、この履歴動き情報候補リストから候補履歴動き情報を２つ削除することができる。
【0090】
ここで、複数のすでに符号化または復号された画像ブロックの動き情報に対して重み付き処理を行うとき、平均処理を行っても、平均処理を行わなくてもよい。
【0091】
ここで、各動き情報の重み付きは、各すでに符号化または復号された画像ブロックと第１の領域との位置関係および各すでに符号化または復号された画像ブロックの符号化または復号順序のうち少なくとも１つにより定めることができる。
【0092】
例えば、第１の領域の左側に位置する、第２の領域に属する画像ブロックの動き情報の優先レベルは、左上および左下の画像ブロックの動き情報の優先レベルよりも高い。
【0093】
例えば、先に符号化された画像ブロックの動き情報の優先レベルは、後から符号化された画像ブロックの優先レベルよりも高い。
【0094】
選択可能に、本願の実施例において、複数の動き情報を履歴動き情報候補リストに加える必要があるとき、この複数の動き情報は、優先レベルを有してもよく、優先レベルが高い動き情報を上位の前側の位置に加え、優先レベルが低い動き情報を上位の後側の位置に加える。
【0095】
ここで、すでに符号化または復号された画像ブロックの動き情報の優先レベルは、すでに符号化または復号された画像ブロックと現在の領域の位置関係により定めることができる。
【0096】
例えば、現在の領域の左側に位置する画像ブロックの動き情報の優先レベルは、左上および左下の画像ブロックの動き情報の優先レベルよりも高い。
【0097】
選択可能に、本願の実施例において、第２の領域における履歴動き情報候補リストを更新するために用いることができる画像ブロックは、アフィン変換動き補償（ａｆｆｉｎｅ）モードの画像ブロックとすることができる。ここで、ａｆｆｉｎｅモードは、選択可能に、制御点の動き情報に基づき、画像ブロック全体のアフィン動き（拡大／縮小、回転等の不規則な動き）の場である。
【0098】
選択可能に、本願の実施例において、１つまたは複数の第２の領域を選択して履歴動き情報候補リストを更新してもよく、そのうち、１つの第２の領域を選択して履歴動き情報候補リストを更新する場合、この１つの第２の領域は、第１の領域の１つ前に符号化または復号された領域としてもよい。
【0099】
選択可能に、本願の実施例において、前記第２の領域と前記第１の領域は画像の行方向に沿って配列されるか、または画像の列方向に沿って配列される。
【0100】
すなわち、現在の領域で用いる履歴動き情報候補リストを更新するとき、採用する領域は、現在の領域と同じ行に配列するか、または同じ列に配列する必要がある。
【0101】
例えば、図４に示すように、ＭＥＲ１は、ＨＭＶＰ候補リストを更新するために用い、ＭＥＲ２の符号化または復号に用いることができ、ＭＥＲ３は、ＨＭＶＰ候補リストを更新するために用い、ＭＥＲ４の符号化または復号に用いることができる。ＭＥＲ２は、ＨＭＶＰ候補リストを更新するために用いたり、ＭＥＲ３の符号化または復号に用いたりすることができない。
【0102】
または、図４に示すように、ＭＥＲ１は、ＨＭＶＰ候補リストを更新するために用い、ＭＥＲ３の符号化または復号に用いることができ、ＭＥＲ２は、ＨＭＶＰ候補リストを更新するために用い、ＭＥＲ４の符号化または復号に用いることができる。ＭＥＲ３は、ＨＭＶＰ候補リストを更新するために用いたり、ＭＥＲ２の符号化または復号に用いたりすることができない。
【0103】
選択可能に、本願の実施例において、前記第２の領域が画像の行方向に沿った配列または列方向に沿った配列のうち最も早く符号化または復号された領域である場合、前記第２の領域を符号化または復号するときに採用する前記ＨＭＶＰ候補リストは空である。
【0104】
具体的には、エンコーダは、毎回、行（または列）で１つの行（または列）の符号化が完了したときに、履歴動き情報候補リストをクリアすることができ、次の行（または列）を符号化するとき、履歴動き情報候補リストは空である。
【0105】
ここでいう行（または列）は、複数の領域を含んでもよく、１つの行（列）の複数の領域の符号化が完了した後、次の行（列）の複数の領域を符号化することができ、ここで、各行（または列）の行（または列）座標の範囲は同じであり、列（または行）座標の範囲は異なっている。
【0106】
上述した行または列は、ＣＴＵ行または列であってもよく、各ＣＴＵ行またはＣＴＵ列は、少なくとも１つのＣＴＵを含み、各ＣＴＵは、少なくとも１つの領域を含む。
【0107】
この場合、１つのＣＴＵ行または列の符号化が完了したとき、ＨＭＶＰリストをクリアしてから、次のＣＴＵ行または列を符号化することができる。
【0108】
例えば、図４に示すように、ＭＥＲ１におけるＣＵを符号化するとき、ＭＥＲ１が現在のＣＴＵ行における１つ目のＭＥＲである場合、ＭＥＲ１におけるすべての画像ブロックで用いられる履歴動き情報候補リストが空であり、ＭＥＲ１が現在のＣＴＵ行における１つ目のＭＥＲではない場合、ＭＥＲ１におけるすべての画像ブロックで用いられる履歴動き情報候補リストは、１つ前のＭＥＲにおける画像ブロックの動き情報を更新した後の履歴動き情報候補リストである。
【0109】
本願実施例では、以上の記述に限定されないことを理解すべきであり、例えば、現在のフレームの１つ目の領域を符号化または復号したときにのみ、履歴動き情報候補リストが空であり、他の領域の履歴動き情報候補リストはいずれも１つ前の領域の画像ブロックの動き情報により更新を行い得ることができる。
【0110】
例えば、図４に示すように、ＭＥＲ１におけるＣＵを符号化するとき、ＭＥＲ１が現在のフレームにおける１つ目のＭＥＲである場合、ＭＥＲ１におけるすべての画像ブロックで用いられる履歴動き情報候補リストが空であり、ＭＥＲ１が現在のフレームにおける１つ目のＭＥＲではない場合、ＭＥＲ１におけるすべての画像ブロックで用いられる履歴動き情報候補リストは、１つ前のＭＥＲにおける画像ブロックの動き情報を更新した後の履歴動き情報候補リストである。
【0111】
選択可能に、本願の実施例において、履歴動き情報候補リストを更新するとき、更新に用いる履歴動き情報を選択し、他の優先レベルがより高いリスト（すなわち、履歴動き情報候補リストに比べ、このリストにおける候補動き情報は、動き情報リストの構築に優先して用いられる）における選択可能な候補動き情報と比較（ｐｒｕｎｉｎｇ）してもよい。
【0112】
ここで、すでに優先レベルがより高い他のリストを用いて動き情報リストを構築している場合、更新に用いる履歴動き情報を選択して、動き情報リストにおける既存の候補動き情報と比較することができる。
【0113】
リスト中での優先レベルがより高い他の候補動き情報（または、動き情報リストにおける既存の候補動き情報）が、この選択された更新に用いる履歴動き情報と異なる場合、この履歴動き情報をこの履歴動き情報候補リストに加えることができる。
【0114】
同じである場合、この履歴動き情報をこの履歴動き情報候補リストに加えなくてもよく、新しい履歴動き情報をさらに選択して、この履歴動き情報候補リストに加えることができる。
【0115】
例えば、第２の領域において優先レベルがより低い画像ブロックの動き情報を選択して履歴動き情報としてこの履歴動き情報候補リストに加えるか、または、この履歴動き情報候補リストにおいて更新しなくてもよいし、少ない数の候補履歴動き情報の更新を行ってもよい。
【0116】
ここで、上述した比較の回数を少なくしてソフトウェア・ハードウェアのリソースオーバーヘッドを低減するため、比較の回数を制限してもよい。
【0117】
比較の回数の最大値は、リスト中での優先レベルがより高い他の候補動き情報（または、動き情報リストにおける既存の候補動き情報）の数、および履歴動き情報候補リストに含まれる候補履歴動き情報の数といったパラメータにより確定することができる。
【0118】
この最大値Ｌの具体的な制限は、例えば次のようにすることができる。
Ｌ＝（Ｎ＜＝４）？Ｍ：（８－Ｎ）
Ｌ＝（Ｎ＜＝４）？Ｍ：（８－Ｎ）
【0119】
ここで、Ｌは比較の回数を表し、Ｎは、リスト中での優先レベルがより高い他の候補動き情報（または、動き情報リストにおける既存の候補動き情報）の数を表し、Ｍは、履歴動き情報候補リスト中の候補履歴動き情報の数を表す。
【0120】
以上の公式の意味は、Ｎが４以下である場合、比較の回数は最大Ｍに等しく、４を超える場合には、比較の回数は最大８－Ｎであると理解することができる。
【0121】
選択可能に、本願の実施例において、上記履歴動き情報候補リストを１つのストレージスペースの中に記憶してもよい。選択可能に、その場合、現在のフレームの第２の領域に含まれる少なくとも１つの第２の画像ブロックの動き情報を用いて前記履歴動き情報候補リストを更新することは、前記第２の領域で符号化または復号が完了した後に行うものである。
【0122】
具体的には、上記履歴動き情報候補リストを１つのストレージスペースの中に記憶することは、履歴動き情報候補リストの数は１つであってもよいと理解することができ、このとき、この履歴動き情報候補リストを用いて、１つ前の領域の符号化または復号を完了した後、対応する画像ブロックの動き情報を用いて、この履歴動き情報候補リストを更新し、更新後の履歴動き情報候補リストを用いて、現在の領域の画像ブロックを符号化または復号し、現在の領域の画像ブロックの符号化または復号が完了した後、この履歴動き情報候補リストを再度更新し、再度更新した履歴動き情報候補リストは、次の領域の符号化または復号に用いることができる。
【0123】
選択可能に、本願の実施例において、上記履歴動き情報候補リストは、それぞれ第１のストレージスペースおよび前記第１のストレージスペース以外の第２のストレージスペースの中に記憶してもよい。このとき、そのうちの一方のストレージスペースに記憶された履歴動き情報候補リストを用いて、第２の領域の画像ブロックを符号化または復号することができ、第２の領域において符号化または復号を行う過程において、第２の領域のすでに符号化または復号された第２の画像ブロックを用いて、他方のストレージスペースに記憶された履歴動き情報候補リストを更新することができ、これにより、符号化または復号プロセスと履歴動き情報候補リストの同時進行を実現することができる。
【0124】
理解の便宜のため、次に、２種類の実施形態を提供して、上記履歴動き情報候補リストをそれぞれ第１のストレージスペースおよび第２のストレージスペースに記憶した場合の履歴動き情報候補リストの使用方法について説明する。
【0125】
実施形態１
履歴動き情報候補リストは、それぞれ第１のストレージスペースおよび第２のストレージスペースに記憶され、前記第２の領域は、前記第２のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行う。前記第２の領域の符号化プロセスまたは復号プロセスにおいて、前記第２の領域に含まれる少なくとも１つの第２の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを更新する。前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、前記第１の画像ブロック各々を符号化または復号する。
履歴動き情報候補リストは、それぞれ第１のストレージスペースおよび第２のストレージスペースに記憶され、前記第２の領域は、前記第２のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行う。前記第２の領域の符号化プロセスまたは復号プロセスにおいて、前記第２の領域に含まれる少なくとも１つの第２の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを更新する。前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、前記第１の画像ブロック各々を符号化または復号する。
【0126】
さらに、前記第２の領域の符号化または復号が完了した後、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新する。前記第２のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、第３の領域の少なくとも１つの第３の画像ブロックを符号化または復号する。ここで、前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第２のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにする。
【0127】
具体的には、１つ目の領域、領域１（現在のフレームまたは現在のＣＴＵ行の１つ目の領域）を符号化または復号するとき、ストレージスペースＡおよびストレージスペースＢに同じ履歴動き情報候補リスト（リストは空であってもよい）がそれぞれ記憶されており、この領域１に対して、ストレージスペースＡにおける履歴動き情報候補リストを用いて符号化または復号を行うことができる。領域１における画像ブロックの符号化または復号の完了順序は前後するため、すでに符号化または復号が完了した画像ブロックの動き情報を用いて、ストレージスペースＢにおける履歴動き情報候補リストを更新することができる。領域１の符号化または復号プロセスが完了した後、ストレージスペースＢにおける履歴動き情報候補リストは、すでに更新が完了している可能性があり、このとき、ストレージスペースＢにおける更新後の履歴動き情報候補リストを用いて、２つ目の領域、領域２を符号化または復号すると同時に、ストレージスペースＢにおける更新後の履歴動き情報候補リストを用いて、ストレージスペースＡにおける履歴動き情報候補リストを更新することができる。ストレージスペースＡにおける履歴動き情報候補リストは、ストレージスペースＢにおける更新後の履歴動き情報候補リストに基づき更新された後、領域２の符号化または復号する過程において、領域２のすでに符号化または復号された画像ブロックを用いて、ストレージスペースＡにおける履歴動き情報候補リストを再度更新することができる。領域２の符号化または復号プロセスが完了した後、ストレージスペースＡにおける履歴動き情報候補リストは、すでに再度の更新が完了している可能性があり、ストレージスペースＡにおける再度更新された履歴動き情報候補リストを用いて、３つ目の領域、領域３における画像ブロックを符号化または復号すると同時に、ストレージスペースＡにおける再度更新された履歴動き情報候補リストを用いて、ストレージスペースＢにおける履歴動き情報候補リストを再度更新することができる。後続の操作は、前の説明を参照して順次類推することができる。
【0128】
この実施形態では、履歴動き情報候補リストが２つのストレージスペースの中に記憶され、各々のストレージスペースにおける履歴動き情報候補リストが領域の符号化または復号に交互に用いられ、領域の符号化または復号プロセスにおいて、現在まだ用いられていない履歴動き情報候補リストを更新することができ（用いられた履歴動き情報候補リストをこの現在まだ用いられていない履歴動き情報候補リストに更新し、現在すでに符号化または復号された画像ブロックの動き情報をこの現在まだ用いられていない履歴動き情報候補リストに更新することを含む）、これにより、履歴動き情報候補リストの更新および画像ブロックの符号化または復号の同時進行を実現し、符号化または復号の効率を高めることができる。
【0129】
実施形態２
前記履歴動き情報候補リストは、それぞれ第１のストレージスペースおよび第２のストレージスペースに記憶され、前記第２の領域は、前記第２のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行う。前記第２の領域の符号化プロセスまたは復号プロセスにおいて、前記第２の領域に含まれる少なくとも１つの第２の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを更新する。前記第２の領域の符号化または復号が完了した後、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新する。前記第２のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、前記第１の画像ブロック各々を符号化または復号する。さらに、前記第１の領域の符号化プロセスまたは復号プロセスにおいて、前記第１の領域に含まれる少なくとも１つの第１の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを再度更新する。前記第１の領域の符号化または復号が完了した後、前記第１のストレージスペースにおける再度更新された前記履歴動き情報候補リストを用いて、前記第２のストレージスペースにおける前記履歴動き情報候補リストを再度更新する。前記第２のストレージスペースにおける再度更新された前記履歴動き情報候補リストに基づき、それぞれ第３の領域の少なくとも１つの第３の画像ブロックを符号化または復号する。ここで、前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第２のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにする。
前記履歴動き情報候補リストは、それぞれ第１のストレージスペースおよび第２のストレージスペースに記憶され、前記第２の領域は、前記第２のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行う。前記第２の領域の符号化プロセスまたは復号プロセスにおいて、前記第２の領域に含まれる少なくとも１つの第２の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを更新する。前記第２の領域の符号化または復号が完了した後、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新する。前記第２のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、前記第１の画像ブロック各々を符号化または復号する。さらに、前記第１の領域の符号化プロセスまたは復号プロセスにおいて、前記第１の領域に含まれる少なくとも１つの第１の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを再度更新する。前記第１の領域の符号化または復号が完了した後、前記第１のストレージスペースにおける再度更新された前記履歴動き情報候補リストを用いて、前記第２のストレージスペースにおける前記履歴動き情報候補リストを再度更新する。前記第２のストレージスペースにおける再度更新された前記履歴動き情報候補リストに基づき、それぞれ第３の領域の少なくとも１つの第３の画像ブロックを符号化または復号する。ここで、前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第２のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにする。
【0130】
具体的には、１つ目の領域、領域１（現在のフレームまたは現在のＣＴＵ行の最初の領域）を符号化または復号するとき、ストレージスペースＡおよびストレージスペースＢに同じ履歴動き情報候補リスト（リストは空であってもよい）がそれぞれ記憶されており、ストレージスペースＡにおける履歴動き情報候補リストを用いて、この領域１を符号化または復号することができる。領域１における画像ブロックの符号化または復号の完了順序は前後するため、すでに符号化または復号が完了した画像ブロックの動き情報を用いて、ストレージスペースＢにおける履歴動き情報候補リストを更新することができる。領域１の符号化または復号プロセスが完了した後、ストレージスペースＢにおける履歴動き情報候補リストは、すでに更新が完了している可能性があり、このとき、ストレージスペースＢにおける履歴動き情報候補リストを用いて、ストレージスペースＡにおける履歴動き情報候補リストを更新し、ストレージスペースＡの更新後の履歴動き情報候補リストを得ることができる。また、ストレージスペースＡの更新後の履歴動き情報候補リストを用いて、２つ目の領域、領域２を符号化または復号し、領域２を符号化または復号する過程において、ストレージスペースＢにおける履歴動き情報候補リストを再度更新する。領域２の符号化または復号プロセスが完了した後、ストレージスペースＢにおける履歴動き情報候補リストは、すでに再度の更新が完了している可能性があり、このとき、ストレージスペースＢにおける履歴動き情報候補リストを用いて、ストレージスペースＡにおける履歴動き情報候補リストを再度更新することができ、ストレージスペースＡにおいて履歴動き情報候補リストを再度更新することにより、領域３を符号化または復号することができる。後続の操作は、以上の説明により順次類推することができる。
【0131】
この実施形態では、履歴動き情報候補リストが２つのストレージスペースの中に記憶され、そのうち一方のストレージスペースにおける履歴動き情報候補リストが、領域の符号化または復号にずっと用いられ、領域の符号化または復号プロセスにおいて、他方のストレージスペースの履歴動き情報候補リストが更新される。領域の符号化または復号の後、この他方のストレージスペースの更新後の履歴動き情報候補リストを用いて、この一方のストレージスペースにおける履歴動き情報候補リストを更新する。一方の更新後の履歴動き情報候補リストを用いて他方の履歴動き情報候補リストを更新する時間は、画像ブロックの動き情報を用いて履歴動き情報候補リストを更新する時間より短い可能性が大きいため、この実施形態では、領域の符号化または復号が完了した後、一方の更新後の履歴動き情報候補リストを用いて他方の履歴動き情報候補リストを更新することのみが必要であり、更新に必要な時間は比較的短く、符号化または復号の効率を高めることができる。
【0132】
以上、履歴動き情報候補リストをいかにして更新するかについて説明した。次に、更新後の履歴動き情報候補リストを用いていかにして符号化または復号を行うかについて説明する。
【0133】
具体的には、更新後の前記履歴動き情報候補リストを用いて、それぞれ第１の領域の第１の画像ブロックの各々のために動き情報リストを生成し、前記第１の画像ブロック各々のために生成された動き情報リストを用いて、前記第１の画像ブロック各々のために動き情報を選択することができる。
【0134】
ここで、符号化端については、動き情報リストから動き情報を選択するとき、現在の符号化すべき第１の画像ブロックと、動き情報リストにおける各動き情報に対応する画像ブロックをマッチングし、マッチングコストが最も小さい画像ブロックに対応する動き情報を選択して選択された動き情報とし、動き情報のインデックスをストリームに書き込むことができる。
【0135】
復号端は、同じ方式を採用して動き情報リストを構築し、ストリームから動き情報のインデックスを読み取り、このインデックスに基づき直接動き情報リストから現在の画像ブロックの動き情報を選択することにより、さらにこの動き情報により復号を行うことができる。
【0136】
次に、Ｍｅｒｇｅモードおよび動き情報リストをＭＶＰ候補リストとする例により、動き情報リストをいかにして構築するかについて説明する。
【0137】
ここで、ＭＶＰ候補リストの構成は、次の（１）～（５）の少なくとも一部を含むことができる。
【0138】
具体的には、（１）における空間領域候補ＭＶを用いてＭＶＰ候補リストを構築し、このときに構成されるＭＶＰ候補リストに含まれる候補ＭＶＰの数が所定の数に達していない場合、空間領域候補ＭＶを含むＭＶＰ候補リストに、（２）における時間領域候補ＭＶを加え続けることができ、このときに構成されるＭＶＰ候補リストに含まれる候補ＭＶＰの数が所定の数に達していない場合、空間領域候補ＭＶおよび時間領域候補ＭＶを含むＭＶＰ候補リストに、（３）における対となる平均候補ＭＶを加え続けることができ、このときに構成されるＭＶＰ候補リストに含まれる候補ＭＶＰの数が所定の数に達していない場合、空間領域候補ＭＶ、時間領域候補ＭＶおよび対となる平均候補ＭＶを含むＭＶＰ候補リストに、（４）におけるＨＭＶＰを加え続けることができ、このときに構成されるＭＶＰ候補リストに含まれる候補ＭＶＰの数が所定の数に達していない場合、ＭＶＰ候補リストの候補ＭＶＰの数が所定の値に達するまで、空間領域候補ＭＶ、時間領域候補ＭＶ、対となる平均候補ＭＶおよびＨＭＶＰを含むＭＶＰ候補リストに、（５）におけるゼロベクトルを加え続けることができる。
【0139】
ここで、次のいずれかの一部の候補を、ＭＶＰ候補リストに加えるとき、このリストに含まれる候補ＭＶＰの数がすでに所定の数に達している場合、この余剰部分の要素をＭＶＰ候補リストに加えることを停止することができる。
【0140】
次に、候補ＭＶＰリストを構成する各部分について説明する。
【0141】
（１）空間領域候補ＭＶ
具体的には、現在の画像ブロックと空間領域上で隣接する画像ブロックのＭＶを、ＭＶＰ候補リストに加えることができる候補ＭＶＰとすることができる。
具体的には、現在の画像ブロックと空間領域上で隣接する画像ブロックのＭＶを、ＭＶＰ候補リストに加えることができる候補ＭＶＰとすることができる。
【0142】
例えば、図７に示すように、現在の画像ブロックの左下隅の画像ブロックがＡ０であり、左側の画像ブロックがＡ１であり、左上隅の画像ブロックがＢ２であり、上側の画像ブロックがＢ１であり、右上隅がＢ０である場合、候補ＭＶＰとする順序は、優先レベルに基づき、高い方から低い方へ、Ａ１→Ｂ１→Ｂ０→Ａ０→Ｂ２である。
【0143】
（２）時間領域候補ＭＶ
具体的には、現在の画像ブロックと時間領域上で隣接する画像ブロックのＭＶを、ＭＶＰ候補リストに加えることができる候補ＭＶＰとすることができる。
具体的には、現在の画像ブロックと時間領域上で隣接する画像ブロックのＭＶを、ＭＶＰ候補リストに加えることができる候補ＭＶＰとすることができる。
【0144】
空間領域候補ＭＶの場合とは異なり、時間領域候補ＭＶは、候補ブロックの動き情報を直接用いずに、現在のフレームと参照フレームとの間の時間領域の位置関係に基づき、対応する伸縮調整を行うことができる。
【0145】
（３）対となる平均候補ＭＶ
現在のＭＶＰ候補リストをすでに構成している候補ＭＶＰに基づき、予め定義された対により平均を求め、対となる平均候補ＭＶを導き出す。
現在のＭＶＰ候補リストをすでに構成している候補ＭＶＰに基づき、予め定義された対により平均を求め、対となる平均候補ＭＶを導き出す。
【0146】
予め定義された対をなす方式および順序は、（０，１）、（０，２）、（１，２）、（０，３）、（１，３）、（２，３）であり、ここで、０、１、２および３は、それぞれＨＭＶＰ候補リストにおける既存の１つ目、２つ目、３つ目および４つ目の候補ＭＶＰを表し、各々の括弧は、その中のＭＶＰ候補について平均を求めることを表す。
【0147】
（４）ＨＭＶＰ
画像ブロックをすでに符号化したＭＶを採用してＨＭＶＰ候補リストを構築することができ、ＨＭＶＰ候補リスト中の候補ＨＭＶＰを、ＭＶＰ候補リストに加える候補ＭＶＰとして選択することができる。
画像ブロックをすでに符号化したＭＶを採用してＨＭＶＰ候補リストを構築することができ、ＨＭＶＰ候補リスト中の候補ＨＭＶＰを、ＭＶＰ候補リストに加える候補ＭＶＰとして選択することができる。
【0148】
（５）ゼロベクトル
（１）～（４）の各項をＭＶＰ候補リストに加えたときに、依然としてＭＶＰ候補リスト中のＭＶＰ候補が所定の数に達していない場合、ＭＶＰ候補リストの候補ＭＶＰの数が所定の値に達するまで、ゼロベクトルを用いて充填することができる。
（１）～（４）の各項をＭＶＰ候補リストに加えたときに、依然としてＭＶＰ候補リスト中のＭＶＰ候補が所定の数に達していない場合、ＭＶＰ候補リストの候補ＭＶＰの数が所定の値に達するまで、ゼロベクトルを用いて充填することができる。
【0149】
上に説明した動き情報リストは、本願の実施例の具体的な実施形態にすぎず、本願の実施例を特に限定するものではないことを理解すべきである。
【0150】
選択可能に、本願の実施例において、空間領域動き情報候補リストを構築する際に、同じ領域の画像ブロックの動き情報を採用することを避けて構築してもよい。具体的には、前記第１の画像ブロック各々に対応する空間領域動き情報候補リスト中の動き情報に対応する画像ブロックは、前記第１の領域に属さない。
【0151】
例えば、図８に示すように、１つ目のＭＥＲについて、画像ブロックＣＵ０の可能なすべての空間領域候補動き情報（灰色に塗りつぶされたブロックが所在する画像ブロックの動き情報）は、空間領域候補動き情報に対応する画像ブロックがいずれもＣＵ０が所在するＭＥＲの外にあるため、いずれも得ることができる。２つ目のＭＥＲであるＣＵ５については、空間領域候補動き情報は、本来、周囲の３つの黒く塗りつぶされたブロックと１つの白く塗りつぶされたブロックに対応する画像ブロックの動き情報を含むべきであるが、１つの白く塗りつぶされたブロックに対応する画像ブロックはまだ符号化されておらず、３つの黒く塗りつぶされたブロックに対応する画像ブロックがＣＵ５と同じＭＥＲに属する場合、ＣＵ５における空間領域候補動き情報は、これらのブロックの動き情報を含まなくてもよい。このとき、ＣＵ５の空間領域候補動き情報リストは、空であってもよく、他のＭＥＲの画像ブロックの動き情報を選択して空間領域候補動き情報リストの候補としてもよい。ＣＵ９については、空間領域候補動き情報は、本来、周囲の２つの灰色に塗りつぶされたブロック、１つの黒く塗りつぶされたブロックおよび２つの白く塗りつぶされたブロックに対応する画像ブロックの動き情報を含むべきであるが、白く塗りつぶされたブロックに対応する画像ブロックはまだ符号化されておらず、１つの黒く塗りつぶされたブロックに対応する画像ブロックがＣＵ９と同じＭＥＲに属する場合、ＣＵ９の空間領域候補動き情報リストは、２つの灰色に塗りつぶされたブロックに対応する画像ブロックの動き情報を含むことができる。
【0152】
本願の実施例において、すでに符号化または復号された第２の画像ブロックの動き情報を用いて履歴動き情報候補リストを構築し、構築された履歴動き情報候補リストを用いて第１の領域の複数の第１の画像ブロックを符号化または復号することができ、この複数の第１の画像ブロックの依存性を克服し、第１の領域の複数の第１の画像ブロックが独立した符号化または復号を保つことができるようにすることができる。
【0153】
手法２
いくつかの例において、本願の実施例における領域（例えば、第１の領域または第２の領域）が指すことができるものは、特定の親ノードに対応する画像ブロックである。次に、特定の親ノードについて説明する。
いくつかの例において、本願の実施例における領域（例えば、第１の領域または第２の領域）が指すことができるものは、特定の親ノードに対応する画像ブロックである。次に、特定の親ノードについて説明する。
【0154】
いくつかの例において、１フレームの画像を複数の画像ブロックに分割した後（例えば一定の大きさを複数の画像ブロックに分割した後）、各々の画像ブロックを、さらに四分木の方式を採用して、または三分木の方式を採用して、または二分木の方式を採用して、異なる画像ブロックに分割を続ける。ここで、各々の画像ブロックを分割する深さは、同じであっても異なっていてもよい。木構造の葉ノードに対応する画像ブロックは、いくつかの動画像の符号化復号規格において、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ，ＰＵ）とも呼ばれ、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ，ＣＵ）／復号ユニット（Ｄｅｃｏｄｉｎｇ Ｕｎｉｔ，ＤＵ）とも呼ばれている。
【0155】
特定の親ノードが指すものは、画像ブロックの木構造において、この特定の親ノードに位置するすべての葉ノードにおける画像ブロックについて、各自の動き情報を取得するときに、同じ動き情報候補リストを採用するというものであり、例えば、同じｍｅｒｇｅ候補リスト（Ｓｈａｒｅ Ｍｅｒｇｅ Ｌｉｓｔ）を採用する。特定の親ノードの下位のすべての葉ノードは、並行して符号化／復号を行う。いくつかの例において、特定の親ノードにおける画像ブロックの大きさが、Ｘ（Ｘは正の整数であり、例えば３２である）画素よりも大きいか、またはそれ以上であり、かつこの特定の親ノードが分割された後のすべての葉ノードのうち少なくとも１つの葉ノードに対応する画像ブロックの大きさが、Ｙ（Ｙは、Ｘ以下の正の整数であり、例えば３２である）画素以下であるか、またはそれよりも小さい。この共有する候補リストを構築する際に、この特定の親ノードにある画像ブロックを現在のブロックとしてこの候補リストを構築する。
【0156】
この動き情報候補リストを構築する際に、ＨＭＶＰ候補リストから候補ＨＭＶＰを選択してこの動き情報候補リストにおける候補とする。特定の親ノードの下位のすべての葉ノードは、予測を行う過程において、同じＨＭＶＰ候補リストを用いる。
【0157】
１つの例において、このＨＭＶＰ候補リストは、この特定の親ノードの下位の１つ目の葉ノードを符号化／復号する前に、すでに設定されており、設定方法は、現在のノードを符号化／復号するＨＭＶＰ候補リストをバックアップして、バックアップされたＨＭＶＰ候補リストを得るというものである。すなわち、特定の親ノードの下位の葉ノードを符号化する際に、元のＨＭＶＰ候補リストが１つとバックアップされたＨＭＶＰ候補リストが１つの、計２つのＨＭＶＰ候補リストが存在する。この特定の親ノードの下位の葉ノードを符号化／復号する際に、そのうちの一方のＨＭＶＰ候補リストを用いて動き情報候補リストにおける候補を確定するが、用いられるこのＨＭＶＰ候補リストは更新しない。同時に、他方のＨＭＶＰ候補リストは用いないが、この特定の親ノードの下位のすべての葉ノードを符号化／復号した後、この葉ノードの動き情報に基づき、用いないこのＨＭＶＰ候補リストを更新する。
【0158】
１つの例において、特定の親ノードにおける葉ノードを符号化／復号する際に、ＨＭＶＰ候補リストを別途バックアップする必要がない。特定の親ノードの下位のすべての葉ノードを予測する過程において、このすべての葉ノードで共用するＨＭＶＰ候補リストは変わらず、この特定の親ノードにおけるすべての葉ノードを符号化／復号した後、このＨＭＶＰ候補リストを更新する。このようにして、２つのＨＭＶＰ候補リストによるメモリオーバーヘッドを節約し、設計複雑性を低下させることができ、また特定の親ノードの下位のすべての葉ノードを並行して符号化／復号する目的を保証することができる。実験の結果から示すように、この方法の性能に対する影響は無視できるほど小さく、また、時間複雑性をある程度節約することができる。
【0159】
選択可能に、この最後の１個の符号化／復号を完了した葉ノードの動き情報または最後のＮ（Ｎは１よりも大きい正の整数）個の符号化／復号を完了した葉ノードの動き情報に基づき、ＨＭＶＰ候補リストを更新することができる。
【0160】
選択可能に、特定の親ノードの下位の葉ノードにおいて、右下隅の画素位置が特定の親ノードの右下隅の画素位置と重なり合う葉ノードの動き情報に基づき、ＨＭＶＰ候補リストを更新することができる。いくつかの例において、この右下隅の画素位置が特定の親ノードの右下隅の画素位置と重なり合う葉ノードは、特定の親ノードの下位の最後の１つの符号化／復号を完了した葉ノードでもある。
【0161】
選択可能に、特定の親ノードにおける画像ブロックの左上隅の画素座標は（ｘ０，ｙ０）であり、長さはＬ０、幅はＷ０である。ＨＭＶＰ候補リストを更新する際に、特定の親ノードの下位のすべての葉ノードから目標葉ノードを確定し、目標葉ノードの動き情報に基づきＨＭＶＰ候補リストを更新する。ここで、この目標葉ノードが指すものは、左上隅の画素位置が（ｘ１，ｙ１）であり、長さがＬ１、幅がＷ１であり、かつｘ１＋Ｌ１＝ｘ０＋Ｌ０、ｙ１＋Ｗ１＝ｙ０＋Ｗ０であるものである。
【0162】
上述した動画像処理方法における「領域」に対する２種類の異なる説明は、それぞれ手法１および手法２に対応する。いくつかの例において、上述した手法１および手法２において言及した方法は、組み合わせて用いることができる。例えば、特定の親ノードは、１つのＭＥＲにおけるある画像ブロックであってもよい。
【0163】
手法１および手法２において、いずれもＨＭＶＰ候補リストの更新タイミングのいくつかの例を規定しており、特定の親ノードが１つのＭＥＲにおけるある画像ブロック（例えば、第１の領域または第２の領域におけるある画像ブロック）であってもよい場合、手法１および手法２において規定した更新タイミングの条件を同時に満たさなければ、ＨＭＶＰ候補リストを更新することができないか、またはこの２つの手法のうち一方の手法に規定された更新タイミングの条件を満たしていれば、ＨＭＶＰ候補リストを更新することができるかのいずれであってもよい。
【0164】
また、例えば、手法１および手法２においていずれもＨＭＶＰ候補リストを更新するために用いられる画像ブロックの動き情報の例を規定しており、特定の親ノードが、１つのＭＥＲにおけるある画像ブロック（例えば、第１の領域または第２の領域におけるある画像ブロック）であってもよい場合、手法１および手法２において規定した画像ブロックを同時に満たさなければ、この画像ブロックの動き情報を採用してＨＭＶＰ候補リストを更新することができないか、またはこの２つの手法のうちの一方の手法の規定の画像ブロックの条件を満たしていれば、この画像ブロックの動き情報を採用してＨＭＶＰ候補リストを更新することができるかのいずれであってもよい。
【0165】
図９は、本願の実施例による動画像処理装置４００の模式的ブロック図である。この装置４００は、取得ユニット４１０と、符号化または復号ユニット４２０と、を含む。
【0166】
ここで、取得ユニット４１０は、現在のフレームにおける第１の領域に含まれる複数の第１の画像ブロックにおける第１の画像ブロック各々を符号化または復号するために用いられる、前記第１の領域に含まれる画像ブロック以外のすでに符号化または復号された画像ブロックである第２の画像ブロックの動き情報に基づき取得される履歴動き情報候補リストを取得するために用いられ、符号化または復号ユニット４２０は、前記履歴動き情報候補リストに基づき、前記第１の画像ブロック各々を符号化または復号する。
【0167】
選択可能に、本願の実施例において、前記符号化または復号ユニット４２０は、さらに、
前記履歴動き情報候補リストに基づき、並行して前記複数の第１の画像ブロックを符号化または復号するために用いられる。
前記履歴動き情報候補リストに基づき、並行して前記複数の第１の画像ブロックを符号化または復号するために用いられる。
【0168】
選択可能に、本願の実施例において、異なる前記第１の画像ブロックを符号化または復号するとき、採用する前記履歴動き情報候補リストに含まれる候補履歴動き情報および前記候補履歴動き情報は、前記履歴動き情報候補リストにおける順序が同じである。
【0169】
選択可能に、本願の実施例において、前記取得ユニット４１０は、さらに、
前記現在のフレームの第２の領域に含まれる少なくとも１つの第２の画像ブロックの動き情報を用いて、前記履歴動き情報候補リストを更新し、更新後の前記履歴動き情報候補リストを、前記複数の第１の画像ブロックに対する符号化または復号に用いるために用いられる。
前記現在のフレームの第２の領域に含まれる少なくとも１つの第２の画像ブロックの動き情報を用いて、前記履歴動き情報候補リストを更新し、更新後の前記履歴動き情報候補リストを、前記複数の第１の画像ブロックに対する符号化または復号に用いるために用いられる。
【0170】
選択可能に、本願の実施例において、前記第２の領域の符号化または復号プロセスは、前記第１の領域よりも早く、前記第２の領域の画像ブロックは、前記更新をまだ行っていない前記履歴動き情報候補リストを採用して符号化または復号を行う。
【0171】
選択可能に、本願の実施例において、前記履歴動き情報候補リストを更新するとき、前記履歴動き情報候補リストに追加された候補履歴動き情報の数が所定の値よりも小さいか、前記履歴動き情報候補リストから削除された候補履歴動き情報の数が所定の値よりも小さいかの少なくとも１つである。
【0172】
選択可能に、本願の実施例において、装置４００は、
前記第２の領域の画像ブロックの位置座標に基づき、前記第２の領域に含まれる画像ブロックから前記少なくとも１つの第２の画像ブロックを選択するために用いられる選択ユニット４３０をさらに含む。
前記第２の領域の画像ブロックの位置座標に基づき、前記第２の領域に含まれる画像ブロックから前記少なくとも１つの第２の画像ブロックを選択するために用いられる選択ユニット４３０をさらに含む。
【0173】
選択可能に、本願の実施例において、前記第２の領域に含まれる画像ブロックから前記少なくとも１つの第２の画像ブロックを選択する過程において、
前記第２の領域における右側の画像ブロックの優先レベルが前記第２の領域における左側の画像ブロックの優先レベルよりも高いか、前記第２の領域における下側の画像ブロックの優先レベルが前記第２の領域における上側の画像ブロックの優先レベルよりも高いかの少なくとも１つである。
前記第２の領域における右側の画像ブロックの優先レベルが前記第２の領域における左側の画像ブロックの優先レベルよりも高いか、前記第２の領域における下側の画像ブロックの優先レベルが前記第２の領域における上側の画像ブロックの優先レベルよりも高いかの少なくとも１つである。
【0174】
選択可能に、本願の実施例において、前記少なくとも１つの第２の画像ブロックは、前記第２の領域における最後に符号化または復号された画像ブロックを含むか、前記第２の領域における指定位置の画像ブロックを含むかの少なくとも１つである。
【0175】
選択可能に、本願の実施例において、前記第２の領域における指定位置の画像ブロックは、
前記第２の領域の左上隅、前記第２の領域の右上隅、前記第２の領域の左下隅、前記第２の領域の右下隅、前記第２の領域の中心点の少なくとも１つの位置にある画像ブロックを含む。
前記第２の領域の左上隅、前記第２の領域の右上隅、前記第２の領域の左下隅、前記第２の領域の右下隅、前記第２の領域の中心点の少なくとも１つの位置にある画像ブロックを含む。
【0176】
選択可能に、本願の実施例において、前記取得ユニット４１０は、さらに、
複数の前記第２の画像ブロックの動き情報に対して重み付き処理を行うこと、および
重み付き処理済みの前記動き情報を用いて、前記履歴動き情報候補リストを更新することのために用いられる。
複数の前記第２の画像ブロックの動き情報に対して重み付き処理を行うこと、および
重み付き処理済みの前記動き情報を用いて、前記履歴動き情報候補リストを更新することのために用いられる。
【0177】
選択可能に、本願の実施例において、前記第１の領域と前記第２の領域は画像の行方向に沿って配列されるか、または画像の列方向に沿って配列される。
【0178】
選択可能に、本願の実施例において、前記第１の領域と前記第２の領域は、同じ符号化ツリーユニットＣＴＵ行またはＣＴＵ列に属し、各ＣＴＵ行またはＣＴＵ列は、少なくとも１つのＣＴＵを含み、各ＣＴＵは、少なくとも１つの領域を含む。
【0179】
選択可能に、本願の実施例において、前記第２の領域が画像の行方向に沿った配列または列方向に沿った配列のうち最も早く符号化または復号された領域である場合、前記第２の領域を符号化または復号するときに採用する前記履歴動き情報候補リストは空である。
【0180】
選択可能に、本願の実施例において、前記第２の領域は、前記第１の領域の１つ前に符号化または復号された領域である。
【0181】
選択可能に、本願の実施例において、前記取得ユニット４１０は、さらに、
追加が必要な第１の候補履歴動き情報を前記履歴動き情報候補リストの上位に加えるために用いられる。
追加が必要な第１の候補履歴動き情報を前記履歴動き情報候補リストの上位に加えるために用いられる。
【0182】
選択可能に、本願の実施例において、前記取得ユニット４１０は、さらに、
前記履歴動き情報候補リストの末尾にある候補履歴動き情報を削除するか、または、前記履歴動き情報表における前記第１の候補履歴動き情報と同じ候補履歴動き情報を削除するために用いられる。
前記履歴動き情報候補リストの末尾にある候補履歴動き情報を削除するか、または、前記履歴動き情報表における前記第１の候補履歴動き情報と同じ候補履歴動き情報を削除するために用いられる。
【0183】
選択可能に、本願の実施例において、前記第２の画像ブロックは、アフィン変換動き補償モード以外の画像ブロックである。
【0184】
選択可能に、本願の実施例において、前記符号化または復号ユニット４２０は、さらに、
前記履歴動き情報候補リストを用いて、前記第１の画像ブロック各々のために動き情報リストを生成すること、および
前記第１の画像ブロック各々のために生成された動き情報リストを用いて、前記第１の画像ブロック各々のために動き情報を選択することのために用いられる。
前記履歴動き情報候補リストを用いて、前記第１の画像ブロック各々のために動き情報リストを生成すること、および
前記第１の画像ブロック各々のために生成された動き情報リストを用いて、前記第１の画像ブロック各々のために動き情報を選択することのために用いられる。
【0185】
選択可能に、本願の実施例において、前記符号化または復号ユニット４２０は、さらに、
前記履歴動き情報候補リスト、および前記第１の画像ブロック各々に対応する空間領域動き情報候補リストを用いて、前記第１の画像ブロック各々のために動き情報リストを生成するために用いられ、
前記第１の画像ブロック各々に対応する空間領域動き情報候補リストにおける動き情報に対応する画像ブロックは、前記第１の領域に属さない。
前記履歴動き情報候補リスト、および前記第１の画像ブロック各々に対応する空間領域動き情報候補リストを用いて、前記第１の画像ブロック各々のために動き情報リストを生成するために用いられ、
前記第１の画像ブロック各々に対応する空間領域動き情報候補リストにおける動き情報に対応する画像ブロックは、前記第１の領域に属さない。
【0186】
選択可能に、本願の実施例において、前記履歴動き情報候補リストは、履歴に基づく動きベクトル予測ＨＭＶＰ候補リストである。
【0187】
選択可能に、本願の実施例において、前記履歴動き情報候補リストは、１つのストレージスペースの中に記憶される。
【0188】
選択可能に、本願の実施例において、前記現在のフレームの第２の領域に含まれる少なくとも１つの第２の画像ブロックの動き情報を用いて前記履歴動き情報候補リストを更新することは、前記第２の領域で符号化または復号が完了した後に行うものである。
【0189】
選択可能に、本願の実施例において、前記履歴動き情報候補リストは、それぞれ第１のストレージスペースおよび第２のストレージスペースに記憶され、前記第２の領域は、前記第２のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行い、前記取得ユニットは、さらに、
前記第２の領域の符号化プロセスまたは復号プロセスにおいて、前記第２の領域に含まれる少なくとも１つの第２の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを更新するために用いられる。
前記第２の領域の符号化プロセスまたは復号プロセスにおいて、前記第２の領域に含まれる少なくとも１つの第２の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを更新するために用いられる。
【0190】
前記符号化または復号ユニット４２０は、さらに、
前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、前記第１の画像ブロック各々を符号化または復号するために用いられる。
前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、前記第１の画像ブロック各々を符号化または復号するために用いられる。
【0191】
選択可能に、本願の実施例において、前記取得ユニット４１０は、さらに、
前記第２の領域の符号化または復号が完了した後、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新するために用いられる。
前記第２の領域の符号化または復号が完了した後、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新するために用いられる。
【0192】
選択可能に、本願の実施例において、前記取得ユニット４１０は、さらに、
前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第２のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにするために用いられる。
前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第２のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにするために用いられる。
【0193】
選択可能に、本願の実施例において、前記履歴動き情報候補リストは、それぞれ第１のストレージスペースおよび第２のストレージスペースに記憶され、前記第２の領域は、前記第２のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行い、前記取得ユニット４１０は、さらに、
前記第２の領域の符号化プロセスまたは復号プロセスにおいて、前記第２の領域に含まれる少なくとも１つの第２の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを更新すること、および
前記第２の領域の符号化または復号が完了した後、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新することのために用いられる。
前記第２の領域の符号化プロセスまたは復号プロセスにおいて、前記第２の領域に含まれる少なくとも１つの第２の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを更新すること、および
前記第２の領域の符号化または復号が完了した後、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新することのために用いられる。
【0194】
前記符号化または復号ユニット４２０は、さらに、
前記第２のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、前記第１の画像ブロック各々を符号化または復号するために用いられる。
前記第２のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、前記第１の画像ブロック各々を符号化または復号するために用いられる。
【0195】
選択可能に、本願の実施例において、前記取得ユニット４１０は、さらに、
前記第１の領域の符号化プロセスまたは復号プロセスにおいて、前記第１の領域に含まれる少なくとも１つの第１の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを再度更新すること、および
前記第１の領域の符号化または復号が完了した後、前記第１のストレージスペースにおける再度更新した前記履歴動き情報候補リストを用いて、前記第２のストレージスペースにおける前記履歴動き情報候補リストを再度更新することのために用いられる。
前記第１の領域の符号化プロセスまたは復号プロセスにおいて、前記第１の領域に含まれる少なくとも１つの第１の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを再度更新すること、および
前記第１の領域の符号化または復号が完了した後、前記第１のストレージスペースにおける再度更新した前記履歴動き情報候補リストを用いて、前記第２のストレージスペースにおける前記履歴動き情報候補リストを再度更新することのために用いられる。
【0196】
選択可能に、本願の実施例において、前記取得ユニット４１０は、さらに、
前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第２のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにするために用いられる。
前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第２のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにするために用いられる。
【0197】
選択可能に、前記第１の領域における複数の第１の画像ブロックは、第１の領域を四分木分割、または三分木分割、または二分木分割した後に得られる画像ブロックである。
【0198】
選択可能に、前記第１の領域における複数の第１の画像ブロックは、予測時に、同じ動き情報候補リストを共用する。
【0199】
選択可能に、前記第１の領域における複数の第１の画像ブロックは、予測時に、いずれもマージモードを採用し、同じマージモード動き情報候補リストを共用する。
【0200】
選択可能に、前記取得ユニットは、さらに、
前記履歴動き情報候補リストに基づき候補ＨＭＶＰを取得するために用いられ、前記候補ＨＭＶＰは、前記動き情報候補リストにおける候補である。
前記履歴動き情報候補リストに基づき候補ＨＭＶＰを取得するために用いられ、前記候補ＨＭＶＰは、前記動き情報候補リストにおける候補である。
【0201】
選択可能に、前記履歴動き情報候補リストは、前記第１の領域における複数の第１の画像ブロック予測時に変わらない。
【0202】
選択可能に、符号化または復号ユニット４２０は、さらに、前記第１の領域における複数の第１の画像ブロックの符号化／復号が完了した後、前記履歴動き情報候補リストを更新するために用いられる。
【0203】
選択可能に、符号化または復号ユニット４２０は、さらに、前記第１の領域において最後に符号化／復号が完了した第１の画像ブロックの動き情報に基づき、前記履歴動き情報候補リストを更新するために用いられる。
【0204】
選択可能に、前記第１の領域において最後に符号化／復号が完了した第１の画像ブロックの右下隅が、第１の領域の右下隅と重なり合う。
【0205】
選択可能に、前記第１の領域の左上隅の画素座標は（ｘ０，ｙ０）であり、前記第１の領域の長さはＬ０、幅はＷ０であり、符号化または復号ユニット４２０は、さらに前記第１の領域において目標第１の画像ブロックを確定するために用いられ、前記目標第１の画像ブロックの左上隅の画素位置は（ｘ１，ｙ１）であり、長さはＬ１、幅はＷ１であり、かつｘ１＋Ｌ１＝ｘ０＋Ｌ０、ｙ１＋Ｗ１＝ｙ０＋Ｗ０である。
【0206】
前記目標第１の画像ブロックの動き情報に基づき、前記履歴動き情報候補リストを更新する。
【0207】
この動画像処理装置４００は、以上の方法の実施例において符号化端または復号端により実現される対応する操作を実現できることを理解すべきであり、簡潔にするため、ここでは再び述べない。
【0208】
図１０は、本願の実施例による動画像処理装置５００の模式的ブロック図である。この装置５００は、符号化または復号ユニット５２０と、更新ユニット５１０と、を含む。
【0209】
前記符号化または復号ユニット５２０は、履歴動き情報候補リストを用いて、現在のフレームの第２の領域における少なくとも１つの第２の画像ブロックを符号化または復号するために用いられる。
【0210】
前記更新ユニット５１０は、前記第２の領域における少なくとも一部の第２の画像ブロックを符号化または復号した後の動き情報に基づき、前記履歴動き情報候補リストを更新し、更新後の前記履歴動き情報候補リストを得るために用いられる。
【0211】
前記符号化または復号ユニット５２０は、さらに、更新後の前記履歴動き情報候補リストを用いて、前記現在のフレームの第１の領域における複数の第１の画像ブロックを符号化または復号するために用いられる。
【0212】
選択可能に、本願の実施例において、前記符号化または復号ユニット５２０は、さらに、
更新後の前記履歴動き情報候補リストを用いて、並行して前記複数の第１の画像ブロックを符号化または復号するために用いられる。
更新後の前記履歴動き情報候補リストを用いて、並行して前記複数の第１の画像ブロックを符号化または復号するために用いられる。
【0213】
選択可能に、本願の実施例において、異なる前記第１の画像ブロックを符号化または復号するとき、採用する前記履歴動き情報候補リストに含まれる候補履歴動き情報および前記候補履歴動き情報は、前記履歴動き情報候補リストにおける順序が同じである。
【0214】
選択可能に、本願の実施例において、前記履歴動き情報候補リストを更新するとき、前記履歴動き情報候補リストに追加された候補履歴動き情報の数が所定の値よりも小さいか、前記履歴動き情報候補リストから削除された候補履歴動き情報の数が所定の値よりも小さいかの少なくとも１つである。
【0215】
選択可能に、本願の実施例において、装置５００は、
前記第２の領域の画像ブロックの位置座標に基づき、前記第２の領域に含まれる画像ブロックから前記少なくとも一部の第２の画像ブロックを選択するために用いられる選択ユニット５３０をさらに含む。
前記第２の領域の画像ブロックの位置座標に基づき、前記第２の領域に含まれる画像ブロックから前記少なくとも一部の第２の画像ブロックを選択するために用いられる選択ユニット５３０をさらに含む。
【0216】
選択可能に、本願の実施例において、前記第２の領域に含まれる画像ブロックから前記少なくとも一部の第２の画像ブロックを選択する過程において、
前記第２の領域における右側の画像ブロックの優先レベルが前記第２の領域における左側の画像ブロックの優先レベルよりも高いか、前記第２の領域における下側の画像ブロックの優先レベルが前記第２の領域における上側の画像ブロックの優先レベルよりも高いかの少なくとも１つである。
前記第２の領域における右側の画像ブロックの優先レベルが前記第２の領域における左側の画像ブロックの優先レベルよりも高いか、前記第２の領域における下側の画像ブロックの優先レベルが前記第２の領域における上側の画像ブロックの優先レベルよりも高いかの少なくとも１つである。
【0217】
選択可能に、本願の実施例において、前記更新ユニット５１０は、さらに、
少なくとも一部の前記第２の画像ブロックの動き情報に対して重み付き処理を行うこと、および
重み付き処理済みの前記動き情報を用いて、前記履歴動き情報候補リストを更新することのために用いられる。
少なくとも一部の前記第２の画像ブロックの動き情報に対して重み付き処理を行うこと、および
重み付き処理済みの前記動き情報を用いて、前記履歴動き情報候補リストを更新することのために用いられる。
【0218】
選択可能に、本願の実施例において、前記第２の領域と前記第１の領域は画像の行方向に沿って配列されるか、または画像の列方向に沿って配列される。
【0219】
選択可能に、本願の実施例において、前記第２の領域と前記第１の領域は、同じ符号化ツリーユニットＣＴＵ行またはＣＴＵ列に属し、各ＣＴＵ行またはＣＴＵ列は、少なくとも１つのＣＴＵを含み、各ＣＴＵは、少なくとも１つの領域を含む。
【0220】
選択可能に、本願の実施例において、前記第２の領域が画像の行方向に沿った配列または列方向に沿った配列のうち最も早く符号化または復号された領域である場合、前記第２の領域を符号化または復号するときに採用する前記履歴動き情報候補リストは空である。
【0221】
選択可能に、本願の実施例において、前記第２の領域は、前記第１の領域の１つ前に符号化または復号された領域である。
【0222】
選択可能に、本願の実施例において、前記更新ユニット５１０は、さらに、
追加が必要な第１の候補履歴動き情報を前記履歴動き情報候補リストの上位に加えるために用いられる。
追加が必要な第１の候補履歴動き情報を前記履歴動き情報候補リストの上位に加えるために用いられる。
【0223】
選択可能に、本願の実施例において、前記更新ユニット５１０は、さらに、
前記履歴動き情報候補リストの末尾にある候補履歴動き情報を削除するか、または、前記履歴動き情報表における前記第１の候補履歴動き情報と同じ候補履歴動き情報を削除するために用いられる。
前記履歴動き情報候補リストの末尾にある候補履歴動き情報を削除するか、または、前記履歴動き情報表における前記第１の候補履歴動き情報と同じ候補履歴動き情報を削除するために用いられる。
【0224】
選択可能に、本願の実施例において、前記第２の画像ブロックは、アフィン変換動き補償モード以外の画像ブロックである。
【0225】
選択可能に、本願の実施例において、前記符号化または復号ユニット５２０は、さらに、
更新後の前記履歴動き情報候補リストを用いて、それぞれ第１の画像ブロック各々のために動き情報リストを生成すること、および
前記第１の画像ブロック各々のために生成された動き情報リストを用いて、前記第１の画像ブロック各々のために動き情報を選択することのために用いられる。
更新後の前記履歴動き情報候補リストを用いて、それぞれ第１の画像ブロック各々のために動き情報リストを生成すること、および
前記第１の画像ブロック各々のために生成された動き情報リストを用いて、前記第１の画像ブロック各々のために動き情報を選択することのために用いられる。
【0226】
選択可能に、本願の実施例において、前記符号化または復号ユニット５２０は、さらに、
更新後の前記履歴動き情報候補リスト、および前記第１の画像ブロック各々に対応する空間領域動き情報候補リストを用いて、前記第１の画像ブロック各々のために前記動き情報リストを生成するために用いられ、
前記第１の画像ブロック各々に対応する空間領域動き情報候補リストにおける動き情報に対応する画像ブロックは、前記第１の領域に属さない。
更新後の前記履歴動き情報候補リスト、および前記第１の画像ブロック各々に対応する空間領域動き情報候補リストを用いて、前記第１の画像ブロック各々のために前記動き情報リストを生成するために用いられ、
前記第１の画像ブロック各々に対応する空間領域動き情報候補リストにおける動き情報に対応する画像ブロックは、前記第１の領域に属さない。
【0227】
選択可能に、本願の実施例において、前記履歴動き情報候補リストは、履歴に基づく動きベクトル予測ＨＭＶＰ候補リストである。
【0228】
選択可能に、本願の実施例において、前記少なくとも一部の第２の画像ブロックは、前記第２の領域における最後に符号化または復号された画像ブロックを含むか、前記第２の領域における指定位置の画像ブロックを含むかの少なくとも１つである。
【0229】
選択可能に、本願の実施例において、前記第２の領域における指定位置の画像ブロックは、
前記第２の領域の左上隅、前記第２の領域の右上隅、前記第２の領域の左下隅、前記第２の領域の右下隅、前記第２の領域の中心点の少なくとも１つの位置にある画像ブロックを含む。
前記第２の領域の左上隅、前記第２の領域の右上隅、前記第２の領域の左下隅、前記第２の領域の右下隅、前記第２の領域の中心点の少なくとも１つの位置にある画像ブロックを含む。
【0230】
選択可能に、本願の実施例において、前記履歴動き情報候補リストは、１つのストレージスペースの中に記憶される。
【0231】
選択可能に、本願の実施例において、前記現在のフレームの第２の領域に含まれる前記少なくとも一部の第２の画像ブロックの動き情報を用いて前記履歴動き情報候補リストを更新することは、前記第２の領域で符号化または復号が完了した後に行うものである。
【0232】
選択可能に、本願の実施例において、前記履歴動き情報候補リストは、それぞれ第１のストレージスペースおよび第２のストレージスペースに記憶され、前記第２の領域は、前記第２のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行い、前記更新ユニットは、さらに、
前記第２の領域の符号化プロセスまたは復号プロセスにおいて、前記第２の領域に含まれる前記少なくとも一部の第２の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを更新するために用いられる。
前記第２の領域の符号化プロセスまたは復号プロセスにおいて、前記第２の領域に含まれる前記少なくとも一部の第２の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを更新するために用いられる。
【0233】
前記符号化または復号ユニット５２０は、さらに、
前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、前記第１の画像ブロック各々を符号化または復号するために用いられる。
前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、前記第１の画像ブロック各々を符号化または復号するために用いられる。
【0234】
選択可能に、本願の実施例において、前記更新ユニット５１０は、さらに、
前記第２の領域の符号化または復号が完了した後、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新するために用いられる。
前記第２の領域の符号化または復号が完了した後、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新するために用いられる。
【0235】
選択可能に、本願の実施例において、前記更新ユニット５１０は、さらに、
前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第２のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにするために用いられる。
前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第２のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにするために用いられる。
【0236】
選択可能に、本願の実施例において、前記履歴動き情報候補リストは、それぞれ第１のストレージスペースおよび第２のストレージスペースに記憶され、前記第２の領域は、前記第２のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行い、前記更新ユニット５１０は、さらに、
前記第２の領域の符号化プロセスまたは復号プロセスにおいて、前記第２の領域に含まれる前記少なくとも一部の第２の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを更新すること、および
前記第２の領域の符号化または復号が完了した後、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新することのために用いられる。
前記第２の領域の符号化プロセスまたは復号プロセスにおいて、前記第２の領域に含まれる前記少なくとも一部の第２の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを更新すること、および
前記第２の領域の符号化または復号が完了した後、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新することのために用いられる。
【0237】
前記符号化または復号ユニット５２０は、さらに、前記第２のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、前記第１の画像ブロック各々を符号化または復号するために用いられる。
【0238】
選択可能に、本願の実施例において、前記更新ユニット５１０は、さらに、
前記第１の領域の符号化プロセスまたは復号プロセスにおいて、前記第１の領域に含まれる少なくとも１つの第１の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを再度更新すること、および
前記第１の領域の符号化または復号が完了した後、前記第１のストレージスペースにおける再度更新した前記履歴動き情報候補リストを用いて、前記第２のストレージスペースにおける前記履歴動き情報候補リストを再度更新することのために用いられる。
前記第１の領域の符号化プロセスまたは復号プロセスにおいて、前記第１の領域に含まれる少なくとも１つの第１の画像ブロックの動き情報を用いて、前記第１のストレージスペースにおける前記履歴動き情報候補リストを再度更新すること、および
前記第１の領域の符号化または復号が完了した後、前記第１のストレージスペースにおける再度更新した前記履歴動き情報候補リストを用いて、前記第２のストレージスペースにおける前記履歴動き情報候補リストを再度更新することのために用いられる。
【0239】
選択可能に、本願の実施例において、前記更新ユニット５１０は、さらに、
前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第２のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにするために用いられる。
前記第２のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第２のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第１のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにするために用いられる。
【0240】
選択可能に、前記第１の領域における複数の第１の画像ブロックは、第１の領域を四分木分割、または三分木分割、または二分木分割した後に得られる画像ブロックである。
【0241】
選択可能に、前記第１の領域における複数の第１の画像ブロックは、予測時に、同じ動き情報候補リストを共用する。
【0242】
選択可能に、前記第１の領域における複数の第１の画像ブロックは、予測時に、いずれもマージモードを採用し、同じマージモード動き情報候補リストを共用する。
【0243】
選択可能に、前記取得ユニットは、さらに、
前記履歴動き情報候補リストに基づき候補ＨＭＶＰを取得するために用いられ、前記候補ＨＭＶＰは、前記動き情報候補リストにおける候補である。
前記履歴動き情報候補リストに基づき候補ＨＭＶＰを取得するために用いられ、前記候補ＨＭＶＰは、前記動き情報候補リストにおける候補である。
【0244】
選択可能に、前記履歴動き情報候補リストは、前記第１の領域における複数の第１の画像ブロック予測時に変わらない。
【0245】
選択可能に、更新ユニット５１０は、さらに、前記第１の領域における複数の第１の画像ブロックの符号化／復号が完了した後、前記履歴動き情報候補リストを更新するために用いられる。
【0246】
選択可能に、更新ユニット５１０は、さらに、前記第１の領域において最後に符号化／復号が完了した第１の画像ブロックの動き情報に基づき、前記履歴動き情報候補リストを更新するために用いられる。
【0247】
選択可能に、前記第１の領域において最後に符号化／復号が完了した第１の画像ブロックの右下隅が、第１の領域の右下隅と重なり合う。
【0248】
選択可能に、前記第１の領域の左上隅の画素座標は（ｘ０，ｙ０）であり、前記第１の領域の長さはＬ０、幅はＷ０であり、更新ユニット５１０は、さらに前記第１の領域において目標第１の画像ブロックを確定するために用いられ、前記目標第１の画像ブロックの左上隅の画素位置は（ｘ１，ｙ１）であり、長さはＬ１、幅はＷ１であり、かつｘ１＋Ｌ１＝ｘ０＋Ｌ０、ｙ１＋Ｗ１＝ｙ０＋Ｗ０である。
【0249】
前記目標第１の画像ブロックの動き情報に基づき、前記履歴動き情報候補リストを更新する。
【0250】
この動画像処理装置５００は、以上の方法の実施例において符号化端または復号端により実現される対応する操作を実現できることを理解すべきであり、簡潔にするため、ここでは再び述べない。
【0251】
図１１は、本願の実施例によるコンピュータシステム６００の模式的ブロック図を示す。
【0252】
図１１に示すように、このコンピュータシステム６００は、プロセッサ６１０を含んでもよく、さらにメモリ６２０を含んでもよい。
【0253】
このコンピュータシステム６００は、他のコンピュータシステムに通常に含まれる部品、例えば、入出力装置、通信インターフェース等をさらに含んでもよく、本願の実施例はこれについて限定しないことを理解すべきである。
【0254】
メモリ６２０は、コンピュータが実行可能なコマンドを記憶するために用いられる。
【0255】
メモリ６２０は、各種のメモリとすることができ、例えば、高速ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）を含んでもよく、不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば少なくとも１つのハードディスクメモリをさらに含んでもよく、本願の実施例はこれについて限定しない。
【0256】
プロセッサ６１０は、このメモリ６２０にアクセスし、このコンピュータが実行可能なコマンドを実行して、上述した本願の実施例の動画像処理のための方法における操作を行うために用いられる。
【0257】
プロセッサ６１０は、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ，ＦＰＧＡ）、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ，ＣＰＵ）、グラフィックスプロセッシングユニット（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＧＰＵ）等を含んでもよく、本願の実施例はこれについて限定しない。
【0258】
本願の実施例の動画像処理に用いられる装置およびコンピュータシステムは、本願の実施例の動画像処理に用いられる方法の実行主体に対応することができ、動画像処理に用いられる装置およびコンピュータシステムにおける各モジュールの上記およびその他の操作および機能の少なくとも１つのそれぞれ前記各方法を実現するための対応する流れは、簡潔にするため、ここでは再び述べない。
【0259】
本願の実施例は、電子装置をさらに提供し、この電子装置は、上述した本願の各種実施例の動画像処理に用いられる装置またはコンピュータシステムを含んでもよい。
【0260】
本願の実施例は、上記本願の実施例のループフィルタの方法を実行するように指示するために用いることができるプログラムコードが記憶されたコンピュータ記憶媒体をさらに提供する。
【0261】
本願の実施例において、用語「少なくとも１つ」は、関連対象の関連関係にすぎず、３種類の関係が存在してもよいことを表すことを理解すべきである。例えば、ＡおよびＢの少なくとも１つは、Ａが単独で存在している場合、ＡおよびＢが同時に存在している場合、Ｂが単独で存在している場合の３種類の状況を表すことができる。また、本文における記号「／」は、一般に、前後関連対象が一種の「または」の関係であることを表す。
【0262】
当業者は、本文において公開されている実施例に記載された各例のユニットおよび演算ステップを組み合わせ、電子ハードウェア、コンピュータソフトウェアまたは両者の組み合わせによって実現することができることを認識することができ、ハードウェアおよびソフトウェアの互換性を明確に説明するため、上記説明において、すでに機能に応じて各例の構成およびステップについて一般的な説明を行った。これらの機能は、ハードウェアで実行するのかソフトウェアの形態で実行するのかは、技術手法の特定のアプリケーションおよび設計の拘束条件によって決まる。当業者は、各々の特定のアプリケーションについて、記載された機能を異なる方法で実現することができるが、このような実現は、本願の範囲を超えるものと考えるべきではない。
【0263】
当業者は、記載の便利さおよび簡潔さのために、上述したシステム、装置およびユニットの具体的な動作過程は、前述の方法の実施例における対応する過程を参照することができ、ここでは詳しく述べないことを明確に理解することができる。
【0264】
本願で提供するいくつかの実施例において、開示されているシステム、装置および方法は、その他の方式によって実現してもよいことを理解すべきである。例えば、上述した装置の実施例は、概略的なものに過ぎず、例えば、前記ユニットの区別は、論理的な機能の区別に過ぎず、実際の実現の際には、別の区別方式を有してもよく、例えば、複数のユニットまたはアセンブリを結合するか、または別のシステムに一体化してもよく、または一部の特徴を省略しても、実行しなくてもよい。もう一点、示された、または考察された互いの間の結合または直接結合または通信接続は、いくつかのインターフェース、装置またはユニットの間接的結合または通信接続としてもよく、電気的、機械的またはその他の形式の接続としてもよい。
【0265】
前記分離部材として説明したユニットは、物理的に分けられたものであっても、または分けられていないものであってもよく、ユニットとして示された部材は、物理的なユニットであっても、またはそうでなくてもよく、すなわち、１つの場所に位置していても、または複数のネットワークユニットに分布していてもよい。実際の必要に応じて、一部または全部のユニットを選択し、本願の実施例の手法の目的を実現してもよい。
【0266】
また、本願の各実施例における各機能ユニットは、１つの処理ユニットの中に一体化しても、各ユニットが単独で物理的に存在しても、複数のユニットを１つのユニットの中に一体化してもよい。前記一体化されたユニットは、ハードウェアの形式で実現しても、ソフトウェアの機能ユニットの形式で実現してもよい。
【0267】
前記一体化されたユニットをソフトウェアの機能ユニットの形式で実現し、独立した製品として販売または使用する場合、コンピュータで読み取り可能な記憶媒体に記憶してもよい。このような理解に基づき、本願の技術手法は、本質的に、あるいは先行技術に対して寄与する部分、またはこの技術手法の全部もしくは一部に対して、ソフトウェア製品の形式で実現することができ、このコンピュータソフトウェア製品は、コンピュータ装置（パーソナルコンピュータ、サーバー、またはネットワーク装置等とすることができる）に本願の各実施例に記載の方法の全部または一部のステップを実行させるための複数のコマンドを記憶媒体に記憶してもよい。前記記憶媒体は、ＵＳＢフラッシュドライブ、ポータブルハードディスクドライブ、リードオンリーメモリ（ＲＯＭ，Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ，Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フロッピーディスクまたは光ディスクなどのプログラムコードを記憶可能な各種媒体を含む。
【0268】
上述した内容は、本願の具体的な実施形態にすぎないが、本願の保護範囲はこれに限定されず、当業者が本願で開示された技術範囲内で容易に想到できる各種同等の修正または置き換えは、いずれも本願の保護範囲内にあるものとする。そのため、本願の保護範囲は、特許請求の範囲の保護範囲を基準とするものとする。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】