IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エスゼット ディージェイアイ テクノロジー カンパニー リミテッドの特許一覧

<>
  • 特許-動画処理方法および装置 図1
  • 特許-動画処理方法および装置 図2
  • 特許-動画処理方法および装置 図3
  • 特許-動画処理方法および装置 図4
  • 特許-動画処理方法および装置 図5
  • 特許-動画処理方法および装置 図6
  • 特許-動画処理方法および装置 図7
  • 特許-動画処理方法および装置 図8
  • 特許-動画処理方法および装置 図9
  • 特許-動画処理方法および装置 図10
  • 特許-動画処理方法および装置 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-28
(45)【発行日】2024-11-06
(54)【発明の名称】動画処理方法および装置
(51)【国際特許分類】
   H04N 19/52 20140101AFI20241029BHJP
   H04N 19/436 20140101ALI20241029BHJP
【FI】
H04N19/52
H04N19/436
【請求項の数】 10
【外国語出願】
(21)【出願番号】P 2023133667
(22)【出願日】2023-08-18
(62)【分割の表示】P 2021531890の分割
【原出願日】2018-12-29
(65)【公開番号】P2023156473
(43)【公開日】2023-10-24
【審査請求日】2023-08-18
(73)【特許権者】
【識別番号】513068816
【氏名又は名称】エスゼット ディージェイアイ テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】SZ DJI TECHNOLOGY CO.,LTD
【住所又は居所原語表記】6F,HKUST SZ IER Bldg.NO.9 Yuexing 1st Rd.Hi-Tech Park(South),Nanshan District Shenzhen,Guangdong 518057 China
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】ゼン、シャオゼン
(72)【発明者】
【氏名】ワン、シャンシェ
(72)【発明者】
【氏名】フ、ティアンリアン
(72)【発明者】
【氏名】マ、シウェイ
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第2020/018297(WO,A1)
【文献】国際公開第2020/003266(WO,A1)
【文献】Yi-Wen Chen, and Xianglin Wang,CE4-related: Modified History-based MVP to support parallel processing,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-L0106,12th Meeting: Macao, CN,2018年09月,pp.1-3
【文献】Naeri Park, et al.,CE4-related: History-Based Motion Vector Prediction considering parallel processing,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-L0158,12th Meeting: Macao, CN,2018年10月,pp.1-9
【文献】Suhong Wang, et al.,CE4-related: Simplification for share merge list and HMVP harmonization process,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N0486_v4,14th Meeting: Geneva, CH,2019年03月,pp.1-7
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
動画処理方法であって、
履歴動き情報候補リストを取得する段階であって、前記履歴動き情報候補リストは、現在のフレームの第1の領域に含まれる複数の第1の画像ブロックの各々を符号化または復号するために用いられ、前記履歴動き情報候補リストは、前記第1の領域に含まれる画像ブロック以外の既に符号化または復号された第2の画像ブロックの動き情報に基づき取得される、段階と、
前記履歴動き情報候補リストに従って、前記複数の第1の画像ブロックの各々を符号化または復号する段階と、を含み、
前記複数の第1の画像ブロックの各々を符号化または復号する処理の間に、前記履歴動き情報候補リストは、更新されず、
前記履歴動き情報候補リストに従って、前記複数の第1の画像ブロックの各々を符号化または復号する段階は、
前記履歴動き情報候補リストを用いて、前記複数の第1の画像ブロックの各々についての動き情報リストを生成する段階であって、前記履歴動き情報候補リストは、履歴に基づく動きベクトル予測(HMVP)候補リストであり、前記動き情報リストは、MVP候補リストであり、前記MVP候補リストを生成する場合に、HMVP候補が、前記MVP候補リストにおける候補MVPとして前記HMVP候補リストから選択される、段階と、
前記複数の第1の画像ブロックの各々についての生成された前記動き情報リストを用いることにより、前記複数の第1の画像ブロックの各々についての動き情報を選択する段階とを含む、動画処理方法。
【請求項2】
動画処理方法であって、
履歴動き情報候補リストを取得する段階であって、前記履歴動き情報候補リストは、現在のフレームの第1の領域に含まれる複数の第1の画像ブロックの各々を符号化または復号するために用いられ、前記履歴動き情報候補リストは、前記第1の領域に含まれる画像ブロック以外の既に符号化または復号された第2の画像ブロックの動き情報に基づき取得される、段階と、
前記履歴動き情報候補リストに従って、前記複数の第1の画像ブロックの各々を符号化または復号する段階と、を含み、
前記複数の第1の画像ブロックの各々を符号化または復号する処理の間に、前記履歴動き情報候補リストは、更新されず、
前記履歴動き情報候補リストは、前記第1の領域に含まれる前記複数の第1の画像ブロックの全てが符号化または復号された後に、更新される、動画処理方法。
【請求項3】
動画処理方法であって、
履歴動き情報候補リストを取得する段階であって、前記履歴動き情報候補リストは、現在のフレームの第1の領域に含まれる複数の第1の画像ブロックの各々を符号化または復号するために用いられ、前記履歴動き情報候補リストは、前記第1の領域に含まれる画像ブロック以外の既に符号化または復号された第2の画像ブロックの動き情報に基づき取得される、段階と、
前記履歴動き情報候補リストに従って、前記複数の第1の画像ブロックの各々を符号化または復号する段階と、を含み、
前記複数の第1の画像ブロックの各々を符号化または復号する処理の間に、前記履歴動き情報候補リストは、更新されず、
前記履歴動き情報候補リストは、前記第1の領域における最後の画像ブロックが符号化された後にのみ、更新される、動画処理方法。
【請求項4】
前記最後の画像ブロックは、前記第1の領域の右下隅におけるブロックである、請求項に記載の動画処理方法。
【請求項5】
動画処理方法であって、
履歴動き情報候補リストを取得する段階であって、前記履歴動き情報候補リストは、現在のフレームの第1の領域に含まれる複数の第1の画像ブロックの各々を符号化または復号するために用いられ、前記履歴動き情報候補リストは、前記第1の領域に含まれる画像ブロック以外の既に符号化または復号された第2の画像ブロックの動き情報に基づき取得される、段階と、
前記履歴動き情報候補リストに従って、前記複数の第1の画像ブロックの各々を符号化または復号する段階と、を含み、
前記複数の第1の画像ブロックの各々を符号化または復号する処理の間に、前記履歴動き情報候補リストは、更新されず、
前記履歴動き情報候補リストは、履歴に基づく動きベクトル予測(HMVP)候補リストであり、前記第1の領域に含まれる前記複数の第1の画像ブロックの全てを符号化または復号する処理の間に、前記履歴動き情報候補リストは、更新されない動画処理方法。
【請求項6】
動画処理方法であって、
履歴動き情報候補リストを取得する段階であって、前記履歴動き情報候補リストは、現在のフレームの第1の領域に含まれる複数の第1の画像ブロックの各々を符号化または復号するために用いられ、前記履歴動き情報候補リストは、前記第1の領域に含まれる画像ブロック以外の既に符号化または復号された第2の画像ブロックの動き情報に基づき取得される、段階と、
前記履歴動き情報候補リストに従って、前記複数の第1の画像ブロックの各々を符号化または復号する段階と、を含み、
前記複数の第1の画像ブロックの各々を符号化または復号する処理の間に、前記履歴動き情報候補リストは、更新されず、
前記履歴動き情報候補リストを取得する段階は、
1または複数の前記第2の画像ブロックの少なくとも1つの前記動き情報を用いて、前記履歴動き情報候補リストを更新する段階を含む動画処理方法。
【請求項7】
前記1または複数の第2の画像ブロックの前記少なくとも1つは、最後に符号化または復号された第2の領域における画像ブロックを含む、および/または、前記第2の領域における1または複数の指定位置での1または複数の画像ブロックを含む、請求項に記載の動画処理方法。
【請求項8】
ビットストリームを生成する方法であって、
履歴動き情報候補リストを取得する段階であって、前記履歴動き情報候補リストは、現在のフレームの第1の領域に含まれる複数の第1の画像ブロックの各々を符号化するために用いられ、前記履歴動き情報候補リストは、前記第1の領域に含まれる画像ブロック以外の既に符号化された画像ブロックである第2の画像ブロックの動き情報に基づき取得される、段階と、
前記履歴動き情報候補リストに従って、前記複数の第1の画像ブロックの各々を符号化する段階と、
前記現在のフレームを符号化して、ビットストリームを取得する段階と
を含み、
前記複数の第1の画像ブロックの各々を符号化する処理の間に、前記履歴動き情報候補リストは、更新されず、
前記履歴動き情報候補リストに従って、前記複数の第1の画像ブロックの各々を符号化または復号する段階が、
前記履歴動き情報候補リストを用いて、前記複数の第1の画像ブロックの各々についての動き情報リストを生成する段階であって、前記履歴動き情報候補リストは、履歴に基づく動きベクトル予測(HMVP)候補リストであり、前記動き情報リストは、MVP候補リストであり、前記MVP候補リストを生成する場合に、HMVP候補が、前記MVP候補リストにおける候補MVPとして前記HMVP候補リストから選択される、段階と、
前記複数の第1の画像ブロックの各々についての生成された前記動き情報リストを用いることにより、前記複数の第1の画像ブロックの各々についての動き情報を選択する段階とを含む、または、
前記履歴動き情報候補リストを取得する段階が、
1または複数の前記第2の画像ブロックの少なくとも1つの前記動き情報を用いて、前記履歴動き情報候補リストを更新する段階を含む、方法。
【請求項9】
ビットストリームを生成する方法であって、
履歴動き情報候補リストを取得する段階であって、前記履歴動き情報候補リストは、現在のフレームの第1の領域に含まれる複数の第1の画像ブロックの各々を符号化するために用いられ、前記履歴動き情報候補リストは、前記第1の領域に含まれる画像ブロック以外の既に符号化された画像ブロックである第2の画像ブロックの動き情報に基づき取得される、段階と、
前記履歴動き情報候補リストに従って、前記複数の第1の画像ブロックの各々を符号化する段階と、
前記現在のフレームを符号化して、ビットストリームを取得する段階と
を含み、
前記複数の第1の画像ブロックの各々を符号化する処理の間に、前記履歴動き情報候補リストは、更新されず、
前記履歴動き情報候補リストは、
前記第1の領域に含まれる前記複数の第1の画像ブロックの全てが符号化または復号された後に、更新される、または、
前記第1の領域における最後の画像ブロックが符号化された後にのみ、更新される、または、
前記履歴動き情報候補リストは、履歴に基づく動きベクトル予測(HMVP)候補リストであり、前記第1の領域に含まれる前記複数の第1の画像ブロックの全てを符号化または復号する処理の間に、前記履歴動き情報候補リストは、更新されない、方法。
【請求項10】
命令を格納するメモリと、
請求項1からの何れか1つに記載の動画処理方法を実行するように構成されたプロセッサと
を備える動画処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
著作権に関する声明
本特許書類で開示されている内容は、著作権の保護を受ける資料を含む。この著作権は、著作権所有者が所有する。著作権所有者は、特許庁の公式なレコードおよびドシエ中に存在するこの特許書類またはこの特許の開示をいかなる者が複製することにも反対しない。
【0002】
本願は、画像処理分野に関し、さらに具体的には、動画処理方法および装置に関する。
【背景技術】
【0003】
予測は、主流となっている動画符号化の枠組みの重要なモジュールであり、予測には、フレーム内予測とフレーム間予測が含まれる。フレーム間予測モードは、適応動きベクトル予測(Advanced Motion Vector Prediction,AMVP)モードとマージ(Merge)モードを含んでもよい。Mergeモードにおいては、動きベクトルの予測値(Motion Vector Prediction,MVP)候補リストにおいてMVPを確定し、直接このMVPをMVとして確定することができ、ストリームにおいてMVPおよび参照フレームインデックスを復号側に送信し、復号側の復号に用いることができる。
【0004】
上記MVP候補リストを構築する際には、履歴に基づく動きベクトル予測(History-based motion vector prediction,HMVP)候補リストから候補HMVPを選択し、MVP候補リストにおける候補MVPとすることができる。
【0005】
ここで、HMVP候補リストは、すでに符号化または復号されたブロックの動き情報に基づき生成されるものである。具体的には、すでに符号化または復号が完了したブロックの符号化または復号である場合、このすでに符号化または復号したブロックの動き情報を用いて次の符号化または復号対象のブロックのHMVPリストを更新することができるが、これによって画像ブロック間の依存性が強くなる。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本願の実施例は、動画処理方法および装置を提供し、複数の画像ブロック間の依存性を克服し、複数の画像ブロックが独立して符号化または復号できるようにする。
【課題を解決するための手段】
【0007】
第1の態様において、現在のフレームにおける第1の領域に含まれる複数の第1の画像ブロックにおける第1の画像ブロック各々を符号化または復号するために用いられる、前記第1の領域に含まれる画像ブロック以外のすでに符号化または復号された画像ブロックである第2の画像ブロックの動き情報に基づき取得される履歴動き情報候補リストを取得し、前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号することを含む動画処理方法を提供する。
【0008】
第2の態様において、履歴動き情報候補リストを用いて、現在のフレームの第2の領域における少なくとも1つの第2の画像ブロックを符号化または復号することと、前記第2の領域における少なくとも一部の第2の画像ブロックを符号化または復号した後の動き情報に基づき、前記履歴動き情報候補リストを更新し、更新後の前記履歴動き情報候補リストを得ることと、更新後の前記履歴動き情報候補リストを用いて、前記現在のフレームの第1の領域における複数の第1の画像ブロックを符号化または復号することと、を含む動画処理方法を提供する。
【0009】
第3の態様において、現在のフレームにおける第1の領域に含まれる複数の第1の画像ブロックにおける第1の画像ブロック各々を符号化または復号するために用いられる、前記第1の領域に含まれる画像ブロック以外のすでに符号化または復号された画像ブロックである第2の画像ブロックの動き情報に基づき取得される履歴動き情報候補リストを取得するための取得ユニットと、前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号するための符号化または復号ユニットと、を含む動画処理装置を提供する。
【0010】
第4の態様において、履歴動き情報候補リストを用いて、現在のフレームの第2の領域における少なくとも1つの第2の画像ブロックを符号化または復号するための符号化または復号ユニットと、前記第2の領域における少なくとも一部の第2の画像ブロックを符号化または復号した後の動き情報に基づき、前記履歴動き情報候補リストを更新し、更新後の前記履歴動き情報候補リストを得るための更新ユニットと、を含み、前記符号化または復号ユニットは、さらに、更新後の前記履歴動き情報候補リストを用いて、前記現在のフレームの第1の領域における複数の第1の画像ブロックを符号化または復号するために用いられることを特徴とする動画処理装置を提供する。
【0011】
第5の態様において、コンピュータが実行可能なコマンドを記憶するためのメモリと、このメモリにアクセスし、このコンピュータが実行可能なコマンドを実行し、上記第1または第2の態様の方法における操作を行うプロセッサと、を含むコンピュータシステムを提供する。
【0012】
第6の態様において、上記第1または第2の態様の方法を実行するよう指示するために用いることができるプログラムコードが記憶されたコンピュータ記憶媒体を提供する。
【0013】
第7の態様において、上記第1または第2の態様の方法を実行するよう指示するために用いることができるプログラムコードを含むコンピュータプログラム製品を提供する。
【0014】
本願の実施例において、すでに符号化または復号された第2の画像ブロックの動き情報を用いて履歴動き情報候補リストを構築し、構築された履歴動き情報候補リストを用いて第1の領域の複数の第1の画像ブロックを符号化または復号することができ、この複数の第1の画像ブロックの依存性を克服し、第1の領域の複数の第1の画像ブロックが独立して符号化または復号し続けることを可能にすることができる。
【0015】
本願の実施例における技術案をより明確に説明するために、次に実施例または先行技術の記述に必要な図面について簡単に説明する。次の記述における図面は、本願の実施例の一部にすぎず、当業者にとって、創造的な労働を行わない前提の下で、これらの図面に基づきその他の図面をさらに得ることができることは自明のことである。
【図面の簡単な説明】
【0016】
図1】本願の実施例による技術案のアーキテクチャ図である。
図2】本願の実施例による動画処理方法の模式的フローチャートである。
図3】本願の実施例による動画処理方法の模式的フローチャートである。
図4】本願の実施例によるMERの構成図である。
図5】本願の実施例による動画処理方法の模式図である。
図6】本願の実施例によるHMVP更新の模式図である。
図7】本願の実施例による画像ブロックの隣接するブロックの模式図である。
図8】本願の実施例による画像ブロックの空間領域候補の模式図である。
図9】本願の実施例による動画処理装置の模式的ブロック図である。
図10】本願の実施例による動画処理装置の模式的ブロック図である。
図11】本願の実施例によるコンピュータシステムの模式的ブロック図である。
【発明を実施するための形態】
【0017】
以下、本願の実施例における図面と合わせ、本願の実施例における技術案について記述するが、記述する実施例は、本願の一部の実施例であり、すべての実施例ではないことは明らかである。本願における実施例に基づき、当業者が創造的労働を行わない前提の下で得たその他すべての実施例は、いずれも本願の保護する範囲に属す。
【0018】
別段の説明がある場合を除き、本願の実施例で使用されるすべての技術用語および科学用語は、本願の技術分野の当業者が通常理解する意味と同じである。本願で使用される用語は、具体的な実施例を記述する目的のためのものにすぎず、本願の範囲を限定することを意図したものではない。
【0019】
図1は、本願の実施例を用いた技術案のアーキテクチャ図である。
【0020】
図1に示すように、システム100は、処理待ちデータ102を受信し、処理待ちデータ102を処理し、処理済のデータ108を生成することができる。例えば、システム100は、符号化待ちデータを受信し、符号化待ちデータを符号化して符号化済のデータを生成するか、または、システム100は、復号待ちデータを受信し、復号待ちデータを復号し、復号済のデータを生成することができる。いくつかの実施例において、システム100における部品は、1つ以上のプロセッサにより実現することができ、このプロセッサは、計算装置におけるプロセッサであっても、移動装置(例えば無人機)におけるプロセッサであってもよい。このプロセッサは、いかなる種類のプロセッサであってもよく、本発明の実施例は、これについて限定しない。いくつかの可能性のある設計において、このプロセッサは、エンコーダ、デコーダまたはコーデック等を含んでもよい。システム100において、さらに1つ以上のメモリを含んでもよい。このメモリは、コマンドおよびデータを記憶するために用いることができ、例えば、本発明の実施例の技術案のコンピュータが実行可能なコマンド、処理待ちデータ102、処理済のデータ108等を実現する。このメモリは、いかなる種類のメモリであってもよく、本発明の実施例は、これについて限定しない。
【0021】
符号化待ちデータは、テキスト、画像、図形オブジェクト、動画シーケンス、音声、動画、または符号化が必要なその他のあらゆるデータを含んでもよい。いくつかの状況において、符号化待ちデータは、センサからのセンシングデータを含んでもよく、このセンサは、視覚センサ(例えば、カメラ、赤外線センサ)、マイクロフォン、近接センサ(例えば、超音波センサ、レーダー)、位置センサ、温度センサ、タッチセンサ等であってもよい。いくつかの状況において、符号化待ちデータは、ユーザからの情報、例えば、生体情報を含んでもよく、この生体情報は、顔面の特徴,指紋スキャン、網膜スキャン、声紋、DNAサンプリング等を含んでもよい。
【0022】
ここで、各々の画像を符号化する際に、画像を最初に複数の画像ブロックに分割することができる。いくつかの実施例において、画像を複数の画像ブロックに分割することができ、前記画像ブロックは、いくつかの符号化規格において、マクロブロックまたは最大符号化ユニット(LCU,Largest Coding Unit)と呼ばれている。画像ブロックは、重なっている部分を有していてもまったく有していなくてもよい。この画像は、いかなる数の画像ブロックに分割してもよい。例を挙げれば、この画像は、1つのm×nの画像ブロック行列に分割することができる。画像ブロックは、矩形形状、正方形形状、円形形状またはその他のいかなる形状を有してもよい。画像ブロックは、p×q画素など、いかなる寸法を有してもよい。現在の動画符号化規格では、まずこの画像を複数の小ブロックに分割して、解像度が異なる画像を符号化することができる。H.264については、画像ブロックはマクロブロックと呼ばれ、その大きさは16×16画素とすることができ、HEVCについては、画像ブロックは最大符号化ユニットと呼ばれ、その大きさは64×64とすることができる。各々の画像ブロックが、異なる寸法および形状の少なくともひとつを有してもよい。その代わりに、2つ以上の画像ブロックが異なる寸法および形状の少なくともひとつを有してもよい。いくつかの実施例において、1つの画像ブロックは、1つのマクロブロックまたは最大符号化ユニットではなく、1つのマクロブロックまたは最大符号化ユニットを含む部分、または少なくとも2つの完全なマクロブロック(または最大符号化ユニット)、または少なくとも1つの完全なマクロブロック(または最大符号化ユニット)と1つのマクロブロック(または最大符号化ユニット)を含む部分、または少なくとも2つの完全なマクロブロック(または最大符号化ユニット)といくつかのマクロブロック(または最大符号化ユニット)を含む部分であってもよい。このように、画像が複数の画像ブロックに分割された後、それぞれ画像データにおけるこれらの画像ブロックを符号化することができる。
【0023】
符号化の過程において、冗長性を除去するために、画像に対して予測を行うことができる。動画における異なる画像は、異なる予測方式を採用することができる。画像で採用する予測方式に基づき、画像をフレーム内予測画像とフレーム間予測画像に区別することができ、フレーム間予測画像は、前方向予測画像と双方向予測画像を含む。I画像は、フレーム内予測画像であり、キーフレームともいう。P画像は、前方向予測画像であり、採用する前にすでに符号化された1つのP画像またはI画像を参照画像とする。B画像は、双方向予測画像であり、前後の画像を採用して参照画像とする。一実施形態は、符号化側で複数の画像を符号化した後、1つ1つの画像群(group of picture,GOP)を生成するものであり、このGOPは、1つのI画像と、複数のB画像(または双方向予測画像)およびP画像(または前方向予測画像)の少なくともひとつとからなる画像群である。復号側は、再生時に1つ1つのGOPを読み取り、復号後に画面を読み取ってからレンダリングして表示する。
【0024】
ここで、フレーム間予測を行う際に、各々の画像ブロックのために、参照フレームにおいて(一般には、時間領域付近のすでに再構築されたフレーム)最も相似したブロックを探して現在の画像ブロックの予測ブロックとする。現在のブロックと予測ブロックとの間の相対的な変位が、動きベクトル(Motion Vector,MV)である。
【0025】
動画符号化規格におけるフレーム間予測モードは、AMVPモードとMergeモードを含んでもよい。
【0026】
AMVPモードについては、先にMVPを確定し、MVPを得た後、MVPに基づき動き予測の起点を確定することができ、起点付近において動き探索を行い、探索が完了した後、最も優れたMVを得る。MVが参照ブロックの参照画像における位置を確定するため、参照ブロックから現在のブロックを減じて残差ブロックを得て、MVからMVPを減じて動きベクトル差分(Motion Vector Difference,MVD)を得る。このMVDを、ストリームによって復号側に送信する。
【0027】
Mergeモードについては、先にMVPを確定し、直接、MVPをMVとして確定することができる。ここで、MVPを得るために、先に1つのMVP候補リスト(merge candidate list)を構築することができ、MVP候補リストには、少なくとも1つの候補MVPを含んでもよく、各々の候補MVPは、対応して1つのインデックスを有してもよい。符号化側は、MVP候補リストからMVPを選択した後、このMVPインデックスをストリームの中に書き込むことができ、復号側は、このインデックスに基づき、MVP候補リストからこのインデックスに対応するMVPを探し出し、画像ブロックの復号を実現することができる。
【0028】
Mergeモードをより明確に理解するため、次に、Mergeモードを採用して符号化を行う操作の流れについて説明する。
【0029】
ステップ1、MVP候補リストを取得する。
【0030】
ステップ2、MVP候補リストから最も優れたMVPを1つ選び出すとともに、このMVPのMVP候補リストにおけるインデックスを得る。
【0031】
ステップ3、このMVPを現在のブロックのMVとする。
【0032】
ステップ4、MVに基づき参照ブロックの参照画像における位置を確定する。
【0033】
ステップ5、参照ブロックから現在のブロックを減じて残差ブロックを得る。
【0034】
ステップ6、残差データおよびMVPのインデックスをデコーダに送信する。
【0035】
以下の流れは、Mergeモードの1つの具体的な実施形態にすぎないと理解すべきである。Mergeモードは、さらに他の実施形態を有することができる。
【0036】
例えば、Skipモードは、Mergeモードの1つの特例である。MergeモードによりMVを得た後、現在のブロックと参照ブロックが基本的に同じであるとエンコーダが確定した場合、残差データを送信する必要がなく、MVのインデックスを送信するだけでよく、さらに1つのマーカーを送信してもよく、このマーカーは、現在のブロックが直接参照ブロックから得られることを表す。
【0037】
つまり、Mergeモードの特徴は、MV=MVP(MVD=0)であり、Skipモードはもう一つの特徴を有し、すなわち、再構築値rec=予測値pred(残差分resi=0)である
【0038】
上記MVP候補リストを構築する際には、HMVP候補リストから候補HMVPを選択し、MVP候補リストにおける候補MVPとすることができる。
【0039】
上述したHMVPについては、すでに符号化された1つのブロックの符号化を完了したときに、このすでに符号化された1つのブロックの動き情報を用いて、次の符号化待ちブロックのHMVPリストを更新するため、画像ブロック間の依存性が比較的強い。
【0040】
ハードウェアにおいて実現する際には、スループットを増加させるため、隣接するブロックの符号化(例えば動き予測等)プロセスを並行して行うことができるが、HMVP候補リストを構築する際には、このような依存性のため、並行処理を行うことができなくなる。
【0041】
このため、本願の実施例で提供する以下技術的手段では、画像ブロック間の依存性を克服することができる。
【0042】
本願の実施例技術的手段は、上述したMergeモードを用いたものに限定されず、他の符号化復号モードを用いてもよく、つまり、符号化復号の過程において履歴動き情報候補リスト(例えば、HMVP候補リスト)を採用したあらゆる符号化復号モードを適用することができることを理解すべきである。
【0043】
本願の実施例技術的手段は、画像ブロック間の依存性を克服することができ、これにより、画像ブロックを並行処理する場面に用いることができるが、本願は、並行処理以外の場面にも用いることができ、すなわち、画像ブロック間の依存性を克服することは、他の用途にも用いることができると理解すべきである。
【0044】
図2は、本願の実施例による動画処理方法200の模式的フローチャートである。この方法200は、以下の内容のうちの少なくとも一部の内容を含む。ここで、以下の方法200は、符号化側に用いることも、復号側に用いることもできる。
【0045】
210において、現在のフレームにおける第1の領域に含まれる複数の第1の画像ブロックにおける第1の画像ブロック各々を符号化または復号するために用いられる、前記第1の領域に含まれる画像ブロック以外のすでに符号化または復号された画像ブロックである第2の画像ブロックの動き情報に基づき取得される履歴動き情報候補リストを取得する。
【0046】
220において、前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号する。
【0047】
図3は、本願の実施例による動画処理方法300の模式的フローチャートである。この方法300は、以下の内容のうちの少なくとも一部の内容を含む。ここで、以下の方法300は、符号化側に用いることも、復号側に用いることもできる。
【0048】
310において、履歴動き情報候補リストを用いて、現在のフレームの第2の領域における少なくとも1つの第2の画像ブロックを符号化または復号する。
【0049】
320において、前記第2の領域における少なくとも一部の第2の画像ブロックを符号化または復号した後の動き情報に基づき、前記履歴動き情報候補リストを更新し、更新後の前記履歴動き情報候補リストを得る。
【0050】
330において、更新後の前記履歴動き情報候補リストを用いて前記現在のフレームの第1の領域における複数の第1の画像ブロックを符号化または復号する。
【0051】
以上の方法200または300において、すでに符号化または復号された第2の画像ブロックの動き情報を用いて履歴動き情報候補リストを構築し、構築された履歴動き情報候補リストを用いて第1の領域の複数の第1の画像ブロックを符号化または復号することができ、この複数の第1の画像ブロック間の相互依存性を克服し、第1の領域の複数の第1の画像ブロックが独立して符号化または復号をし続けることを可能にすることができる。
【0052】
本願をより明確に理解するため、次に本願の実施例の具体的な実施形態について説明する。以下の説明は、以上の方法200および300に適用することができると理解すべきである。
【0053】
本願の実施例における履歴動き情報候補リストは、少なくとも1つの候補履歴動き情報を含んでもよく、この候補履歴動き情報は、動き情報リストを構築するために選択することができ、これにより、符号化側または復号側は、この動き情報リストから現在の画像ブロックの動き情報を選択することができる。ここで、候補履歴動き情報は、すでに符号化または復号された画像ブロックの動き情報に基づき取得されるものである。
【0054】
選択可能に、本願の実施例における動き情報は、動きベクトル、参照フレームインデックス値、動きベクトル差、動きベクトル予測値のうちの1つ以上の組み合わせを表すことができる。
【0055】
本願の実施例における履歴動き情報候補リストは、HMVP候補リストであってもよく、このHMVP候補リストは、選択可能に、少なくとも1つの候補MVPを含んでもよい。
【0056】
本願の実施例における領域(例えば、第1の領域または第2の領域)は、動き予測領域(Motion Estimation Region,MER)であってもよい。MERは、矩形領域であっても、非矩形領域であってもよく、例えば、複数の正方形や長方形からなる非矩形領域であってもよい。
【0057】
各々の領域内の画像ブロックの符号化プロセスは、並行処理が可能である。
【0058】
本願の実施例における各領域の大きさは、同じであっても、異なっていてもよい。領域は、正方形、長方形、菱形、三角形、台形または円形等とすることができる。
【0059】
本願の実施例において、1つの領域が1つのCTUのみに属していてもよく、すなわち、領域は、CTUを跨いでいなくてもよく、1つのCTUは、1つ以上の領域を含んでもよい。当然ながら、1つの領域は、1つ以上のCTUを含んでも、非整数個のCTUを含んでもよく、つまり、あるCTUが複数の領域に属していてもよい。
【0060】
本願の実施例において、各々の領域は、1つ以上の画像ブロックを含んでもよく、各画像ブロックの大きさは、同じであっても、異なっていてもよい。各領域に含まれる画像ブロックの数は、同じであっても、異なっていてもよい。各領域の画素は、重なっている部分が存在していなくてもよい。
【0061】
本願の実施例における画像ブロックは、符号化ユニット(Coding Unit,CU)であってもよく、当然ながら、予測ユニット(prediction unit,PU)であってもよく、本願の実施例ではこれについて具体的に限定しない。
【0062】
例えば、図4に示すMER1、MER2、MER3およびMER4の4つのMERにおいて、この4つのMERの大きさは同じであってもよく、各MERに含まれる画像ブロックの数は異なっていてもよく、MER1は、CU0、CU1、CU2およびCU3の計4つのCUを含み、MER2は、CU4、CU5、CU6、CU7およびCU8の計5つのCUを含み、MER3は、CU9を含み、MER4は、CU10、CU11およびCU12を含み、各CUの大きさは、完全に同じでなくてもよい。
【0063】
選択可能に、本願の実施例において、図5に示すように、前の領域(第2の領域)のすでに符号化または復号された画像ブロックの動き情報を用いて、履歴動き情報候補リストを更新し、更新された履歴動き情報候補リストを用いて、現在の領域(第1の領域)の画像ブロックを符号化または復号することができる。さらに、現在の領域のすでに符号化または復号された画像ブロックの動き情報を用いて、履歴動き情報候補リストを再度更新し、次の領域の画像ブロックの符号化または復号に用いることができる。
【0064】
選択可能に、本願の実施例において、前記第1の領域に対し、異なる前記第1の画像ブロックを符号化または復号するとき、採用する前記履歴動き情報候補リストに含まれる候補履歴動き情報および前記候補履歴動き情報は、前記履歴動き情報候補リストにおける順序が同じである。
【0065】
領域をMERとする例では、現在のMERにおけるすべての画像ブロックの符号化または復号が完了した後、次のMERにおけるCUの符号化または復号に用いる履歴動き情報候補リストが、現在のMERで用いる履歴動き情報候補リストと異なるものであることを保証するため、現在のMERにおける画像ブロックの動き情報を用いて、履歴動き情報候補リストを更新することができ、次のMERにおけるCUを符号化または復号する際に、更新後の履歴動き情報候補リストを用いて構築動き情報リストを得る。
【0066】
例えば、図4に示すように、MER1におけるすべての画像ブロック(CU0~CU3)の符号化または復号が完了した後、MER2における画像ブロックを符号化または復号する前に、CU0~CU3の動き情報を用いて履歴動き情報候補リストを更新することができ、履歴動き情報候補リストの更新が完了した後、MER2におけるすべての画像ブロック(CU4~CU8)を符号化または復号する過程において、用いる履歴動き情報候補リストは再び更新せず、いずれも同じ履歴動き情報候補リストを用いる。MER3におけるすべての画像ブロック(CU9)の符号化または復号が完了した後、MER4における画像ブロックを符号化または復号する前に、CU9の動き情報を用いて履歴動き情報候補リストを更新する必要があり、履歴動き情報候補リストの更新が完了した後、MER4におけるすべての画像ブロック(CU10~CU12)を符号化または復号する過程において、用いる履歴動き情報候補リストは再び更新せず、いずれも同じ履歴動き情報候補リストを用いる。
【0067】
選択可能に、本願の実施例において、履歴動き情報候補リストを用いて動き情報リストを構築するとき、先入先出の原則を採用してもよく、すなわち、先に追加された履歴動き情報が、先に選択された動き情報リストの構築に用いられる。
【0068】
具体的には、第1の動き情報(第2の領域のすでに符号化または復号された画像ブロックの動き情報に基づき得られたもの)を履歴動き情報候補リストの上位に加える。ここで、上位とは、履歴動き情報候補リストにおいて最も先に選択された動き情報リストの構築に用いられる位置をいい、これにより、先に履歴動き情報候補リストに加えられた履歴動き情報を、優先的に選択して動き情報リストの構築に用いることができる。
【0069】
選択可能に、本願の実施例において、履歴動き情報候補リストに含まれる候補履歴動き情報の数は、所定のものであってもよく、つまり、履歴動き情報候補リストの大きさが固定であり、例えば、履歴動き情報候補リストに含まれる候補履歴動き情報の数を6に固定してもよい。
【0070】
このようにして、すでに符号化または復号された画像ブロックの動き情報を履歴動き情報候補リストに加え、履歴動き情報候補リストに含まれる候補履歴動き情報の数を増加させることにより、同時に履歴動き情報候補リストから同じ数の候補履歴動き情報を削除することができる。
【0071】
ここで、履歴動き情報候補リストから候補履歴動き情報を削除するとき、削除される候補履歴動き情報は、履歴動き情報候補リストにおける下位にある候補履歴動き情報であってもよい。ここで、下位にある候補履歴動き情報とは、最後に選択された動き情報リストの構築に用いられる候補履歴動き情報をいう。
【0072】
または、他の方式を採用して履歴動き情報候補リストから候補履歴動き情報を削除してもよい。
【0073】
例えば、履歴動き情報候補リストに追加された候補履歴動き情報が履歴動き情報候補リストにすでに存在している候補履歴動き情報と同じである場合、この同じ候補履歴動き情報を削除することができる。ここで、同じ候補履歴動き情報の履歴動き情報候補リストにおける位置を移動させ、履歴動き情報候補リストの上位に移動させると理解することもできる。
【0074】
例えば、図6に示すように、更新前のHMVP候補リストは、L個の候補履歴動き情報を含み、追加が必要な候補履歴動き情報はHMVPであり、HMVP候補リストをチェックし、更新前のHMVP候補リストに同じHMVPが存在していることがわかった。このとき、このHMVPをHMVP候補リストの上位に移動させ、それに応じて他の候補履歴動き情報の位置を調整することができる。または、図6は、更新前のHMVP候補リストにHMVPを加え、更新前のHMVP候補リストにおけるHMVPを削除すると理解することもできる。
【0075】
上述した下位における候補履歴動き情報を削除し、追加した候補履歴動き情報と同じ候補履歴動き情報を削除する操作は、同時に存在することができることを理解すべきである。
【0076】
例えば、加える必要がある候補履歴動き情報が2つであり、一方の候補履歴動き情報が更新前のリストにおけるある候補履歴動き情報と同じであり、他方の候補履歴動き情報は更新前のリストにおいて同じ候補履歴動き情報が存在しておらず、このとき、リストにおいてこの同じ候補履歴動き情報を削除し、下位にある候補履歴動き情報を削除して、追加される候補履歴動き情報の数が削除される候補履歴動き情報の数と同じになるようにすることができる。
【0077】
選択可能に、本願の実施例において、毎回の履歴動き情報候補リストを更新する過程において、履歴動き情報候補リストに追加される候補履歴動き情報の数および削除される候補履歴動き情報の数のうち少なくともひとつは、所定の値よりも小さくてもよく、この所定の値は、履歴動き情報候補リストに含まれることが許される候補履歴動き情報の数以下とすることができる。
【0078】
選択可能に、本願の実施例において、第2の領域のすでに符号化または復号された画像ブロックの動き情報のすべてを履歴動き情報候補リストの更新に用いても、またはすでに符号化または復号された画像ブロックの動き情報の一部を履歴動き情報候補リストの更新に用いてもよい。
【0079】
選択可能に、本願の実施例において、履歴動き情報候補リストを更新するために用いられる第2の画像ブロックは、前記第2の領域において最後に符号化または復号された画像ブロックであってもよいか、前記第2の領域における指定位置の画像ブロックを含むかの少なくともひとつである。
【0080】
ここで、前記第2の領域における指定位置の画像ブロックは、次の少なくとも1つの位置にある画像ブロックを含む。
【0081】
前記第2の領域の左上隅、前記第2の領域の右上隅、前記第2の領域の左下隅、前記第2の領域の右下隅、前記第2の領域の中心点。
【0082】
選択可能に、本願の実施例において、第2の領域における履歴動き情報候補リストを更新するために用いることができる第2の画像ブロックは、各第2の画像ブロックの位置座標および符号化順序のうち少なくともひとつに基づき選択されるものとすることができる。
【0083】
ここで、前記第2の領域における右側の画像ブロックの優先レベルが前記第2の領域における左側の画像ブロックの優先レベルよりも高いか、前記第2の領域における下側の画像ブロックの優先レベルが前記第2の領域における上側の画像ブロックの優先レベルよりも高いかの少なくともひとつである。ここで、上述した下側および上側は、対向する位置であってもよく、真上または真下の位置でなければならないというわけではない。または、先に符号化された画像ブロックの動き情報の優先レベルは、後から符号化された画像ブロックの優先レベルよりも高い。
【0084】
例えば、図4に示すように、MER2を現在の領域(すなわち第1の領域)とする場合、MER1のCU1およびCU3の優先レベルは、CU0およびCU2の優先レベルよりも高く、CU3の優先レベルはCU1の優先レベルよりも高い。
【0085】
本願の実施例において、第2の領域における各第2の画像ブロックの優先レベルは、第2の画像ブロックの位置座標および符号化順序の少なくともひとつに基づき定められる以外に、他の要素に基づき定めることもでき、本願の実施例は、これについて具体的に限定しないことを理解すべきである。
【0086】
選択可能に、本願の実施例における一実施形態において、毎回の更新を必要とする履歴動き情報の数に基づき、第2の領域からすでに符号化または復号された画像ブロックを選択し、選択されたすでに符号化または復号された画像ブロックの動き情報を履歴動き情報候補リストの更新に用いることができる。ここで、更新を必要とする履歴動き情報の数は、選択されたすでに符号化または復号された画像ブロックの数と等しくてもよい。
【0087】
例えば、履歴動き情報候補リストに対して2つの候補履歴動き情報を更新する必要がある場合、第2の領域からすでに符号化または復号された画像ブロックを2つ選択し、履歴動き情報候補リストにこの選択された2つのすでに符号化または復号された画像ブロックの動き情報を追加し、2つの候補履歴動き情報を削除することができる。
【0088】
選択可能に、本願の実施例の別の実施形態において、選択されたすでに符号化または復号された画像ブロックの数は、更新を必要とする履歴動き情報の数よりも大きくてもよい。このとき、選択されたすでに符号化または復号された画像ブロックの動き情報のすべてまたは一部に対して重み付け処理を行い、用いることが可能な履歴動き情報の数を、更新を必要とする候補履歴動き情報の数と等しくすることができる。
【0089】
例えば、履歴動き情報候補リストに対して更新する必要がある履歴動き情報の数が1つであり、選択されたすでに符号化または復号された画像ブロックの数が3つである場合、この3つのすでに符号化または復号された画像ブロックの動き情報に対して重み付け処理を行い、1つの候補履歴動き情報を得て、この1つの候補履歴動き情報を履歴動き情報候補リストに加え、この履歴動き情報候補リストから候補履歴動き情報を1つ削除することができる。
【0090】
例えば、履歴動き情報候補リストを更新する必要がある履歴動き情報の数が2つであり、選択されたすでに符号化または復号された画像ブロックの数が3つである場合、そのうちの2つのすでに符号化または復号された画像ブロックの動き情報に対して重み付け処理を行い、1つの候補履歴動き情報を得て、重み付け処理済のこの1つの候補履歴動き情報および未処理の1つの候補履歴動き情報を履歴動き情報候補リストに加え、この履歴動き情報候補リストから候補履歴動き情報を2つ削除することができる。
【0091】
ここで、複数のすでに符号化または復号された画像ブロックの動き情報に対して重み付け処理を行うとき、平均処理を行っても、平均処理を行わなくてもよい。
【0092】
ここで、各動き情報の重み付けは、各すでに符号化または復号された画像ブロックと第1の領域との位置関係および各すでに符号化または復号された画像ブロックの符号化または復号順序のうち少なくともひとつにより定めることができる。
【0093】
例えば、第1の領域の左側に位置する、第2の領域に属する画像ブロックの動き情報の優先レベルは、左上および左下の画像ブロックの動き情報の優先レベルよりも高い。
【0094】
例えば、先に符号化された画像ブロックの動き情報の優先レベルは、後から符号化された画像ブロックの優先レベルよりも高い。
【0095】
選択可能に、本願の実施例において、複数の動き情報を履歴動き情報候補リストに加える必要があるとき、この複数の動き情報は、優先レベルを有してもよく、優先レベルが高い動き情報を上位の前側の位置に加え、優先レベルが低い動き情報を上位の後側の位置に加える。
【0096】
ここで、すでに符号化または復号された画像ブロックの動き情報の優先レベルは、すでに符号化または復号された画像ブロックと現在の領域の位置関係により定めることができる。
【0097】
例えば、現在の領域の左側に位置する画像ブロックの動き情報の優先レベルは、左上および左下の画像ブロックの動き情報の優先レベルよりも高い。
【0098】
選択可能に、本願の実施例において、第2の領域における履歴動き情報候補リストを更新するために用いることができる画像ブロックは、アフィン変換動き補償(affine)モードの画像ブロックとすることができる。ここで、affineモードは、選択可能に、制御点の動き情報に基づき、画像ブロック全体のアフィン動き(拡大/縮小、回転等の不規則な動き)の場である。
【0099】
選択可能に、本願の実施例において、1つ以上の第2の領域を選択して履歴動き情報候補リストを更新してもよく、そのうち、1つの第2の領域を選択して履歴動き情報候補リストを更新する場合、この1つの第2の領域は、第1の領域の1つ前に符号化または復号された領域としてもよい。
【0100】
選択可能に、本願の実施例において、前記第2の領域と前記第1の領域は画像の行方向に沿って配列されるか、または画像の列方向に沿って配列される。
【0101】
つまり、現在の領域で用いる履歴動き情報候補リストを更新するとき、採用する領域は、現在の領域と同じ行配列、または同じ列配列を有する必要がある。
【0102】
例えば、図4に示すように、MER1は、HMVP候補リストを更新するために用いられ、MER2の符号化または復号に用いられることができ、MER3は、HMVP候補リストを更新するために用いられ、MER4の符号化または復号に用いられることができる。MER2は、HMVP候補リストを更新するために用いることができず、MER3の符号化または復号に用いることができない。
【0103】
または、図4に示すように、MER1は、HMVP候補リストを更新するために用い、MER3の符号化または復号に用いることができ、MER2は、HMVP候補リストを更新するために用い、MER4の符号化または復号に用いることができる。MER3は、HMVP候補リストを更新するために用いることができず、MER2の符号化または復号に用いることができない。
【0104】
選択可能に、本願の実施例において、前記第2の領域が画像の行方向に沿った配列または列方向に沿った配列のうち最も早く符号化または復号された領域である場合、前記第2の領域を符号化または復号するときに採用する前記HMVP候補リストは空である。
【0105】
具体的には、エンコーダは、毎回、行(または列)で1つの行(または列)の符号化が完了したときに、履歴動き情報候補リストをクリアすることができ、次の行(または列)を符号化するとき、履歴動き情報候補リストは空である。
【0106】
ここでいう行(または列)は、複数の領域を含んでもよく、1つの行(列)の複数の領域の符号化が完了した後、次の行(列)の複数の領域を符号化することができ、ここで、各行(または列)の行(または列)座標の範囲は同じであり、列(または行)座標の範囲は異なっている。
【0107】
上述した行または列は、CTU行または列であってもよく、各CTU行またはCTU列は、少なくとも1つのCTUを含み、各CTUは、少なくとも1つの領域を含む。
【0108】
この場合、1つのCTU行または列の符号化が完了したとき、HMVPリストをクリアしてから、次のCTU行または列を符号化することができる。
【0109】
例えば、図4に示すように、MER1におけるCUを符号化するとき、MER1が現在のCTU行における1つ目のMERである場合、MER1におけるすべての画像ブロックで用いられる履歴動き情報候補リストが空であり、MER1が現在のCTU行における1つ目のMERではない場合、MER1におけるすべての画像ブロックで用いられる履歴動き情報候補リストは、1つ前のMERにおける画像ブロックの動き情報を更新した後の履歴動き情報候補リストである。
【0110】
本願の実施例では、以上の記述に限定されないことを理解すべきであり、例えば、現在のフレームの1つ目の領域を符号化または復号したときにのみ、履歴動き情報候補リストが空であり、他の領域の履歴動き情報候補リストはいずれも1つ前の領域の画像ブロックの動き情報により更新を行い得ることができる。
【0111】
例えば、図4に示すように、MER1におけるCUを符号化するとき、MER1が現在のフレームにおける1つ目のMERである場合、MER1におけるすべての画像ブロックで用いられる履歴動き情報候補リストが空であり、MER1が現在のフレームにおける1つ目のMERではない場合、MER1におけるすべての画像ブロックで用いられる履歴動き情報候補リストは、1つ前のMERにおける画像ブロックの動き情報を更新した後の履歴動き情報候補リストである。
【0112】
選択可能に、本願の実施例において、履歴動き情報候補リストを更新するとき、更新に用いる履歴動き情報を選択し、他の優先レベルがより高いリスト(つまり、履歴動き情報候補リストに比べ、このリストにおける候補動き情報は、動き情報リストの構築に優先して用いられる)における選択可能な候補動き情報と比較(pruning)してもよい。
【0113】
ここで、すでに優先レベルがより高い他のリストを用いて動き情報リストを構築している場合、更新に用いる履歴動き情報を選択して、動き情報リストにおける既存の候補動き情報と比較することができる。
【0114】
リスト中での優先レベルがより高い他の候補動き情報(または、動き情報リストに既存の候補動き情報)が、この選択された更新に用いる履歴動き情報と異なる場合、この履歴動き情報をこの履歴動き情報候補リストに加えることができる。
【0115】
同じである場合、この履歴動き情報をこの履歴動き情報候補リストに加えなくてもよく、新しい履歴動き情報をさらに選択して、この履歴動き情報候補リストに加えることができる。
【0116】
例えば、第2の領域において優先レベルがより低い画像ブロックの動き情報を選択して履歴動き情報としてこの履歴動き情報候補リストに加えるか、または、この履歴動き情報候補リストにおいて更新しても、または少ない数の候補履歴動き情報の更新を行ってもよい。
【0117】
ここで、上述した比較の回数を少なくしてソフトウェア・ハードウェアのリソースコストを低減するため、比較の回数を制限してもよい。
【0118】
比較の回数の最大値は、リスト中での優先レベルがより高い他の候補動き情報(または、動き情報リストに既存の候補動き情報)の数、および履歴動き情報候補リストに含まれる候補履歴動き情報の数といったパラメータにより確定することができる。
【0119】
この最大値Lの具体的な制限は、例えば次のようにすることができる。
L=(N<=4)?M:(8-N)
式中、Lは比較の回数を表し、Nは、リスト中での優先レベルがより高い他の候補動き情報(または、動き情報リストに既存の候補動き情報)の数を表し、Mは、履歴動き情報候補リスト中の候補履歴動き情報の数を表す。
【0120】
以上の公式の意味は、Nが4以下である場合、比較の回数は最大Mに等しく、4を超える場合には、比較の回数は最大8-Nであると理解することができる。
【0121】
選択可能に、本願の実施例において、上記履歴動き情報候補リストを1つのストレージスペースの中に記憶してもよい。選択可能に、その場合、現在のフレームの第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて前記履歴動き情報候補リストを更新することは、前記第2の領域で符号化または復号が完了した後に行うものである。
【0122】
具体的には、上記履歴動き情報候補リストを1つのストレージスペースの中に記憶することは、履歴動き情報候補リストの数は1つであってもよいと理解することができ、このとき、この履歴動き情報候補リストを用いて、1つ前の領域の符号化または復号を完了した後、対応する画像ブロックの動き情報を用いて、この履歴動き情報候補リストを更新し、更新後の履歴動き情報候補リストを用いて、現在の領域の画像ブロックを符号化または復号し、現在の領域の画像ブロックの符号化または復号が完了した後、この履歴動き情報候補リストを再度更新し、再度更新した履歴動き情報候補リストは、次の領域の符号化または復号に用いることができる。
【0123】
選択可能に、本願の実施例において、上記履歴動き情報候補リストは、それぞれ第1のストレージスペースおよび前記第1のストレージスペース以外の第2のストレージスペースの中に記憶してもよい。このとき、そのうちの一方のストレージスペースに記憶された履歴動き情報候補リストを用いて、第2の領域の画像ブロックを符号化または復号することができ、第2の領域において符号化または復号を行う過程において、第2の領域のすでに符号化または復号された第2の画像ブロックを用いて、他方のストレージスペースに記憶された履歴動き情報候補リストを更新することができ、これにより、符号化または復号プロセスと履歴動き情報候補リストの同時進行を実現することができる。
【0124】
理解の便宜のため、次に、2種類の実施形態を提供して、上記履歴動き情報候補リストをそれぞれ第1のストレージスペースおよび第2のストレージスペースに記憶した場合の履歴動き情報候補リストの使用方法について説明する。
【0125】
実施形態1
履歴動き情報候補リストは、それぞれ第1のストレージスペースおよび第2のストレージスペースに記憶され、前記第2の領域は、前記第2のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行う。前記第2の領域の符号化プロセスまたは復号プロセスにおいて、前記第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを更新する。前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号する。
【0126】
さらに、前記第2の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新する。前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、第3の領域の少なくとも1つの第3の画像ブロックを符号化または復号する。ここで、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにする。
【0127】
具体的には、1つ目の領域、領域1(現在のフレームまたは現在のCTU行の1つ目の領域)を符号化または復号するとき、ストレージスペースAおよびストレージスペースBに同じ履歴動き情報候補リスト(リストは空であってもよい)がそれぞれ記憶されており、この領域1に対して、ストレージスペースAにおける履歴動き情報候補リストを用いて符号化または復号を行うことができる。領域1における画像ブロックの符号化または復号の完了順序は前後するため、すでに符号化または復号が完了した画像ブロックの動き情報を用いて、ストレージスペースBにおける履歴動き情報候補リストを更新することができる。領域1の符号化または復号プロセスが完了した後、ストレージスペースBにおける履歴動き情報候補リストは、すでに更新が完了している可能性があり、このとき、ストレージスペースBにおける更新後の履歴動き情報候補リストを用いて、2つ目の領域、領域2を符号化または復号すると同時に、ストレージスペースBにおける更新後の履歴動き情報候補リストを用いて、ストレージスペースAにおける履歴動き情報候補リストを更新することができる。ストレージスペースAにおける履歴動き情報候補リストは、ストレージスペースBにおける更新後の履歴動き情報候補リストに基づき更新された後、領域2の符号化または復号する過程において、領域2のすでに符号化または復号された画像ブロックを用いて、ストレージスペースAにおける履歴動き情報候補リストを再度更新することができる。領域2の符号化または復号プロセスが完了した後、ストレージスペースAにおける履歴動き情報候補リストは、すでに再度の更新が完了している可能性があり、ストレージスペースAにおける再度更新された履歴動き情報候補リストを用いて、3つ目の領域、領域3における画像ブロックを符号化または復号すると同時に、ストレージスペースAにおける再度更新された履歴動き情報候補リストを用いて、ストレージスペースBにおける履歴動き情報候補リストを再度更新することができる。後続の操作は、前の説明を参照して順次類推することができる。
【0128】
この実施形態では、履歴動き情報候補リストが2つのストレージスペースの中に記憶され、各々のストレージスペースにおける履歴動き情報候補リストが領域の符号化または復号に交互に用いられ、領域の符号化または復号プロセスにおいて、現在まだ用いられていない履歴動き情報候補リストを更新することができ(用いられた履歴動き情報候補リストをこの現在まだ用いられていない履歴動き情報候補リストに更新し、現在すでに符号化または復号された画像ブロックの動き情報をこの現在まだ用いられていない履歴動き情報候補リストに更新することを含む)、これにより、履歴動き情報候補リストの更新および画像ブロックの符号化または復号の同時進行を実現し、符号化または復号の効率を高めることができる。
【0129】
実施形態2
前記履歴動き情報候補リストは、それぞれ第1のストレージスペースおよび第2のストレージスペースに記憶され、前記第2の領域は、前記第2のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行う。前記第2の領域の符号化プロセスまたは復号プロセスにおいて、前記第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを更新する。前記第2の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新する。前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号する。さらに、前記第1の領域の符号化プロセスまたは復号プロセスにおいて、前記第1の領域に含まれる少なくとも1つの第1の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを再度更新する。前記第1の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける再度更新された前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを再度更新する。前記第2のストレージスペースにおける再度更新された前記履歴動き情報候補リストに基づき、それぞれ第3の領域の少なくとも1つの第3の画像ブロックを符号化または復号する。ここで、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにする。
【0130】
具体的には、1つ目の領域、領域1(現在のフレームまたは現在のCTU行の最初の領域)を符号化または復号するとき、ストレージスペースAおよびストレージスペースBに同じ履歴動き情報候補リスト(リストは空であってもよい)がそれぞれ記憶されており、ストレージスペースAにおける履歴動き情報候補リストを用いて、この領域1を符号化または復号することができる。領域1における画像ブロックの符号化または復号の完了順序は前後するため、すでに符号化または復号が完了した画像ブロックの動き情報を用いて、ストレージスペースBにおける履歴動き情報候補リストを更新することができる。領域1の符号化または復号プロセスが完了した後、ストレージスペースBにおける履歴動き情報候補リストは、すでに更新が完了している可能性があり、このとき、ストレージスペースBにおける履歴動き情報候補リストを用いて、ストレージスペースAにおける履歴動き情報候補リストを更新し、ストレージスペースAの更新後の履歴動き情報候補リストを得ることができる。また、ストレージスペースAの更新後の履歴動き情報候補リストを用いて、2つ目の領域、領域2を符号化または復号し、領域2を符号化または復号する過程において、ストレージスペースBにおける履歴動き情報候補リストを再度更新する。領域2の符号化または復号プロセスが完了した後、ストレージスペースBにおける履歴動き情報候補リストは、すでに再度の更新が完了している可能性があり、このとき、ストレージスペースBにおける履歴動き情報候補リストを用いて、ストレージスペースAにおける履歴動き情報候補リストを再度更新することができ、ストレージスペースAにおいて履歴動き情報候補リストを再度更新することにより、領域3を符号化または復号することができる。後続の操作は、以上の説明により順次類推することができる。
【0131】
この実施形態では、履歴動き情報候補リストが2つのストレージスペースの中に記憶され、そのうち一方のストレージスペースにおける履歴動き情報候補リストが、領域の符号化または復号にずっと用いられ、領域の符号化または復号プロセスにおいて、他方のストレージスペースの履歴動き情報候補リストが更新される。領域の符号化または復号の後、この他方のストレージスペースの更新後の履歴動き情報候補リストを用いて、この一方のストレージスペースにおける履歴動き情報候補リストを更新する。一方の更新後の履歴動き情報候補リストを用いて他方の履歴動き情報候補リストを更新する時間は、画像ブロックの動き情報を用いて履歴動き情報候補リストを更新する時間より短い可能性が大きいため、この実施形態では、領域の符号化または復号が完了した後、一方の更新後の履歴動き情報候補リストを用いて他方の履歴動き情報候補リストを更新することのみが必要であり、更新に必要な時間は比較的短く、符号化または復号の効率を高めることができる。
【0132】
以上、履歴動き情報候補リストをいかにして更新するかについて説明した。次に、更新後の履歴動き情報候補リストを用いていかにして符号化または復号を行うかについて説明する。
【0133】
具体的には、更新後の前記履歴動き情報候補リストを用いて、それぞれ第1の領域の第1の画像ブロックの各々のために動き情報リストを生成し、それぞれ前記第1の画像ブロック各々のために生成された動き情報リストを用いて、前記第1の画像ブロック各々のために動き情報を選択することができる。
【0134】
ここで、符号化側については、動き情報リストから動き情報を選択するとき、現在の符号化待ちの第1の画像ブロックと、動き情報リストにおける各動き情報に対応する画像ブロックをマッチングし、マッチングコストが最も小さい画像ブロックに対応する動き情報を選択して選択された動き情報とし、動き情報のインデックスをストリームに書き込むことができる。
【0135】
復号側は、同じ方式を採用して動き情報リストを構築し、ストリームから動き情報のインデックスを読み取り、このインデックスに基づき直接動き情報リストから現在の画像ブロックの動き情報を選択することにより、さらにこの動き情報により復号を行うことができる。
【0136】
次に、Mergeモードおよび動き情報リストをMVP候補リストとする例により、動き情報リストをいかにして構築するかについて説明する。
【0137】
ここで、MVP候補リストの構成は、次の(1)~(5)の少なくとも一部を含むことができる。
【0138】
具体的には、(1)における空間領域候補MVを用いてMVP候補リストを構築し、このときに構成されるMVP候補リストに含まれる候補MVPの数が所定の数に達していない場合、空間領域候補MVを含むMVP候補リストに、(2)における時間領域候補MVを加え続けることができ、このときに構成されるMVP候補リストに含まれる候補MVPの数が所定の数に達していない場合、空間領域候補MVおよび時間領域候補MVを含むMVP候補リストに、(3)におけるペアワイズ候補MVを加え続けることができ、このときに構成されるMVP候補リストに含まれる候補MVPの数が所定の数に達していない場合、空間領域候補MV、時間領域候補MVおよびペアワイズ候補MVを含むMVP候補リストに、(4)におけるHMVPを加え続けることができ、このときに構成されるMVP候補リストに含まれる候補MVPの数が所定の数に達していない場合、MVP候補リストの候補MVPの数が所定の値に達するまで、空間領域候補MV、時間領域候補MV、ペアワイズ候補MVおよびHMVPを含むMVP候補リストに、(5)におけるゼロベクトルを加え続けることができる。
【0139】
ここで、次のいずれかの一部の候補を、MVP候補リストに加えるとき、このリストに含まれる候補MVPの数がすでに所定の数に達している場合、この余剰部分の要素をMVP候補リストに加えることを停止することができる。
【0140】
次に、候補MVPリストを構成する各部分について説明する。
【0141】
(1)空間領域候補MV
具体的には、現在の画像ブロックと空間領域上で隣接する画像ブロックのMVを、MVP候補リストに加えることができる候補MVPとすることができる。
【0142】
例えば、図7に示すように、現在の画像ブロックの左下隅の画像ブロックがA0であり、左側の画像ブロックがA1であり、左上隅の画像ブロックがB2であり、上側の画像ブロックがB1であり、右上隅がB0である場合、候補MVPとする順序は、優先レベルに基づき、高い方から低い方へ、A1→B1→B0→A0→B2である。
【0143】
(2)時間領域候補MV
具体的には、現在の画像ブロックと時間領域上で隣接する画像ブロックのMVを、MVP候補リストに加えることができる候補MVPとすることができる。
【0144】
空間領域候補MVの場合とは異なり、時間領域候補MVは、候補ブロックの動き情報を直接用いずに、現在のフレームと参照フレームとの間の時間領域の位置関係に基づき、対応するスケーリング調整を行うことができる。
【0145】
(3)ペアワイズ候補MV
現在のMVP候補リストをすでに構成している候補MVPに基づき、予め定義された対により平均を求め、ペアワイズ候補MVを導き出す。
【0146】
予め定義された対をなす方式および順序は、(0,1)、(0,2)、(1,2)、(0,3)、(1,3)、(2,3)であり、ここで、0、1、2および3は、それぞれHMVP候補リストに既存の1つ目、2つ目、3つ目および4つ目の候補MVPを表し、各々の括弧は、その中のMVP候補について平均を求めることを表す。
【0147】
(4)HMVP
画像ブロックをすでに符号化したMVを採用してHMVP候補リストを構築することができ、HMVP候補リスト中の候補HMVPを、MVP候補リストに加える候補MVPとして選択することができる。
【0148】
(5)ゼロベクトル
(1)~(4)の各項をMVP候補リストに加えたときに、依然としてMVP候補リスト中のMVP候補が所定の数に達していない場合、MVP候補リストの候補MVPの数が所定の値に達するまで、ゼロベクトルを用いて充填することができる。
【0149】
以上説明した動き情報リストは、本願の実施例の具体的な実施形態にすぎず、本願の実施例を特に限定するものではないことを理解すべきである。
【0150】
選択可能に、本願の実施例において、空間領域動き情報候補リストを構築する際に、同じ領域の画像ブロックの動き情報を採用することを避けて構築してもよい。具体的には、前記第1の画像ブロック各々に対応する空間領域動き情報候補リスト中の動き情報に対応する画像ブロックは、前記第1の領域に属さない。
【0151】
例えば、図8に示すように、1つ目のMERについて、画像ブロックCU0の可能なすべての空間領域候補動き情報(灰色に塗りつぶされたブロックが所在する画像ブロックの動き情報)は、空間領域候補動き情報に対応する画像ブロックがいずれもCU0が所在するMERの外にあるため、いずれも得ることができる。2つ目のMERであるCU5については、空間領域候補動き情報は、本来、周囲の3つの黒く塗りつぶされたブロックと1つの白く塗りつぶされたブロックに対応する画像ブロックの動き情報を含むべきであるが、1つの白く塗りつぶされたブロックに対応する画像ブロックはまだ符号化されておらず、3つの黒く塗りつぶされたブロックに対応する画像ブロックがCU5と同じMERに属する場合、CU5における空間領域候補動き情報は、これらのブロックの動き情報を含まなくてもよい。このとき、CU5の空間領域候補動き情報リストは、空であってもよく、他のMERの画像ブロックの動き情報を選択して空間領域候補動き情報リストの候補としてもよい。CU9については、空間領域候補動き情報は、本来、周囲の2つの灰色に塗りつぶされたブロック、1つの黒く塗りつぶされたブロックおよび2つの白く塗りつぶされたブロックに対応する画像ブロックの動き情報を含むべきであるが、白く塗りつぶされたブロックに対応する画像ブロックはまだ符号化されておらず、1つの黒く塗りつぶされたブロックに対応する画像ブロックがCU9と同じMERに属する場合、CU9の空間領域候補動き情報リストは、2つの灰色に塗りつぶされたブロックに対応する画像ブロックの動き情報を含むことができる。
【0152】
本願の実施例において、すでに符号化または復号された第2の画像ブロックの動き情報を用いて履歴動き情報候補リストを構築し、構築された履歴動き情報候補リストを用いて第1の領域の複数の第1の画像ブロックを符号化または復号することができ、この複数の第1の画像ブロックの依存性を克服し、第1の領域の複数の第1の画像ブロックが独立して符号化または復号をし続けることを可能にすることができる。
【0153】
図9は、本願の実施例による動画処理装置400の模式的ブロック図である。この装置400は、取得ユニット410と、符号化または復号ユニット420と、を含む。
【0154】
ここで、取得ユニット410は、現在のフレームにおける第1の領域に含まれる複数の第1の画像ブロックにおける第1の画像ブロック各々を符号化または復号するために用いられる、前記第1の領域に含まれる画像ブロック以外のすでに符号化または復号された画像ブロックである第2の画像ブロックの動き情報に基づき取得される履歴動き情報候補リストを取得するために用いられ、符号化または復号ユニット420は、前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号するために用いられる。
【0155】
選択可能に、本願の実施例において、前記符号化または復号ユニット420は、さらに次のことに用いられる。
【0156】
前記履歴動き情報候補リストに基づき、並行して前記複数の第1の画像ブロックを符号化または復号する。
【0157】
選択可能に、本願の実施例において、異なる前記第1の画像ブロックを符号化または復号するとき、採用する前記履歴動き情報候補リストに含まれる候補履歴動き情報および前記候補履歴動き情報は、前記履歴動き情報候補リストにおける順序が同じである。
【0158】
選択可能に、本願の実施例において、前記取得ユニット410は、さらに次のことに用いられる。
【0159】
前記現在のフレームの第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて、前記履歴動き情報候補リストを更新し、更新後の前記履歴動き情報候補リストを、前記複数の第1の画像ブロックに対する符号化または復号に用いる。
【0160】
選択可能に、本願の実施例において、前記第2の領域の符号化または復号プロセスは、前記第1の領域よりも早く、前記第2の領域の画像ブロックは、前記更新をまだ行っていない前記履歴動き情報候補リストを採用して符号化または復号を行う。
【0161】
選択可能に、本願の実施例において、前記履歴動き情報候補リストを更新するとき、前記履歴動き情報候補リストに追加された候補履歴動き情報の数が所定の値よりも小さいか、前記履歴動き情報候補リストから削除された候補履歴動き情報の数が所定の値よりも小さいかの少なくともひとつである。
【0162】
選択可能に、本願の実施例において、装置400は、次のことに用いられる選択ユニット430をさらに含む。
【0163】
前記第2の領域の画像ブロックの位置座標に基づき、前記第2の領域に含まれる画像ブロックから前記少なくとも1つの第2の画像ブロックを選択する。
【0164】
選択可能に、本願の実施例において、前記第2の領域に含まれる画像ブロックから前記少なくとも1つの第2の画像ブロックを選択する過程において、
前記第2の領域における右側の画像ブロックの優先レベルが前記第2の領域における左側の画像ブロックの優先レベルよりも高いか、前記第2の領域における下側の画像ブロックの優先レベルが前記第2の領域における上側の画像ブロックの優先レベルよりも高いかの少なくともひとつである。
【0165】
選択可能に、本願の実施例において、前記少なくとも1つの第2の画像ブロックは、前記第2の領域における最後に符号化または復号された画像ブロックを含むか、前記第2の領域における指定位置の画像ブロックを含むかの少なくともひとつである。
【0166】
選択可能に、本願の実施例において、前記第2の領域における指定位置の画像ブロックは、次の少なくとも1つの位置にある画像ブロックを含む。
【0167】
前記第2の領域の左上隅、前記第2の領域の右上隅、前記第2の領域の左下隅、前記第2の領域の右下隅、前記第2の領域の中心点。
【0168】
選択可能に、本願の実施例において、前記取得ユニット410は、さらに次のことに用いられる。
【0169】
複数の前記第2の画像ブロックの動き情報に対して重み付け処理を行う。
【0170】
重み付け処理済の前記動き情報を用いて、前記履歴動き情報候補リストを更新する。
【0171】
選択可能に、本願の実施例において、前記第1の領域と前記第2の領域は画像の行方向に沿って配列されるか、または画像の列方向に沿って配列される。
【0172】
選択可能に、本願の実施例において、前記第1の領域と前記第2の領域は、同じ符号化ツリーユニットCTU行またはCTU列に属し、各CTU行またはCTU列は、少なくとも1つのCTUを含み、各CTUは、少なくとも1つの領域を含む。
【0173】
選択可能に、本願の実施例において、前記第2の領域が画像の行方向に沿った配列または列方向に沿った配列のうち最も早く符号化または復号された領域である場合、前記第2の領域を符号化または復号するときに採用する前記履歴動き情報候補リストは空である。
【0174】
選択可能に、本願の実施例において、前記第2の領域は、前記第1の領域の1つ前に符号化または復号された領域である。
【0175】
選択可能に、本願の実施例において、前記取得ユニット410は、さらに次のことに用いられる。
【0176】
追加が必要な第1の候補履歴動き情報を前記履歴動き情報候補リストの上位に加える。
【0177】
選択可能に、本願の実施例において、前記取得ユニット410は、さらに次のことに用いられる。
【0178】
前記履歴動き情報候補リストの末尾にある候補履歴動き情報を削除するか、または、前記履歴動き情報表における前記第1の候補履歴動き情報と同じ候補履歴動き情報を削除する。
【0179】
選択可能に、本願の実施例において、前記第2の画像ブロックは、アフィン変換動き補償モード以外の画像ブロックである。
【0180】
選択可能に、本願の実施例において、前記符号化または復号ユニット420は、さらに次のことに用いられる。
【0181】
前記履歴動き情報候補リストを用いて、それぞれ前記第1の画像ブロック各々のために動き情報リストを生成する。
【0182】
それぞれ前記第1の画像ブロック各々のために生成された動き情報リストを用いて、前記第1の画像ブロック各々のために動き情報を選択する。
【0183】
選択可能に、本願の実施例において、前記符号化または復号ユニット420は、さらに次のことに用いられる。
【0184】
前記履歴動き情報候補リスト、および前記第1の画像ブロック各々に対応する空間領域動き情報候補リストを用いて、それぞれ前記第1の画像ブロック各々のために動き情報リストを生成する。
【0185】
前記第1の画像ブロック各々に対応する空間領域動き情報候補リストにおける動き情報に対応する画像ブロックは、前記第1の領域に属さない。
【0186】
選択可能に、本願の実施例において、前記履歴動き情報候補リストは、履歴に基づく動きベクトル予測HMVP候補リストである。
【0187】
選択可能に、本願の実施例において、前記履歴動き情報候補リストは、1つのストレージスペースの中に記憶される。
【0188】
選択可能に、本願の実施例において、前記現在のフレームの第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて前記履歴動き情報候補リストを更新することは、前記第2の領域で符号化または復号が完了した後に行うものである。
【0189】
選択可能に、本願の実施例において、前記履歴動き情報候補リストは、それぞれ第1のストレージスペースおよび第2のストレージスペースに記憶され、前記第2の領域は、前記第2のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行い、前記取得ユニットは、さらに次のことに用いられる。
【0190】
前記第2の領域の符号化プロセスまたは復号プロセスにおいて、前記第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを更新する。
【0191】
前記符号化または復号ユニット420は、さらに次のことに用いられる。
【0192】
前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号する。
【0193】
選択可能に、本願の実施例において、前記取得ユニット410は、さらに次のことに用いられる。
【0194】
前記第2の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新する。
【0195】
選択可能に、本願の実施例において、前記取得ユニット410は、さらに次のことに用いられる。
【0196】
前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにする。
【0197】
選択可能に、本願の実施例において、前記履歴動き情報候補リストは、それぞれ第1のストレージスペースおよび第2のストレージスペースに記憶され、前記第2の領域は、前記第2のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行い、前記取得ユニット410は、さらに次のことに用いられる。
【0198】
前記第2の領域の符号化プロセスまたは復号プロセスにおいて、前記第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを更新する。
【0199】
前記第2の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新する。
【0200】
前記符号化または復号ユニット420は、さらに次のことに用いられる。
【0201】
前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号する。
【0202】
選択可能に、本願の実施例において、前記取得ユニット410は、さらに次のことに用いられる。
【0203】
前記第1の領域の符号化プロセスまたは復号プロセスにおいて、前記第1の領域に含まれる少なくとも1つの第1の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを再度更新する。
【0204】
前記第1の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける再度更新した前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを再度更新する。
【0205】
選択可能に、本願の実施例において、前記取得ユニット410は、さらに次のことに用いられる。
【0206】
前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにする。
【0207】
この動画処理装置400は、以上の方法の実施例において符号化側または復号側により実現される対応する操作を実現できることを理解すべきであり、簡潔にするため、ここでは再び述べない。
【0208】
図10は、本願の実施例による動画処理装置500の模式的ブロック図である。この装置500は、符号化または復号ユニット510と、更新ユニット520と、を含む。
【0209】
前記符号化または復号ユニット510は、履歴動き情報候補リストを用いて、現在のフレームの第2の領域における少なくとも1つの第2の画像ブロックを符号化または復号するために用いられる。
【0210】
前記更新ユニット520は、前記第2の領域における少なくとも一部の第2の画像ブロックを符号化または復号した後の動き情報に基づき、前記履歴動き情報候補リストを更新し、更新後の前記履歴動き情報候補リストを得るために用いられる。
【0211】
前記符号化または復号ユニット510は、さらに、更新後の前記履歴動き情報候補リストを用いて前記現在のフレームの第1の領域における複数の第1の画像ブロックを符号化または復号するために用いられる。
【0212】
選択可能に、本願の実施例において、前記符号化または復号ユニット510は、さらに次のことに用いられる。
【0213】
更新後の前記履歴動き情報候補リストを用いて、並行して前記複数の第1の画像ブロックを符号化または復号する。
【0214】
選択可能に、本願の実施例において、異なる前記第1の画像ブロックを符号化または復号するとき、採用する前記履歴動き情報候補リストに含まれる候補履歴動き情報および前記候補履歴動き情報は、前記履歴動き情報候補リストにおける順序が同じである。
【0215】
選択可能に、本願の実施例において、前記履歴動き情報候補リストを更新するとき、前記履歴動き情報候補リストに追加された候補履歴動き情報の数が所定の値よりも小さいか、前記履歴動き情報候補リストから削除された候補履歴動き情報の数が所定の値よりも小さいかの少なくともひとつである。
【0216】
選択可能に、本願の実施例において、装置500は、次のことに用いられる選択ユニット530をさらに含む。
【0217】
前記第2の領域の画像ブロックの位置座標に基づき、前記第2の領域に含まれる画像ブロックから前記少なくとも一部の第2の画像ブロックを選択する。
【0218】
選択可能に、本願の実施例において、前記第2の領域に含まれる画像ブロックから前記少なくとも一部の第2の画像ブロックを選択する過程において、
前記第2の領域における右側の画像ブロックの優先レベルが前記第2の領域における左側の画像ブロックの優先レベルよりも高いか、前記第2の領域における下側の画像ブロックの優先レベルが前記第2の領域における上側の画像ブロックの優先レベルよりも高いかの少なくともひとつである。
【0219】
選択可能に、本願の実施例において、前記更新ユニット520は、さらに次のことに用いられる。
【0220】
少なくとも一部の前記第2の画像ブロックの動き情報に対して重み付け処理を行う。
【0221】
重み付け処理済の前記動き情報を用いて、前記履歴動き情報候補リストを更新する。
【0222】
選択可能に、本願の実施例において、前記第2の領域と前記第1の領域は画像の行方向に沿って配列されるか、または画像の列方向に沿って配列される。
【0223】
選択可能に、本願の実施例において、前記第2の領域と前記第1の領域は、同じ符号化ツリーユニットCTU行またはCTU列に属し、各CTU行またはCTU列は、少なくとも1つのCTUを含み、各CTUは、少なくとも1つの領域を含む。
【0224】
選択可能に、本願の実施例において、前記第2の領域が画像の行方向に沿った配列または列方向に沿った配列のうち最も早く符号化または復号された領域である場合、前記第2の領域を符号化または復号するときに採用する前記履歴動き情報候補リストは空である。
【0225】
選択可能に、本願の実施例において、前記第2の領域は、前記第1の領域の1つ前に符号化または復号された領域である。
【0226】
選択可能に、本願の実施例において、前記更新ユニット520は、さらに次のことに用いられる。
【0227】
追加が必要な第1の候補履歴動き情報を前記履歴動き情報候補リストの上位に加える。
【0228】
選択可能に、本願の実施例において、前記更新ユニット520は、さらに次のことに用いられる。
【0229】
前記履歴動き情報候補リストの末尾にある候補履歴動き情報を削除するか、または、前記履歴動き情報表における前記第1の候補履歴動き情報と同じ候補履歴動き情報を削除する。
【0230】
選択可能に、本願の実施例において、前記第2の画像ブロックは、アフィン変換動き補償モード以外の画像ブロックである。
【0231】
選択可能に、本願の実施例において、前記符号化または復号ユニット510は、さらに次のことに用いられる。
【0232】
更新後の前記履歴動き情報候補リストを用いて、それぞれ第1の画像ブロック各々のために動き情報リストを生成する。
【0233】
それぞれ前記第1の画像ブロック各々のために生成された動き情報リストを用いて、前記第1の画像ブロック各々のために動き情報を選択する。
【0234】
選択可能に、本願の実施例において、前記符号化または復号ユニット510は、さらに次のことに用いられる。
【0235】
更新後の前記履歴動き情報候補リスト、および前記第1の画像ブロック各々に対応する空間領域動き情報候補リストを用いて、それぞれ前記第1の画像ブロック各々のために前記動き情報リストを生成する。
【0236】
前記第1の画像ブロック各々に対応する空間領域動き情報候補リストにおける動き情報に対応する画像ブロックは、前記第1の領域に属さない。
【0237】
選択可能に、本願の実施例において、前記履歴動き情報候補リストは、履歴に基づく動きベクトル予測HMVP候補リストである。
【0238】
選択可能に、本願の実施例において、前記少なくとも一部の第2の画像ブロックは、前記第2の領域における最後に符号化または復号された画像ブロックを含むか、前記第2の領域における指定位置の画像ブロックを含むかの少なくともひとつである。
【0239】
選択可能に、本願の実施例において、前記第2の領域における指定位置の画像ブロックは、次の少なくとも1つの位置にある画像ブロックを含む。
【0240】
前記第2の領域の左上隅、前記第2の領域の右上隅、前記第2の領域の左下隅、前記第2の領域の右下隅、前記第2の領域の中心点。
【0241】
選択可能に、本願の実施例において、前記履歴動き情報候補リストは、1つのストレージスペースの中に記憶される。
【0242】
選択可能に、本願の実施例において、前記現在のフレームの第2の領域に含まれる前記少なくとも一部の第2の画像ブロックの動き情報を用いて前記履歴動き情報候補リストを更新することは、前記第2の領域で符号化または復号が完了した後に行うものである。
【0243】
選択可能に、本願の実施例において、前記履歴動き情報候補リストは、それぞれ第1のストレージスペースおよび第2のストレージスペースに記憶され、前記第2の領域は、前記第2のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行い、前記更新ユニットは、さらに次のことに用いられる。
【0244】
前記第2の領域の符号化プロセスまたは復号プロセスにおいて、前記第2の領域に含まれる前記少なくとも一部の第2の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを更新する。
【0245】
前記符号化または復号ユニット520は、さらに次のことに用いられる。
【0246】
前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号する。
【0247】
選択可能に、本願の実施例において、前記更新ユニット520は、さらに次のことに用いられる。
【0248】
前記第2の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新する。
【0249】
選択可能に、本願の実施例において、前記更新ユニット520は、さらに次のことに用いられる。
【0250】
前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにする。
【0251】
選択可能に、本願の実施例において、前記履歴動き情報候補リストは、それぞれ第1のストレージスペースおよび第2のストレージスペースに記憶され、前記第2の領域は、前記第2のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行い、前記更新ユニット520は、さらに次のことに用いられる。
【0252】
前記第2の領域の符号化プロセスまたは復号プロセスにおいて、前記第2の領域に含まれる前記少なくとも一部の第2の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを更新する。
【0253】
前記第2の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新する。
【0254】
前記符号化または復号ユニット510は、さらに、前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号するために用いられる。
【0255】
選択可能に、本願の実施例において、前記更新ユニット520は、さらに次のことに用いられる。
【0256】
前記第1の領域の符号化プロセスまたは復号プロセスにおいて、前記第1の領域に含まれる少なくとも1つの第1の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを再度更新する。
【0257】
前記第1の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける再度更新した前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを再度更新する。
【0258】
選択可能に、本願の実施例において、前記更新ユニット520は、さらに次のことに用いられる。
【0259】
前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにする。
【0260】
この動画処理装置500は、以上の方法の実施例において符号化側または復号側により実現される対応する操作を実現できることを理解すべきであり、簡潔にするため、ここでは再び述べない。
【0261】
図11は、本願の実施例によるコンピュータシステム600の模式的ブロック図を示す。
【0262】
図11に示すように、このコンピュータシステム600は、プロセッサ610を含んでもよく、さらにメモリ620を含んでもよい。
【0263】
このコンピュータシステム600は、他のコンピュータシステムに通常に含まれる部品、例えば、入出力装置、通信インターフェース等をさらに含んでもよく、本願の実施例はこれについて限定しないことを理解すべきである。
【0264】
メモリ620は、コンピュータが実行可能なコマンドを記憶するために用いられる。
【0265】
メモリ620は、各種種類のメモリとすることができ、例えば、高速ランダムアクセスメモリ(Random Access Memory,RAM)を含んでもよく、不揮発性メモリ(non-volatile memory)、例えば少なくとも1つのハードディスクメモリをさらに含んでもよく、本願の実施例はこれについて限定しない。
【0266】
プロセッサ610は、このメモリ620にアクセスし、このコンピュータが実行可能なコマンドを実行して、上述した本願の実施例の動画処理のための方法における操作を行うために用いられる。
【0267】
プロセッサ610は、マイクロプロセッサ、フィールドプログラマブルゲートアレイ(Field-Programmable Gate Array,FPGA)、中央処理装置(Central Processing unit,CPU)、グラフィックスプロセッシングユニット(Graphics Processing Unit,GPU)等を含んでもよく、本願の実施例はこれについて限定しない。
【0268】
本願の実施例の動画処理に用いられる装置およびコンピュータシステムは、本願の実施例の動画処理に用いられる方法の実行主体に対応することができ、動画処理に用いられる装置およびコンピュータシステムにおける各モジュールの上記およびその他の操作および機能の少なくともひとつのそれぞれ前記各方法を実現するための対応する流れは、簡潔にするため、ここでは再び述べない。
【0269】
本願の実施例は、電子装置をさらに提供し、この電子装置は、上述した本願の各種実施例の動画処理に用いられる装置またはコンピュータシステムを含んでもよい。
【0270】
本願の実施例は、上記本願の実施例のループフィルタの方法を実行するよう指示するために用いることができるプログラムコードが記憶されたコンピュータ記憶媒体をさらに提供する。
【0271】
本願の実施例において、用語「少なくともひとつ」は、関連対象の関連関係にすぎず、3種類の関係が存在してもよいことを表すことを理解すべきである。例えば、AおよびBの少なくともひとつは、Aが単独で存在している場合、AおよびBが同時に存在している場合、Bが単独で存在している場合の3種類の状況を表すことができる。また、本文における記号「/」は、一般に、前後関連対象が一種の「または」の関係であることを表す。
【0272】
当業者は、本文において公開されている実施例に記載された各例のユニットおよび演算ステップを組み合わせ、電子ハードウェア、コンピュータソフトウェアまたは両者の組み合わせによって実現することができることを認識することができ、ハードウェアおよびソフトウェアの互換性を明確に説明するため、上記説明において、すでに機能に応じて各例の構成およびステップについて一般的な説明を行った。これらの機能は、ハードウェアで実行するのかソフトウェアの形態で実行するのかは、技術案の特定のアプリケーションおよび設計の拘束条件によって決まる。当業者は、各々の特定のアプリケーションについて、記載された機能を異なる方法で実現することができるが、この種の実現は、本願の範囲を逸脱するものと考えるべきではない。
【0273】
当業者は、記載の便利さおよび簡潔さのために、上述したシステム、装置およびユニットの具体的な動作過程は、前述の方法の実施例における対応する過程を参照することができ、ここでは詳しく述べないことを明確に理解することができる。
【0274】
本願で提供するいくつかの実施例において、開示されているシステム、装置および方法は、その他の方式によって実現してもよいことを理解すべきである。例えば、上述した装置の実施例は、概略的なものにすぎず、例えば、前記ユニットの区別は、論理的な機能の区別にすぎず、実際の実現の際には、別の区別方式を有してもよく、例えば、複数のユニットまたはアセンブリを結合するか、または別のシステムに統合してもよく、または一部の特徴を省略しても、実行しなくてもよい。また、示された、または考察された互いの間の結合または直接結合または通信接続は、いくつかのインターフェース、装置またはユニットの間接的な結合または通信接続としてもよく、電気的、機械的またはその他の形式の接続としてもよい。
【0275】
前記分離部材として説明したユニットは、物理的に分けられたものであっても、または分けられていないものであってもよく、ユニットとして示された部材は、物理的なユニットであっても、またはそうでなくてもよく、すなわち、1つの場所に位置していても、または複数のネットワークユニットに分布していてもよい。実際の必要に応じて、一部または全部のユニットを選択し、本願の実施例技術的手段の目的を実現してもよい。
【0276】
また、本願の各実施例における各機能ユニットは、1つの処理ユニットの中に統合しても、各ユニットが単独で物理的に存在しても、複数のユニットを1つのユニットの中に統合してもよい。前記統合されたユニットは、ハードウェアの形式で実現しても、ソフトウェアの機能ユニットの形式で実現してもよい。
【0277】
前記統合されたユニットをソフトウェアの機能ユニットの形式で実現し、独立した製品として販売または使用する場合、コンピュータで読み取り可能な記憶媒体に記憶してもよい。このような理解に基づき、本願の技術案は、本質的に、あるいは先行技術に対して寄与する部分、またはこの技術案の全部もしくは一部に対して、ソフトウェア製品の形式で実現することができ、このコンピュータソフトウェア製品は、コンピュータ装置(パーソナルコンピュータ、サーバー、またはネットワーク装置等とすることができる)に本願の各実施例に記載の方法の全部または一部のステップを実行させるための複数のコマンドを記憶媒体に記憶してもよい。前記記憶媒体は、USBフラッシュドライブ、ポータブルハードディスクドライブ、リードオンリーメモリ(ROM,Read-Only Memory)、ランダムアクセスメモリ(RAM,Random Access Memory)、フロッピーディスクまたは光ディスクなどのプログラムコードを記憶可能な各種媒体を含む。
【0278】
上述した内容は、本願の具体的な実施形態にすぎないが、本願の保護範囲はこれに限定されず、当業者が本願で開示された技術範囲内で容易に想到できる各種同等の修正または置き換えは、いずれも本願の保護範囲内にあるものとする。そのため、本願の保護範囲は、特許請求の範囲の保護範囲を基準とするものとする。
(項目1)
動画処理方法であって、
現在のフレームにおける第1の領域に含まれる複数の第1の画像ブロックにおける第1の画像ブロック各々を符号化または復号するために用いられる、前記第1の領域に含まれる画像ブロック以外のすでに符号化または復号された画像ブロックである第2の画像ブロックの動き情報に基づき取得される履歴動き情報候補リストを取得することと、
前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号することと、を含む動画処理方法。
(項目2)
前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号することは、
前記履歴動き情報候補リストに基づき、並行して前記複数の第1の画像ブロックを符号化または復号することを含む項目1に記載の方法。
(項目3)
異なる前記第1の画像ブロックを符号化または復号するとき、採用する前記履歴動き情報候補リストに含まれる候補履歴動き情報および前記候補履歴動き情報は、前記履歴動き情報候補リストにおける順序が同じである項目1または2に記載の方法。
(項目4)
前記履歴動き情報候補リストを取得することは、
前記現在のフレームの第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて、前記履歴動き情報候補リストを更新し、更新後の前記履歴動き情報候補リストを、前記複数の第1の画像ブロックに対する符号化または復号に用いることを含む項目1~3のいずれか一項に記載の方法。
(項目5)
前記第2の領域の符号化または復号プロセスは、前記第1の領域よりも早く、前記第2の領域の画像ブロックは、前記更新をまだ行っていない前記履歴動き情報候補リストを採用して符号化または復号を行う項目4に記載の方法。
(項目6)
前記履歴動き情報候補リストを更新するとき、前記履歴動き情報候補リストに追加された候補履歴動き情報の数が所定の値よりも小さいか、前記履歴動き情報候補リストから削除された候補履歴動き情報の数が所定の値よりも小さいかの少なくともひとつである項目4または5に記載の方法。
(項目7)
前記現在のフレームの第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて、前記履歴動き情報候補リストを更新する前に、
前記第2の領域の画像ブロックの位置座標に基づき、前記第2の領域に含まれる画像ブロックから前記少なくとも1つの第2の画像ブロックを選択することをさらに含む項目4~6のいずれか一項に記載の方法。
(項目8)
前記第2の領域に含まれる画像ブロックから前記少なくとも1つの第2の画像ブロックを選択する過程において、
前記第2の領域における右側の画像ブロックの優先レベルが前記第2の領域における左側の画像ブロックの優先レベルよりも高いか、前記第2の領域における下側の画像ブロックの優先レベルが前記第2の領域における上側の画像ブロックの優先レベルよりも高いかの少なくともひとつである項目7に記載の方法。
(項目9)
前記少なくとも1つの第2の画像ブロックは、前記第2の領域における最後に符号化または復号された画像ブロックを含むか、前記第2の領域における指定位置の画像ブロックを含むかの少なくともひとつである項目4~8のいずれか一項に記載の方法。
(項目10)
前記第2の領域における指定位置の画像ブロックは、
前記第2の領域の左上隅、前記第2の領域の右上隅、前記第2の領域の左下隅、前記第2の領域の右下隅、前記第2の領域の中心点の少なくとも1つの位置にある画像ブロックを含む項目9に記載の方法。
(項目11)
前記現在のフレームの第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて、前記履歴動き情報候補リストを更新することは、
複数の前記第2の画像ブロックの動き情報に対して重み付け処理を行うことと、
重み付け処理済の前記動き情報を用いて、前記履歴動き情報候補リストを更新することと、を含む項目4~10のいずれか一項に記載の方法。
(項目12)
前記第1の領域と前記第2の領域は画像の行方向に沿って配列されるか、または画像の列方向に沿って配列される項目4~11のいずれか一項に記載の方法。
(項目13)
前記第1の領域と前記第2の領域は、同じ符号化ツリーユニットCTU行またはCTU列に属し、各CTU行またはCTU列は、少なくとも1つのCTUを含み、各CTUは、少なくとも1つの領域を含む項目12に記載の方法。
(項目14)
前記第2の領域が画像の行方向に沿った配列または列方向に沿った配列のうち最も早く符号化または復号された領域である場合、前記第2の領域を符号化または復号するときに採用する前記履歴動き情報候補リストは空である項目12または13に記載の方法。
(項目15)
前記第2の領域は、前記第1の領域の1つ前に符号化または復号された領域である項目4~14のいずれか一項に記載の方法。
(項目16)
前記履歴動き情報候補リストを更新することは、
追加が必要な第1の候補履歴動き情報を前記履歴動き情報候補リストの上位に加えることを含む項目4~15のいずれか一項に記載の方法。
(項目17)
前記履歴動き情報候補リストを更新することは、
前記履歴動き情報候補リストの末尾にある候補履歴動き情報を削除するか、または、前記履歴動き情報表における前記第1の候補履歴動き情報と同じ候補履歴動き情報を削除することをさらに含む項目16に記載の方法。
(項目18)
前記第2の画像ブロックは、アフィン変換動き補償モード以外の画像ブロックである項目1~17のいずれか一項に記載の方法。
(項目19)
前記履歴動き情報候補リストを用いて、それぞれ前記第1の画像ブロック各々を符号化または復号することは、
前記履歴動き情報候補リストを用いて、それぞれ前記第1の画像ブロック各々のために動き情報リストを生成することと、
それぞれ前記第1の画像ブロック各々のために生成された動き情報リストを用いて、前記第1の画像ブロック各々のために動き情報を選択することと、を含む項目1~18のいずれか一項に記載の方法。
(項目20)
前記履歴動き情報候補リストを用いて、それぞれ前記第1の画像ブロック各々のために動き情報リストを生成することは、
前記履歴動き情報候補リスト、および前記第1の画像ブロック各々に対応する空間領域動き情報候補リストを用いて、それぞれ前記第1の画像ブロック各々のために動き情報リストを生成することを含み、
前記第1の画像ブロック各々に対応する空間領域動き情報候補リストにおける動き情報に対応する画像ブロックは、前記第1の領域に属さない項目19に記載の方法。
(項目21)
前記履歴動き情報候補リストは、履歴に基づく動きベクトル予測HMVP候補リストである項目1~20のいずれか一項に記載の方法。
(項目22)
前記履歴動き情報候補リストは、1つのストレージスペースの中に記憶される項目1~21のいずれか一項に記載の方法。
(項目23)
前記現在のフレームの第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて前記履歴動き情報候補リストを更新することは、前記第2の領域で符号化または復号が完了した後に行うものである項目1~22のいずれか一項に記載の方法。
(項目24)
前記履歴動き情報候補リストは、それぞれ第1のストレージスペースおよび第2のストレージスペースに記憶され、前記第2の領域は、前記第2のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行い、前記の前記現在のフレームの第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて、前記履歴動き情報候補リストを更新することは、
前記第2の領域の符号化プロセスまたは復号プロセスにおいて、前記第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを更新することを含み、
前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号することは、
前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号することを含む項目4~17のいずれか一項に記載の方法。
(項目25)
前記第2の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新することをさらに含む項目24に記載の方法。
(項目26)
前記の前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新することは、
前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにすることを含む項目25に記載の方法。
(項目27)
前記履歴動き情報候補リストは、それぞれ第1のストレージスペースおよび第2のストレージスペースに記憶され、前記第2の領域は、前記第2のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行い、前記の前記現在のフレームの第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて、前記履歴動き情報候補リストを更新することは、
前記第2の領域の符号化プロセスまたは復号プロセスにおいて、前記第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを更新することと、
前記第2の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新することと、を含み、
前記の前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号することは、
前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号することを含む項目4~17のいずれか一項に記載の方法。
(項目28)
前記第1の領域の符号化プロセスまたは復号プロセスにおいて、前記第1の領域に含まれる少なくとも1つの第1の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを再度更新することと、
前記第1の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける再度更新した前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを再度更新することと、をさらに含む項目27に記載の方法。
(項目29)
前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新することは、
前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにすることを含む項目27または28に記載の方法。
(項目30)
動画処理方法であって、
履歴動き情報候補リストを用いて、現在のフレームの第2の領域における少なくとも1つの第2の画像ブロックを符号化または復号することと、
前記第2の領域における少なくとも一部の第2の画像ブロックを符号化または復号した後の動き情報に基づき、前記履歴動き情報候補リストを更新し、更新後の前記履歴動き情報候補リストを得ることと、
更新後の前記履歴動き情報候補リストを用いて前記現在のフレームの第1の領域における複数の第1の画像ブロックを符号化または復号することと、を含む動画処理方法。
(項目31)
前記更新後の前記履歴動き情報候補リストを用いて前記現在のフレームの第1の領域における複数の第1の画像ブロックを符号化または復号することは、
更新後の前記履歴動き情報候補リストを用いて、並行して前記複数の第1の画像ブロックを符号化または復号することを含む項目30に記載の方法。
(項目32)
異なる前記第1の画像ブロックを符号化または復号するとき、採用する前記履歴動き情報候補リストに含まれる候補履歴動き情報および前記候補履歴動き情報は、前記履歴動き情報候補リストにおける順序が同じである項目30または31に記載の方法。
(項目33)
前記履歴動き情報候補リストを更新するとき、前記履歴動き情報候補リストに追加された候補履歴動き情報の数が所定の値よりも小さいか、前記履歴動き情報候補リストから削除された候補履歴動き情報の数が所定の値よりも小さいかの少なくともひとつである項目30~32のいずれか一項に記載の方法。
(項目34)
前記履歴動き情報候補リストを更新する前に、
前記第2の領域の画像ブロックの位置座標に基づき、前記第2の領域に含まれる画像ブロックから前記少なくとも一部の第2の画像ブロックを選択することをさらに含む項目30~33のいずれか一項に記載の方法。
(項目35)
前記第2の領域に含まれる画像ブロックから前記少なくとも一部の第2の画像ブロックを選択する過程において、
前記第2の領域における右側の画像ブロックの優先レベルが前記第2の領域における左側の画像ブロックの優先レベルよりも高いか、前記第2の領域における下側の画像ブロックの優先レベルが前記第2の領域における上側の画像ブロックの優先レベルよりも高いかの少なくともひとつである項目34に記載の方法。
(項目36)
前記第2の領域に含まれる少なくとも一部の第2の画像ブロックの動き情報を用いて、前記履歴動き情報候補リストを更新することは、
少なくとも一部の前記第2の画像ブロックの動き情報に対して重み付け処理を行うことと、
重み付け処理済の前記動き情報を用いて、前記履歴動き情報候補リストを更新することと、を含む項目30~35のいずれか一項に記載の方法。
(項目37)
前記第2の領域と前記第1の領域は画像の行方向に沿って配列されるか、または画像の列方向に沿って配列される項目30~36のいずれか一項に記載の方法。
(項目38)
前記第2の領域と前記第1の領域は、同じ符号化ツリーユニットCTU行またはCTU列に属し、各CTU行またはCTU列は、少なくとも1つのCTUを含み、各CTUは、少なくとも1つの領域を含む項目37に記載の方法。
(項目39)
前記第2の領域が画像の行方向に沿った配列または列方向に沿った配列のうち最も早く符号化または復号された領域である場合、前記第2の領域を符号化または復号するときに採用する前記履歴動き情報候補リストは空である項目37または38に記載の方法。
(項目40)
前記第2の領域は、前記第1の領域の1つ前に符号化または復号された領域である項目30~39のいずれか一項に記載の方法。
(項目41)
前記履歴動き情報候補リストを更新することは、
追加が必要な第1の候補履歴動き情報を前記履歴動き情報候補リストの上位に加えることを含む項目30~40のいずれか一項に記載の方法。
(項目42)
前記履歴動き情報候補リストを更新することは、
前記履歴動き情報候補リストの末尾にある候補履歴動き情報を削除するか、または、前記履歴動き情報表における前記第1の候補履歴動き情報と同じ候補履歴動き情報を削除することをさらに含む項目41に記載の方法。
(項目43)
前記第2の画像ブロックは、アフィン変換動き補償モード以外の画像ブロックである項目30~42のいずれか一項に記載の方法。
(項目44)
前記更新後の前記履歴動き情報候補リストを用いて、第1の領域における複数の第1の画像ブロックを符号化することは、
更新後の前記履歴動き情報候補リストを用いて、それぞれ第1の画像ブロック各々のために動き情報リストを生成することと、
それぞれ前記第1の画像ブロック各々のために生成された動き情報リストを用いて、前記第1の画像ブロック各々のために動き情報を選択することと、を含む項目30~43のいずれか一項に記載の方法。
(項目45)
前記更新後の前記履歴動き情報候補リストを用いて、それぞれ前記第1の画像ブロック各々のために動き情報リストを生成することは、
更新後の前記履歴動き情報候補リスト、および前記第1の画像ブロック各々に対応する空間領域動き情報候補リストを用いて、それぞれ前記第1の画像ブロック各々のために前記動き情報リストを生成することを含み、
前記第1の画像ブロック各々に対応する空間領域動き情報候補リストにおける動き情報に対応する画像ブロックは、前記第1の領域に属さない項目44に記載の方法。
(項目46)
前記履歴動き情報候補リストは、履歴に基づく動きベクトル予測HMVP候補リストである項目30~45のいずれか一項に記載の方法。
(項目47)
前記少なくとも一部の第2の画像ブロックは、前記第2の領域における最後に符号化または復号された画像ブロックを含むか、前記第2の領域における指定位置の画像ブロックを含むかの少なくともひとつである項目30~46のいずれか一項に記載の方法。
(項目48)
前記第2の領域における指定位置の画像ブロックは、
前記第2の領域の左上隅、前記第2の領域の右上隅、前記第2の領域の左下隅、前記第2の領域の右下隅、前記第2の領域の中心点の少なくとも1つの位置にある画像ブロックを含む項目47に記載の方法。
(項目49)
前記履歴動き情報候補リストは、1つのストレージスペースの中に記憶される項目30~48のいずれか一項に記載の方法。
(項目50)
前記現在のフレームの第2の領域に含まれる前記少なくとも一部の第2の画像ブロックの動き情報を用いて前記履歴動き情報候補リストを更新することは、前記第2の領域で符号化または復号が完了した後に行うものである項目30~49のいずれか一項に記載の方法。
(項目51)
前記履歴動き情報候補リストは、それぞれ第1のストレージスペースおよび第2のストレージスペースに記憶され、前記第2の領域は、前記第2のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行い、前記第2の領域における少なくとも一部の第2の画像ブロックを符号化または復号した後の動き情報に基づき、前記履歴動き情報候補リストを更新することは、
前記第2の領域の符号化プロセスまたは復号プロセスにおいて、前記第2の領域に含まれる前記少なくとも一部の第2の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを更新することを含み、
前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号することは、
前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号することを含む項目30~48のいずれか一項に記載の方法。
(項目52)
前記第2の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新することをさらに含む項目51に記載の方法。
(項目53)
前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新することは、
前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにすることを含む項目52に記載の方法。
(項目54)
前記履歴動き情報候補リストは、それぞれ第1のストレージスペースおよび第2のストレージスペースに記憶され、前記第2の領域は、前記第2のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行い、前記第2の領域における少なくとも一部の第2の画像ブロックを符号化または復号した後の動き情報に基づき、前記履歴動き情報候補リストを更新することは、
前記第2の領域の符号化プロセスまたは復号プロセスにおいて、前記第2の領域に含まれる前記少なくとも一部の第2の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを更新することと、
前記第2の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新することと、を含み、
前記更新後の前記履歴動き情報候補リストを用いて前記現在のフレームの第1の領域における複数の第1の画像ブロックを符号化または復号することは、
前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号することを含む項目30~48のいずれか一項に記載の方法。
(項目55)
前記第1の領域の符号化プロセスまたは復号プロセスにおいて、前記第1の領域に含まれる少なくとも1つの第1の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを再度更新することと、
前記第1の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける再度更新した前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを再度更新することと、をさらに含む項目54に記載の方法。
(項目56)
前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新することは、
前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにすることを含む項目54または55に記載の方法。
(項目57)
動画処理装置であって、
現在のフレームにおける第1の領域に含まれる複数の第1の画像ブロックにおける第1の画像ブロック各々を符号化または復号するために用いられる、前記第1の領域に含まれる画像ブロック以外のすでに符号化または復号された画像ブロックである第2の画像ブロックの動き情報に基づき取得される履歴動き情報候補リストを取得するための取得ユニットと、
前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号するための符号化または復号ユニットと、を含む動画処理装置。
(項目58)
前記符号化または復号ユニットは、さらに、
前記履歴動き情報候補リストに基づき、並行して前記複数の第1の画像ブロックを符号化または復号するために用いられる項目57に記載の装置。
(項目59)
異なる前記第1の画像ブロックを符号化または復号するとき、採用する前記履歴動き情報候補リストに含まれる候補履歴動き情報および前記候補履歴動き情報は、前記履歴動き情報候補リストにおける順序が同じである項目57または58に記載の装置。
(項目60)
前記取得ユニットは、さらに、
前記現在のフレームの第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて、前記履歴動き情報候補リストを更新し、更新後の前記履歴動き情報候補リストを、前記複数の第1の画像ブロックに対する符号化または復号に用いるために用いられる項目57~59のいずれか一項に記載の装置。
(項目61)
前記第2の領域の符号化または復号プロセスは、前記第1の領域よりも早く、前記第2の領域の画像ブロックは、前記更新をまだ行っていない前記履歴動き情報候補リストを採用して符号化または復号を行う項目60に記載の装置。
(項目62)
前記履歴動き情報候補リストを更新するとき、前記履歴動き情報候補リストに追加された候補履歴動き情報の数が所定の値よりも小さいか、前記履歴動き情報候補リストから削除された候補履歴動き情報の数が所定の値よりも小さいかの少なくともひとつである項目60または61に記載の装置。
(項目63)
前記第2の領域の画像ブロックの位置座標に基づき、前記第2の領域に含まれる画像ブロックから前記少なくとも1つの第2の画像ブロックを選択するための選択ユニットをさらに含む項目60~62のいずれか一項に記載の装置。
(項目64)
前記第2の領域に含まれる画像ブロックから前記少なくとも1つの第2の画像ブロックを選択する過程において、
前記第2の領域における右側の画像ブロックの優先レベルが前記第2の領域における左側の画像ブロックの優先レベルよりも高いか、前記第2の領域における下側の画像ブロックの優先レベルが前記第2の領域における上側の画像ブロックの優先レベルよりも高いかの少なくともひとつである項目63に記載の装置。
(項目65)
前記少なくとも1つの第2の画像ブロックは、前記第2の領域における最後に符号化または復号された画像ブロックを含むか、前記第2の領域における指定位置の画像ブロックを含むかの少なくともひとつである項目60~64のいずれか一項に記載の装置。
(項目66)
前記第2の領域における指定位置の画像ブロックは、
前記第2の領域の左上隅、前記第2の領域の右上隅、前記第2の領域の左下隅、前記第2の領域の右下隅、前記第2の領域の中心点の少なくとも1つの位置にある画像ブロックを含む項目65に記載の装置。
(項目67)
前記取得ユニットは、さらに、
複数の前記第2の画像ブロックの動き情報に対して重み付け処理を行うことと、
重み付け処理済の前記動き情報を用いて、前記履歴動き情報候補リストを更新することと、のために用いられる項目60~66のいずれか一項に記載の装置。
(項目68)
前記第1の領域と前記第2の領域は画像の行方向に沿って配列されるか、または画像の列方向に沿って配列される項目60~67のいずれか一項に記載の装置。
(項目69)
前記第1の領域と前記第2の領域は、同じ符号化ツリーユニットCTU行またはCTU列に属し、各CTU行またはCTU列は、少なくとも1つのCTUを含み、各CTUは、少なくとも1つの領域を含む項目68に記載の装置。
(項目70)
前記第2の領域が画像の行方向に沿った配列または列方向に沿った配列のうち最も早く符号化または復号された領域である場合、前記第2の領域を符号化または復号するときに採用する前記履歴動き情報候補リストは空である項目68または69に記載の装置。
(項目71)
前記第2の領域は、前記第1の領域の1つ前に符号化または復号された領域である項目60~70のいずれか一項に記載の装置。
(項目72)
前記取得ユニットは、さらに、
追加が必要な第1の候補履歴動き情報を前記履歴動き情報候補リストの上位に加えるために用いられる項目60~71のいずれか一項に記載の装置。
(項目73)
前記取得ユニットは、さらに、
前記履歴動き情報候補リストの末尾にある候補履歴動き情報を削除するか、または、前記履歴動き情報表における前記第1の候補履歴動き情報と同じ候補履歴動き情報を削除するために用いられる項目72に記載の装置。
(項目74)
前記第2の画像ブロックは、アフィン変換動き補償モード以外の画像ブロックである項目57~73のいずれか一項に記載の装置。
(項目75)
前記符号化または復号ユニットは、さらに、
前記履歴動き情報候補リストを用いて、それぞれ前記第1の画像ブロック各々のために動き情報リストを生成することと、
それぞれ前記第1の画像ブロック各々のために生成された動き情報リストを用いて、前記第1の画像ブロック各々のために動き情報を選択することと、のために用いられる項目57~74のいずれか一項に記載の装置。
(項目76)
前記符号化または復号ユニットは、さらに、
前記履歴動き情報候補リスト、および前記第1の画像ブロック各々に対応する空間領域動き情報候補リストを用いて、それぞれ前記第1の画像ブロック各々のために動き情報リストを生成するために用いられ、
前記第1の画像ブロック各々に対応する空間領域動き情報候補リストにおける動き情報に対応する画像ブロックは、前記第1の領域に属さない項目75に記載の装置。
(項目77)
前記履歴動き情報候補リストは、履歴に基づく動きベクトル予測HMVP候補リストである項目57~76のいずれか一項に記載の装置。
(項目78)
前記履歴動き情報候補リストは、1つのストレージスペースの中に記憶される項目57~77のいずれか一項に記載の装置。
(項目79)
前記現在のフレームの第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて前記履歴動き情報候補リストを更新することは、前記第2の領域で符号化または復号が完了した後に行うものである項目57~78のいずれか一項に記載の装置。
(項目80)
前記履歴動き情報候補リストは、それぞれ第1のストレージスペースおよび第2のストレージスペースに記憶され、前記第2の領域は、前記第2のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行い、前記取得ユニットは、さらに、
前記第2の領域の符号化プロセスまたは復号プロセスにおいて、前記第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを更新するために用いられ、
前記符号化または復号ユニットは、さらに、
前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号するために用いられる項目60~73のいずれか一項に記載の装置。
(項目81)
前記取得ユニットは、さらに、
前記第2の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新するために用いられる項目80に記載の装置。
(項目82)
前記取得ユニットは、さらに、
前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにするために用いられる項目81に記載の装置。
(項目83)
前記履歴動き情報候補リストは、それぞれ第1のストレージスペースおよび第2のストレージスペースに記憶され、前記第2の領域は、前記第2のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行い、前記取得ユニットは、さらに、
前記第2の領域の符号化プロセスまたは復号プロセスにおいて、前記第2の領域に含まれる少なくとも1つの第2の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを更新することと、
前記第2の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新することと、のために用いられ、
前記符号化または復号ユニットは、さらに、
前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号することと、のために用いられる項目60~73のいずれか一項に記載の装置。
(項目84)
前記取得ユニットは、さらに、
前記第1の領域の符号化プロセスまたは復号プロセスにおいて、前記第1の領域に含まれる少なくとも1つの第1の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを再度更新することと、
前記第1の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける再度更新した前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを再度更新することと、のために用いられる項目83に記載の装置。
(項目85)
前記取得ユニットは、さらに、
前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにするために用いられる項目83または84に記載の装置。
(項目86)
動画処理装置であって、
符号化または復号ユニットと、更新ユニットと、を含み、
前記符号化または復号ユニットは、履歴動き情報候補リストを用いて、現在のフレームの第2の領域における少なくとも1つの第2の画像ブロックを符号化または復号するために用いられ、
前記更新ユニットは、前記第2の領域における少なくとも一部の第2の画像ブロックを符号化または復号した後の動き情報に基づき、前記履歴動き情報候補リストを更新し、更新後の前記履歴動き情報候補リストを得るために用いられ、
前記符号化または復号ユニットは、さらに、更新後の前記履歴動き情報候補リストを用いて前記現在のフレームの第1の領域における複数の第1の画像ブロックを符号化または復号するために用いられる動画処理装置。
(項目87)
前記符号化または復号ユニットは、さらに、
更新後の前記履歴動き情報候補リストを用いて、並行して前記複数の第1の画像ブロックを符号化または復号するために用いられる項目86に記載の装置。
(項目88)
異なる前記第1の画像ブロックを符号化または復号するとき、採用する前記履歴動き情報候補リストに含まれる候補履歴動き情報および前記候補履歴動き情報は、前記履歴動き情報候補リストにおける順序が同じである項目86または87に記載の装置。
(項目89)
前記履歴動き情報候補リストを更新するとき、前記履歴動き情報候補リストに追加された候補履歴動き情報の数が所定の値よりも小さいか、前記履歴動き情報候補リストから削除された候補履歴動き情報の数が所定の値よりも小さいかの少なくともひとつである項目86~88のいずれか一項に記載の装置。
(項目90)
前記第2の領域の画像ブロックの位置座標に基づき、前記第2の領域に含まれる画像ブロックから前記少なくとも一部の第2の画像ブロックを選択するための選択ユニットをさらに含む項目86~89のいずれか一項に記載の装置。
(項目91)
前記第2の領域に含まれる画像ブロックから前記少なくとも一部の第2の画像ブロックを選択する過程において、
前記第2の領域における右側の画像ブロックの優先レベルが前記第2の領域における左側の画像ブロックの優先レベルよりも高いか、前記第2の領域における下側の画像ブロックの優先レベルが前記第2の領域における上側の画像ブロックの優先レベルよりも高いかの少なくともひとつである項目90に記載の装置。
(項目92)
前記更新ユニットは、さらに、
少なくとも一部の前記第2の画像ブロックの動き情報に対して重み付け処理を行うことと、
重み付け処理済の前記動き情報を用いて、前記履歴動き情報候補リストを更新することと、のために用いられる項目86~91のいずれか一項に記載の装置。
(項目93)
前記第2の領域と前記第1の領域は画像の行方向に沿って配列されるか、または画像の列方向に沿って配列される項目86~92のいずれか一項に記載の装置。
(項目94)
前記第2の領域と前記第1の領域は、同じ符号化ツリーユニットCTU行またはCTU列に属し、各CTU行またはCTU列は、少なくとも1つのCTUを含み、各CTUは、少なくとも1つの領域を含む項目93に記載の装置。
(項目95)
前記第2の領域が画像の行方向に沿った配列または列方向に沿った配列のうち最も早く符号化または復号された領域である場合、前記第2の領域を符号化または復号するときに採用する前記履歴動き情報候補リストは空である項目93または94に記載の装置。
(項目96)
前記第2の領域は、前記第1の領域の1つ前に符号化または復号された領域である項目86~95のいずれか一項に記載の装置。
(項目97)
前記更新ユニットは、さらに、
追加が必要な第1の候補履歴動き情報を前記履歴動き情報候補リストの上位に加えるために用いられる項目86~96のいずれか一項に記載の装置。
(項目98)
前記更新ユニットは、さらに、
前記履歴動き情報候補リストの末尾にある候補履歴動き情報を削除するか、または、前記履歴動き情報表における前記第1の候補履歴動き情報と同じ候補履歴動き情報を削除するために用いられる項目97に記載の装置。
(項目99)
前記第2の画像ブロックは、アフィン変換動き補償モード以外の画像ブロックである項目86~98のいずれか一項に記載の装置。
(項目100)
前記符号化または復号ユニットは、さらに、
更新後の前記履歴動き情報候補リストを用いて、それぞれ第1の画像ブロック各々のために動き情報リストを生成することと、
それぞれ前記第1の画像ブロック各々のために生成された動き情報リストを用いて、前記第1の画像ブロック各々のために動き情報を選択することと、のために用いられる項目86~99のいずれか一項に記載の装置。
(項目101)
前記符号化または復号ユニットは、さらに、
更新後の前記履歴動き情報候補リスト、および前記第1の画像ブロック各々に対応する空間領域動き情報候補リストを用いて、それぞれ前記第1の画像ブロック各々のために前記動き情報リストを生成するために用いられ、
前記第1の画像ブロック各々に対応する空間領域動き情報候補リストにおける動き情報に対応する画像ブロックは、前記第1の領域に属さない項目86~100のいずれか一項に記載の装置。
(項目102)
前記履歴動き情報候補リストは、履歴に基づく動きベクトル予測HMVP候補リストである項目86~101のいずれか一項に記載の装置。
(項目103)
前記少なくとも一部の第2の画像ブロックは、前記第2の領域における最後に符号化または復号された画像ブロックを含むか、前記第2の領域における指定位置の画像ブロックを含むかの少なくともひとつである項目86~102のいずれか一項に記載の装置。
(項目104)
前記第2の領域における指定位置の画像ブロックは、
前記第2の領域の左上隅、前記第2の領域の右上隅、前記第2の領域の左下隅、前記第2の領域の右下隅、前記第2の領域の中心点の少なくとも1つの位置にある画像ブロックを含む項目103に記載の装置。
(項目105)
前記履歴動き情報候補リストは、1つのストレージスペースの中に記憶される項目86~104のいずれか一項に記載の装置。
(項目106)
前記現在のフレームの第2の領域に含まれる前記少なくとも一部の第2の画像ブロックの動き情報を用いて前記履歴動き情報候補リストを更新することは、前記第2の領域で符号化または復号が完了した後に行うものである項目86~105のいずれか一項に記載の装置。
(項目107)
前記履歴動き情報候補リストは、それぞれ第1のストレージスペースおよび第2のストレージスペースに記憶され、前記第2の領域は、前記第2のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行い、前記更新ユニットは、さらに、
前記第2の領域の符号化プロセスまたは復号プロセスにおいて、前記第2の領域に含まれる前記少なくとも一部の第2の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを更新するために用いられ、
前記符号化または復号ユニットは、さらに、
前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号するために用いられる項目86~104のいずれか一項に記載の装置。
(項目108)
前記更新ユニットは、さらに、
前記第2の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新するために用いられる項目107に記載の装置。
(項目109)
前記更新ユニットは、さらに、
前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにするために用いられる項目108に記載の装置。
(項目110)
前記履歴動き情報候補リストは、それぞれ第1のストレージスペースおよび第2のストレージスペースに記憶され、前記第2の領域は、前記第2のストレージスペースにおける前記履歴動き情報候補リストを用いて符号化または復号を行い、前記更新ユニットは、さらに、
前記第2の領域の符号化プロセスまたは復号プロセスにおいて、前記第2の領域に含まれる前記少なくとも一部の第2の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを更新することと、
前記第2の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新することと、のために用いられ、
前記符号化または復号ユニットは、さらに、前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストに基づき、それぞれ前記第1の画像ブロック各々を符号化または復号するために用いられる項目86~104のいずれか一項に記載の装置。
(項目111)
前記更新ユニットは、さらに、
前記第1の領域の符号化プロセスまたは復号プロセスにおいて、前記第1の領域に含まれる少なくとも1つの第1の画像ブロックの動き情報を用いて、前記第1のストレージスペースにおける前記履歴動き情報候補リストを再度更新することと、
前記第1の領域の符号化または復号が完了した後、前記第1のストレージスペースにおける再度更新した前記履歴動き情報候補リストを用いて、前記第2のストレージスペースにおける前記履歴動き情報候補リストを再度更新することと、のために用いられる項目110に記載の装置。
(項目112)
前記更新ユニットは、さらに、
前記第2のストレージスペースにおける前記履歴動き情報候補リストを更新し、前記第2のストレージスペースにおける更新後の前記履歴動き情報候補リストと、前記第1のストレージスペースにおける更新後の前記履歴動き情報候補リストを同じにするために用いられる項目110または111に記載の装置。
(項目113)
動画処理装置であって、
項目1~56のいずれか一項に記載の方法を処理するためのプロセッサを含む動画処理装置。
(項目114)
コンピュータ可読記憶媒体であって、
項目1~56のいずれか一項に記載の方法をプロセッサに実行させるためのコードを記憶するために用いられるコンピュータ可読記憶媒体。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11