(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-03
(45)【発行日】2024-06-11
(54)【発明の名称】動画像処理方法および装置
(51)【国際特許分類】
H04N 19/52 20140101AFI20240604BHJP
【FI】
H04N19/52
【外国語出願】
(21)【出願番号】P 2023006258
(22)【出願日】2023-01-19
(62)【分割の表示】P 2020553586の分割
【原出願日】2018-10-30
【審査請求日】2023-01-20
(31)【優先権主張番号】PCT/CN2018/081652
(32)【優先日】2018-04-02
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2018/095710
(32)【優先日】2018-07-13
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2018/103693
(32)【優先日】2018-08-31
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2018/107436
(32)【優先日】2018-09-25
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】513068816
【氏名又は名称】エスゼット ディージェイアイ テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】SZ DJI TECHNOLOGY CO.,LTD
【住所又は居所原語表記】6F,HKUST SZ IER Bldg.NO.9 Yuexing 1st Rd.Hi-Tech Park(South),Nanshan District Shenzhen,Guangdong 518057 China
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】ゼン、シャオゼン
(72)【発明者】
【氏名】フ、ティアンリアン
(72)【発明者】
【氏名】ワン、シャンシェ
(72)【発明者】
【氏名】マ、シウェイ
【審査官】田中 純一
(56)【参考文献】
【文献】特開2020-145486(JP,A)
【文献】特表2016-537839(JP,A)
【文献】米国特許出願公開第2015/0085929(US,A1)
【文献】国際公開第2017/133243(WO,A1)
【文献】特表2019-506089(JP,A)
【文献】米国特許出願公開第2018/0376161(US,A1)
【文献】Jianle Chen, et al.,Algorithm Description of Joint Exploration Test Model 7 (JEM 7),Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: T,JVET-G1001-v1,2017年08月19日,pp.1-44,庁内DB(送付可)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/12
H04N 19/00 - 19/98
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
対象近傍ブロック、現在画像ブロック、及び前記現在画像ブロックの同位フレームの動きベクトルに従って、前記現在画像ブロックの関連ブロックを確定する段階と、
前記現在画像ブロックの前記関連ブロックの前記動きベクトルに従って、前記現在画像ブロックを復号化する段階と、
前記現在画像ブロックの一部のコントロールポイントの前記対象近傍ブロックに従って、前記一部のコントロールポイントの動きベクトルを構築する段階と、
前記現在画像ブロックの動きベクトル候補リストに前記現在画像ブロックの前記一部のコントロールポイントの前記動きベクトルを追加する段階と
を備える動画像処理方法。
【請求項2】
前記現在画像ブロックを複数のサブブロックに分割する段階と、
前記対象近傍ブロックの動きベクトルに従って、前記現在画像ブロックの前記同位フレームにおける前記複数のサブブロックの関連ブロックを確定する段階と、
前記複数のサブブロックの前記関連ブロックの前記動きベクトルに従って前記現在画像ブロックを復号化する段階と
を備える、請求項1に記載の動画像処理方法。
【請求項3】
前記現在画像ブロックを複数のサブブロックに分割する段階と、
前記対象近傍ブロックの動きベクトルに従って、前記現在画像ブロックの前記同位フレームにおける前記複数のサブブロックの関連ブロックを確定する段階と、
利用できない動きベクトルを有するサブブロックが存在することに応じて、前記現在画像ブロックの前記関連ブロックの代表動きベクトルを使用して、前記利用できない動きベクトルを置き換えて、前記現在画像ブロックにおける対応する前記サブブロックを予測する段階と
を備える、請求項1に記載の動画像処理方法。
【請求項4】
前記現在画像ブロックの動きベクトル候補リストに前記現在画像ブロックの前記一部のコントロールポイントの前記動きベクトルが追加される前に、前記動きベクトル候補リストの候補の数量が予め定められた数値に達したかどうかを判断する段階と、
前記動きベクトル候補リストの候補の数量が前記予め定められた数値に達していない場合、前記動きベクトル候補リストに前記現在画像ブロックの前記一部のコントロールポイントの前記動きベクトルを追加する段階と
を備える、請求項1に記載の動画像処理方法。
【請求項5】
特定走査順でアフィン変換モードを採用して予測を行う前記現在画像ブロックの一または複数の前記対象近傍ブロックのそれぞれのコントロールポイント動きベクトル群を確定する段階と、
前記対象近傍ブロックの確定された前記コントロールポイント動きベクトル群を候補として前記動きベクトル候補リストに追加する段階と
を備え、
それぞれの前記コントロールポイント動きベクトル群は、近傍ブロックの2または3のコントロールポイントの動きベクトルを含む、請求項1に記載の動画像処理方法。
【請求項6】
特定走査順でアフィン変換モードを採用して予測を行う前記現在画像ブロックの一または複数の前記対象近傍ブロックのそれぞれのコントロールポイント動きベクトル群を確定する前記段階は、
第1走査順に従って前記現在画像ブロックの左側近傍ブロックを走査し、前記アフィン変換モードを採用して予測を行う第1左側近傍ブロックに達することに応じて前記第1左側近傍ブロックのコントロールポイント動きベクトル群を確定する段階と、
第2走査順に従って前記現在画像ブロックの上側近傍ブロックを走査し、前記アフィン変換モードを採用して予測を行う第1上側近傍ブロックに達することに応じて前記第1上側近傍ブロックのコントロールポイント動きベクトル群を確定する段階と
を含み、
前記対象近傍ブロックの確定された前記コントロールポイント動きベクトル群を候補として前記動きベクトル候補リストに追加する前記段階は、
前記第1左側近傍ブロックの前記コントロールポイント動きベクトル群及び前記第1上側近傍ブロックの前記コントロールポイント動きベクトル群を、候補として前記現在画像ブロックの前記動きベクトル候補リストに追加する段階を含む、請求項5に記載の動画像処理方法。
【請求項7】
前記動きベクトルにより指定される参照画像と、前記参照画像に位置付けられる前記同位フレームとの間の距離と、前記同位フレームと前記現在画像ブロックが位置付けられる現在フレームとの間の距離とに従って、前記現在画像ブロックの前記関連ブロックの前記動きベクトルのスケーリングファクタを確定する段階と、
前記スケーリングファクタに基づいて前記現在画像ブロックの前記関連ブロックの前記動きベクトルをスケーリングする段階と
を備える、請求項1に記載の動画像処理方法。
【請求項8】
前記現在画像ブロックの前記関連ブロックの前記動きベクトルが長期参照画像を指定する、または前記現在画像ブロックの前記同位フレームが長期参照画像である場合、前記関連ブロックの前記動きベクトルを1のスケーリングファクタに従ってスケーリングする段階、または前記スケーリングする段階をスキップする段階をさらに備える、請求項1に記載の動画像処理方法。
【請求項9】
命令を格納するメモリと、
前記命令を実行することで、
対象近傍ブロック、現在画像ブロック、及び前記現在画像ブロックの同位フレームの動きベクトルに従って、前記現在画像ブロックの関連ブロックを確定し、
前記現在画像ブロックの前記関連ブロックの前記動きベクトルに従って、前記現在画像ブロックを
符号化し、
前記現在画像ブロックの一部のコントロールポイントの前記対象近傍ブロックに従って、前記一部のコントロールポイントの動きベクトルを構築し、
前記現在画像ブロックの動きベクトル候補リストに前記現在画像ブロックの前記一部のコントロールポイントの前記動きベクトルを追加する、ように構成されるプロセッサと
を備える動画像処理装置。
【請求項10】
対象近傍ブロック、現在画像ブロック、及び前記現在画像ブロックの同位フレームの動きベクトルに従って、前記現在画像ブロックの関連ブロックを確定する段階と、
前記現在画像ブロックの前記関連ブロックの前記動きベクトルに従って、前記現在画像ブロックを
符号化する段階と、
前記現在画像ブロックの一部のコントロールポイントの前記対象近傍ブロックに従って、前記一部のコントロールポイントの動きベクトルを構築する段階と、
前記現在画像ブロックの動きベクトル候補リストに前記現在画像ブロックの前記一部のコントロールポイントの前記動きベクトルを追加する段階と
を含
み、
前記符号化する段階は、前記動きベクトル候補リストを用いて前記現在画像ブロックを符号化することで、ビットストリームを取得する段階を含む、
ビットストリーム生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
著作権表示
本特許文献に開示されている内容には著作権保護の対象となる材料が含まれている。該著作権は著作権所有者が所有する。著作権所有者は、これらの特許書類または特許開示の何人による複製に対しても、特許庁の公式レコードまたはファイルに表示される通りであれば異議を唱えない。
【0002】
本出願は、動画像の符号化および復号の分野に関連し、具体的には、動画像処理方法および装置に関する。
【背景技術】
【0003】
現在、主要な動画像符号化に関する標準規格では、フレーム間予測部分においていずれもブロックに基づく動き補償技術を採用し、その主な原理は、現在画像ブロックのためにすでに符号化された画像の中で最も類似したブロックを探索することであり、このプロセスは動き補償と呼ばれる。例えば、1フレームの画像に対し、まず、サイズが同じな符号化領域(Coding Tree Unit、CTU)に分割し、例えば、サイズが64×64または128×128である。各CTUは、さらに、方形または矩形の符号化ユニット(Coding Unit、CU)に分割することができる。各CUは、参照フレーム(通常は現在のフレームの時間領域の近くにおける再構築されたフレーム)の中で最も類似したブロックを現在のCUの予測ブロックとして探索する。現在のブロック(つまり、現在のCU)と類似ブロック(つまり、現在のCUの予測ブロック)の間の相対変位は、動きベクトル(Motion Vector、MV)と呼ばれる。参照フレームの中で現在のブロックの予測ブロックとして最も類似したブロックを探索するプロセスが動き補償である。
【0004】
現在の技術では、通常、現在CUの符号化された近傍ブロックの動きベクトルに基づいて、現在CUの動きベクトル候補リストを構築し、これはmerge候補リストとも呼ばれる。merge候補リストから、最適な動きベクトル候補を選択して現在のCUの動きベクトルとし、現在のCUの動きベクトルに基づき現在のCUの予測ブロックを確定する。
【0005】
高度/選択可能な時間動きベクトル予測技術(Advanced/Alternative temporal motion vector prediction、ATMVP)は動きベクトル予測メカニズムである。ATMVP技術の基本的な構想は、現在のCU内の複数のサブブロックの動き情報を取得することで動き補償を行うことである。ATMVP技術は候補リスト(例えばmerge候補リストまたはAMVP(Advanced Motion Vector Prediction)候補リスト)の構築において、現在のCU内における複数のサブブロックの動き情報を候補として導入する。ATMVP技術の実現は、ほぼ二つのステップに分けられる。ステップ1は、現在のCUの動きベクトル候補リストまたは現在のCUの隣接する画像ブロックの動きベクトルを走査することにより、1つの時間ベクトルを確定することである。ステップ2は、現在のCUをN×N(Nはデフォルトで4)のサブブロック(sub-CU)に分割し、ステップ1で取得した時間ベクトルに基づき各サブブロックの参照フレーム内での対応するブロックを確定し、各サブブロックの参照フレーム内での対応するブロックの動きベクトルに基づき各サブブロックの動きベクトルを確定することである。
【0006】
現在のATMVP技術のステップ1では、現在のCUの動きベクトル候補リストまたは現在のCUの隣接画像ブロックの動きベクトルを走査することで、時間ベクトルを確定するプロセスには改良の余地がある。
【発明の概要】
【0007】
本出願は、従来のATMVP技術の性能上の利得を維持したまま、ATMVP技術の複雑さを低減することができる動画像処理方法および装置を提供する。
【0008】
第1の態様は、動画像処理方法を提供し、該方法は、
現在画像ブロックの予め設定されたM個の近傍ブロックのうち、Mよりも小さいN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、
前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することと、
前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと1対1に対応させることと、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することを含む。
【0009】
本出願により提供される解決策では、現在画像ブロックの参照動きベクトルを取得するプロセスにおいて、すでに取得したM個の動きベクトル候補のうちN(NはMより小さい)個の動きベクトル候補のみを順次走査し、従来技術に比べて、現在画像ブロックの参照動きベクトルを取得するプロセスにおける動きベクトル候補に対する走査回数を減らすことができる。本出願により提供される解決策を従来のATMVP技術のステップ1に適用することで、それにおける冗長操作を簡略化することができることを理解されたい。
【0010】
第2の態様は、動画像処理方法を提供し、該方法は、
現在画像ブロックの動きベクトル第2候補リスト中のM個の候補に基づき、前記現在画像ブロックのM個の近傍ブロックを確定することと、
前記M個の近傍ブロックのうち、Mより小さいN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、
前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することと、
前記現在画像ブロックの関連ブロックに基づき前記現在画像ブロックの動きベクトル第1候補リスト中の特定候補を確定することと、
前記特定候補を用いることを確定した場合、前記現在画像ブロックと前記関連ブロックを同じの方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロックの各サブ画像ブロックに1対1に対応させることと、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することを含む。
【0011】
第3の態様は、動画像処理装置を提供し、該装置は、
現在画像ブロックの予め設定されたM個の近傍ブロックのうちMよりも小さいN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することと、前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと1対1に対応させることとのために用いられる構築モジュールと、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュールとを含む。
【0012】
第4の態様は、動画像処理装置を提供し、該装置は、
現在画像ブロックの動きベクトル第2候補リスト中のM個の候補に基づき、前記現在画像ブロックのM個の近傍ブロックを確定することと、前記M個の近傍ブロックのうちMより小さいN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することと、前記現在画像ブロックの関連ブロックに基づき前記現在画像ブロックの動きベクトル第1候補リスト中の特定候補を確定することと、前記特定候補を用いることを確定した場合、前記現在画像ブロックと前記関連ブロックを同じの方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロックの各サブ画像ブロックに1対1に対応させることとのために用いられる構築モジュールと、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュールとを含む。
【0013】
第5態様は、動画像処理装置を提供し、該装置はメモリとプロセッサを含み、前記メモリは命令を記憶するために用いられ、前記プロセッサは前記メモリに記憶された命令を実行するために用いられ、前記メモリに記憶された命令を実行することによって、前記プロセッサは第1態様または第1態様のいずれかの可能な実施形態における方法を実行するために用いられる。
【0014】
第6態様は、動画像処理装置を提供し、該装置はメモリとプロセッサを含み、前記メモリは命令を記憶するために用いられ、前記プロセッサは前記メモリに記憶された命令を実行するために用いられ、前記メモリに記憶された命令を実行することによって、前記プロセッサは第2態様または第2態様のいずれかの可能な実施形態における方法を実行するために用いられる。
【0015】
第7態様は、コンピュータ記憶媒体を提供し、それにコンピュータプログラムが記憶されており、前記コンピュータプログラムがコンピュータにより実行されると、前記コンピュータに第1態様または第1態様のいずれかの可能な実施形態における方法を実行させる。
【0016】
第8態様は、コンピュータ記憶媒体を提供し、それにコンピュータプログラムが記憶され、前記コンピュータプログラムがコンピュータにより実行されると、前記コンピュータに第2態様または第2態様のいずれかの可能な実施形態における方法を実行させる。
【0017】
第9態様は、命令を含むコンピュータプログラム製品を提供し、前記命令がコンピュータにより実行されると、前記コンピュータに第1態様または第1態様のいずれかの可能な実施形態における方法を実行させる。
【0018】
第10態様は、命令を含むコンピュータプログラム製品を提供し、前記命令がコンピュータにより実行されると、前記コンピュータに第2態様または第2態様のいずれかの可能な実施形態における方法を実行させる。
【図面の簡単な説明】
【0019】
【
図1】本出願の実施例によって提供される動画像処理方法の概略的な流れ図である。
【
図2】現在画像ブロックの近傍ブロックによって現在ブロックの動きベクトル候補を取得する概略図である。
【
図3】動きベクトル候補にスケーリング処理を行う概略図である。
【
図4】本出願の実施例によって提供される動画像処理方法のもう1つの概略的流れ図である。
【
図5】本出願の実施例によって提供される動画像処理装置の概略的ブロック図である。
【
図6】本出願の実施例によって提供される動画像処理装置のもう1つの概略的ブロック図である。
【
図7】本出願の実施例によって提供される動画像処理方法の概略的な流れ図である。
【
図8】本出願の実施例によって提供される動画像処理方法のもう1つの概略的流れ図である。
【
図9】本出願の実施例によって提供される動画像処理装置のさらなる1つの概略的ブロック図である。
【
図10】本出願の実施例によって提供される動画像処理装置のさらなる1つの概略的ブロック図である。
【
図11】本出願の実施例によって提供される動画像処理装置のさらなる1つの概略的ブロック図である。
【
図12】動きベクトル第1候補リストの候補を取得する概略図である。
【
図13】動きベクトル第1候補リストの候補を構築するさらなる1つの概略図である。
【
図14】本出願の実施例によって提供される動画像処理方法の概略的流れ図である。
【
図15】本出願の実施例によって提供される動画像処理方法の概略的流れ図である。
【
図16】本出願の実施例によって提供される動画像処理装置のさらなる1つの概略的ブロック図である。
【
図17】本出願の実施例によって提供される動画像処理装置のさらなる1つの概略的ブロック図である。
【発明を実施するための形態】
【0020】
動画像の符号化および復号において、予測ステップは画像中の冗長情報を減少するために用いられる。予測ブロックとは、1フレームの画像中の予測のための基本ユニットを意味し、いくつかの標準規格において、この予測ブロックは予測ユニット(Prediction Unit、PU)とも呼ばれる。1フレームの画像を符号化/圧縮する前に、画像は複数の画像ブロックに分割され、さらに、該複数の画像ブロック中の各画像ブロックは、複数の画像ブロックに再度分割でき、これに基づいて類推することができる。異なる符号化方法では、分割された階層の数が異なってもよいし、担当する操作方法も異なる。異なる符号化標準規格において、同一階層上の画像ブロックの名称が異なることがある。例えば、いくつかの動画像標準規格では、1フレームの画像が一回目に分割された複数の画像ブロック中の各画像ブロックは符号化ツリーユニット(Coding Tree Unit、CTU)と呼ばれ、各符号化ツリーユニットは1つの符号化ユニット(Coding Unit、CU)を含んでもよいし、または再び複数の符号化ユニットに分割されてもよい。1つの符号化ユニットは予測方式に応じて1つ、二つ、四つまたは他の数量の予測ユニットに分割することができる。いくつかの動画像標準規格では、当該符号化ツリーユニットは最大符号化ユニット(Largest Coding Unit、LCU)とも呼ばれる。
【0021】
予測とは、該予測ブロックと類似した画像データを探索することであり、この予測ブロックの参照ブロックとも呼ばれる。該予測ブロックと該予測ブロックの参照ブロックとの差分を符号化/圧縮することにより、符号化/圧縮における冗長情報を減少する。ここで、予測ブロックと参照ブロックとの差分は、該予測ブロックから該参照ブロックの対応する画素値を減算して得られる残差であってもよい。予測はフレーム内予測とフレーム間予測を含む。フレーム内予測とは、予測ブロックが位置するフレーム内で該予測ブロックの参照ブロックを探索することを指し、フレーム間予測とは、予測ブロックが位置するフレーム以外のフレーム内で該予測ブロックの参照ブロックを探索することを指す。
【0022】
従来のいくつかの動画像標準規格では、予測ユニットは画像中の最小のユニットであり、予測ユニットは引き続き複数の画像ブロックに分割されない。後述する「画像ブロック」又は「現在画像ブロック」とは、1つの予測ユニット(又は1つの符号化ユニット)を意味し、また、1つの画像ブロックを複数のサブ画像ブロックに引き続き分割でき、各サブ画像ブロックをさらに予測することができる。
【0023】
本解決策では、現在画像ブロックを予測する前に、動きベクトル候補リストを構築し、該動きベクトル候補リストの中で選択された動きベクトル候補に基づき現在画像ブロックを予測する。動きベクトル候補リストには複数のモードがある。以下、動きベクトル候補リストの複数のモードについて例をあげて説明する。
【0024】
第1のモードでは、第1の例として、符号化側では、動きベクトル候補リストを構築した後、以下のステップで現在画像ブロックの符号化を完了ことができる。
【0025】
1)動きベクトル候補リストから最適な動きベクトル(MV1と記す)を選択し、選択したMV1を現在画像ブロックの動きベクトルとし、該MV1の動きベクトル候補リストでのインデックスを取得する。
【0026】
2)現在画像ブロックの動きベクトルMV1に基づき、参照画像(すなわち参照フレーム)から現在画像ブロックの予測画像ブロックを確定する。つまり、現在画像ブロックの予測画像ブロックの参照フレームでの位置を確定する。
【0027】
3)現在画像ブロックと予測画像ブロックとの間の残差を取得する。
【0028】
4)復号側へ現在画像ブロックの動きベクトルMV1が動きベクトル候補リストにおけるインデックスおよびステップ3)で取得した残差を送信する。
【0029】
例として、復号側において、以下のステップで現在画像ブロックを復号化することができる。
【0030】
1)符号化側から残差と現在画像ブロックの動きベクトルの動きベクトル候補リストにおけるインデックスを受信する。
【0031】
2)本出願の実施例による方法によって動きベクトル候補リストを取得する。復号側で取得した動きベクトル候補リストは符号化側で取得した動きベクトル候補リストと一致する。
【0032】
3)インデックスに基づき、動きベクトル候補リストから現在画像ブロックの動きベクトルMV1を取得する。
【0033】
4)動きベクトルMV1に基づき、現在画像ブロックの予測画像ブロックを取得し、残差と合わせて、復号によって現在画像ブロックを取得する。
【0034】
つまり、第1モードでは、現在画像ブロックの動きベクトルは予測MV(Motion vector prediction、MVP)に等しい。いくつかの標準規格では、第1モードはMergeモードとも呼ばれる。
【0035】
第2モードでは、第1モードと異なって、符号化側は動きベクトル候補リストから最適な動きベクトルMV1を選択した後、さらに該MV1を探索起点として動き探索を行い、最終的に探索した位置と探索起点の変位を動きベクトル差分値(Motion vector difference、MVD)と記す。続いて現在画像ブロックの動きベクトルMV1+MVDに基づき、参照画像から現在画像ブロックの予測画像ブロックを確定する。符号化側はさらに、復号側にMVDを送信する。いくつかの標準規格では、第2モードはAMVPモード(すなわち通常フレーム間予測モード)とも呼ばれる。
【0036】
異なるモードでの動きベクトル候補リストの構築方式は同じであってもよいし、異なってもよい。同じ方式で構築された動きベクトル候補リストはそのうちの1つのモードのみに適用してもよく、異なる構築モードに適用してもよく、ここでは限定しない。
【0037】
本解決策において、二つの構築方式の動きベクトル候補リストを提供し、説明の便宜上、以下ではこの2つの構築方式の動きベクトル候補リストを、動きベクトル第1候補リストと動きベクトル第2候補リストと呼ぶ。この2つのリストの1つの違いは、動きベクトル第1候補リスト中の少なくとも1つの候補がサブ画像ブロックの動きベクトルを含み、動きベクトル第2候補リスト中の各候補が画像ブロックの動きベクトルを含むことである。上記で説明したように、ここでの画像ブロックと現在画像ブロックは同じタイプの概念であり、いずれも1つの予測ユニット(または1つの符号化ユニット)を指し、サブ画像ブロックとは、該画像ブロックをもとに分割された複数のサブ画像ブロックを指す。動きベクトル第1候補リスト中の候補を用いて予測する時、該候補に基づき現在画像ブロックの参照ブロックを確定し、続いて該画像ブロックと該参照ブロックとの残差を算出する。動きベクトル第2候補リスト中の候補を用いて予測する時、用いた候補がサブ画像ブロックの動きベクトルであれば、該候補に基づき現在画像ブロック中の各サブ画像ブロックの参照ブロックを確定し、続いて現在画像ブロック中の各サブ画像ブロックとその参照ブロックとの残差を算出し、各サブ画像ブロックの残差を該現在画像ブロックの残差につなぎ合わせる。
【0038】
ここでは、動きベクトル第1候補リストおよび/または動きベクトル第2候補リスト中の候補を確定する時、ATMVP技術に基づきそのうち1つの候補を確定することができる。1つの例において、動きベクトル第1候補リストを構築する時、ATMVP技術に基づいて確定された動きベクトルを第1候補としてリストに入れることができる。1つの例において、動きベクトル第2候補リストを構築する時、現在画像ブロックの予め設定された位置での予め設定された数の空間領域近傍ブロックの動きベクトルに基づき動きベクトル第2候補リスト中に候補を入れた後、ATMVP技術に基づいて確定された動きベクトルを候補としてリストに入れ、当然ながら、この二つの候補リストの候補の加入順は他の順であってもよいが、ここでは限定しない。
【0039】
以下、まず動きベクトル第2候補リストの構築方式の使用方式に合わせて如何にATMVP技術に基づきそのうち1つの候補を確定するかについて例をあげて説明する。
【0040】
動きベクトル第2候補リストの構築方式についての説明において、理解を容易にするため、ここで、動きベクトルを説明する。1つの画像ブロックの動きベクトルは、1)該動きベクトルが指す画像、2)変位という二つの情報を含むことができる。1つの画像ブロックの動きベクトルとは、該動きベクトルが指す画像において該画像ブロックと該変位を有する画像ブロックを意味する。符号化/復号済みの画像ブロックに対し、その動きベクトルの概念は、該符号化/復号済みの画像ブロックの参照画像、および符号化/復号済みの画像ブロックの参照ブロックの該符号化/復号済みの画像ブロックに対する変位を含む。なお、ここで説明する1つの画像ブロックの参照ブロックとは、該画像ブロックの残差を算出するために使用される画像ブロックを意味する。
【0041】
図1は本出願の実施例によって提供される動画像処理方法の概略的流れ図である。該方法は以下のステップを含む。
【0042】
S110、現在画像ブロックの動きベクトル第2候補リストに入れるためのM個の動きベクトル候補を確定する。
【0043】
現在画像ブロックは符号化(または復号)対象の画像ブロックである。現在画像ブロックが位置する画像フレームは現在フレームと呼ばれる。例えば、現在画像ブロックは1つの符号化ユニット(CU)である。
【0044】
例えば、現在画像ブロックの動きベクトル第2候補リストはMerge候補リストまたはAMVP候補リストであってもよい。例えば、該動きベクトル第2候補リストはMerge候補リスト中の通常動きベクトル候補リスト(Normal Merge List)であってもよい。動きベクトル第2候補リストは別の名称を有してもよいと理解されたい。
【0045】
M個の動きベクトル候補は現在画像ブロックの現在フレーム内におけるM個の近傍ブロックの動きベクトルに基づき確定されてもよい。近傍ブロックは現在フレームにおいて現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックであってもよい。なお、このM個の近傍ブロックは現在フレーム内における符号化(または復号)済みの画像ブロックである。
【0046】
一例として、
図2に示すように、現在画像ブロックのM個の近傍ブロックは
図2に示される現在画像ブロックの周囲の4つの位置A
1(左)→B
1(上)→B
0(右上)→A
0(左下)に位置する画像ブロックである。この4つの位置の画像ブロックの動きベクトルに基づき現在画像ブロックのM(すなわちMが4に等しい)個の動きベクトル候補を確定する。
【0047】
また、該M個の近傍ブロックに取得不可な近傍ブロックが現れた場合、または該M個の近傍ブロックにフレーム内符号化モードを用いた近傍ブロックが現れた場合、該取得不可な近傍ブロックまたは該フレーム内符号化モードを用いた近傍ブロックの動きベクトルが取得不可である。そこで、該取得不可な近傍ブロックの動きベクトルは動きベクトル候補とせず、該取得不可な動きベクトルを現在画像ブロックの動きベクトル第2候補リストに入れることを放棄する。
【0048】
1つの可能な実施形態として、ステップS110を完了した後、M個の動きベクトル候補はすでに動きベクトル第2候補リストに入れられた。ステップS120において、動きベクトル第2候補リストを直接走査できる。
【0049】
S120、M個の動きベクトル候補のうちのN個の動きベクトル候補を順次走査し、走査結果に基づき参照動きベクトルを確定し、NがMより小さい。ここでは、MとNはいずれも自然数である。
【0050】
該M個の動きベクトル候補がすべて動きベクトル第2候補リストに入れられるか、それとも該M個の動きベクトル候補のうちに一部の動きベクトルが取得不可になることによって該M個の動きベクトル候補のうち一部の動きベクトル候補のみが動きベクトル第2候補リストに入れられるかにもかかわらず、該M個の動きベクトル候補のうちのN個の動きベクトル候補を固定的に順次走査する。該M個の動きベクトル候補のうちのN個の動きベクトル候補を固定的に順次走査することとは、該N個の動きベクトル候補のうちすでに動きベクトル候補リストに入れられた動きベクトル候補を固定的に走査することを指してもよいし、または、該M個の動きベクトル候補のうちすでに動きベクトル候補リストに入れられたN個の動きベクトル候補を固定的に走査することを指してもよい。
【0051】
N個の動きベクトル候補の走査結果に基づき参照動きベクトルを確定するプロセスは、事前設定条件に基づきN個の動きベクトル候補を順次判断し、判断結果に基づき参照動きベクトルを確定するプロセスであってもよい。
【0052】
一例として、事前設定条件は、画像ブロックが取得可能であり、またはフレーム内予測符号化モードを採用せず、かつ前記動きベクトル候補が指す参照フレームが現在画像ブロックの参照画像と同じであることを含む。
【0053】
ここでは、現在画像ブロックの参照画像は現在画像ブロックが位置する画像と時間距離が最も近い参照画像であり、または、現在画像ブロックの参照画像は符号化および復号側に予め設定された参照画像であり、または、現在画像ブロックの参照画像は動画像パラメータセット、シーケンスヘッダ、シーケンスパラメータセット、画像ヘッダ、画像パラメータセット、スライスヘッダ中に指定される参照画像である。
【0054】
例えば、該現在画像ブロックの参照画像は現在画像ブロックの同位フレームであり、同位フレームは、スライスレベルの情報ヘッダに設定された動き情報を取得して予測するためのフレームである。いくつかの応用シーンにおいて、該同位フレームは位置関連フレーム(collocated picture)とも呼ばれる。
【0055】
将来の技術の進化に応じて、この事前設定条件は他の異なる定義を与える可能性があり、それに応じた解決策も本出願の保護範囲に入ることを理解されたい。
【0056】
以下、N個の動きベクトル候補の走査結果に基づき参照動きベクトルを確定するプロセスを詳細に説明する。
【0057】
ステップS120において、ステップS110で取得されたM個の動きベクトル候補のうちのN個の動きベクトルのみを走査し、このようにして走査の回数を減少できる。
【0058】
任意選択的に、ステップS120において、M個の動きベクトル候補のうち前のN個の動きベクトル候補を順次走査してもよい。
【0059】
任意選択的に、ステップS120において、M個の動きベクトル候補のうちの最後のN個の動きベクトル候補を順次走査してもよいし、または、M個の動きベクトル候補のうちの中間のN個の動きベクトル候補を順次走査してもよい。本出願はこれに対して限定しない。
【0060】
一例として、ステップS120において、M個の動きベクトル候補のうちの一部の動きベクトル候補を順次走査する。
【0061】
もう一例として、ステップS120において、現在、すでに動きベクトル第2候補リストに入れられた動きベクトル候補のうちの一部の動きベクトル候補を順次走査する。
【0062】
S130、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、動きベクトル第2候補リストに引き続き入れられる動きベクトル候補を確定する。
【0063】
現在画像ブロックの動きベクトル第2候補リストには、ステップS110で確定されたM個の動きベクトル候補およびステップS130で確定された動きベクトル候補が含まれる。一例において、S130で動きベクトル第2候補リストに引き続き入れる第M+1個の動きベクトル候補を確定した後、他の方法によって動きベクトル第2候補リストに引き続き入れる他の動きベクトル候補を確定し、ここでは限定しない。
【0064】
動きベクトル第2候補リストの構築を完了した後、
図1に示すように、該方法は、ステップS130で得られた動きベクトル第2候補リストに基づき、現在画像ブロックの動きベクトルを確定するステップS140をさらに含む。
【0065】
本出願で提供される解決策は、ATMVP技術に適用できることを理解されたい。従来のATMVP技術のステップ1において、動きベクトル第2候補リストに現在すでに入れられたすべての空間動きベクトル候補を走査することによって、現在画像ブロックの時間ベクトルを取得する。例えば、動きベクトル第2候補リストには一般に、4個の空間動きベクトル候補が取り込まれるので、画像ブロックの時間ベクトルを得るために、4個の動きベクトル候補を走査する必要がある場合がある。
【0066】
一方、本出願の実施例において、現在画像ブロックの参照動きベクトルを取得するプロセスにおいて、すでに取得されたM個の動きベクトル候補のうちのN(NはMより小さい)個の動きベクトル候補のみを順次走査し、従来技術に比べて、現在画像ブロックの参照動きベクトルを取得するプロセスにおける動きベクトル候補に対する走査回数を減少することができる。本出願により提供される解決策を従来のATMVP技術のステップ1に適用することで、それにおける冗長操作を簡略化することができることを理解されたい。
【0067】
出願人は、次世代動画像符号化(Versatile Video Coding)の最新の参照ソフトウェアVTM-2.0上で、テストシーケンスとして公式通用テストシーケンスを選び、RA構成およびLDB構成のテスト構成で、本出願に提供される解決策に対してテストを行い、テスト結果によると、走査回数を減らした後、ATMVP技術の性能上の利得を維持することができる。
【0068】
従って、本出願で提供される解決策は、従来のATMVP技術の性能上の利得を維持したまま、ATMVP技術の複雑さを低減することができる。
【0069】
本出願で提供される構築に関する解決策で形成される動きベクトル第2候補リストは符号化側と復号側に応用できる。換言すれば、本出願で提供される方法の実行主体は符号化側であってもよく、復号側であってもよい。
【0070】
一例として、本出願で提供される構築に関する解決策で形成される動きベクトル第2候補リストは上記の第1モード(例えばMergeモード)に応用できる。
【0071】
任意選択的に、本実施例において、ステップS110では、現在画像ブロックの現在フレーム内での4個の近傍ブロックの動きベクトルに基づき、現在画像ブロックの動きベクトル第2候補リストに入れるための4個の動きベクトル候補を確定し、すなわち、Mが4に等しい。ステップS120において、4個の動きベクトル候補のうちのN個の動きベクトル候補を走査し、Nが4よりも小さい。
【0072】
例えば、Nは1に等しい。例えば、ステップS120において、動きベクトル第2候補リスト中の1つ目の動きベクトル候補のみを走査する。また、例えば、Nは2または3に等しい。
【0073】
以下、ステップS120においてN個の動きベクトル候補の走査結果に基づき現在画像ブロックの参照動きベクトルを確定する方式について説明する。
【0074】
ステップS120において、M個の動きベクトル候補のうちのN個の動きベクトル候補が事前設定条件を満たすかどうかを1つずつ判断し、判断結果に基づき参照動きベクトルを確定する。ここでは、事前設定条件の定義は動きベクトル候補が指す参照フレームと現在画像ブロックの参照画像が同じであることを例として説明する。
【0075】
任意選択的に、ステップS120において、N個の動きベクトル候補を順次走査し、1つ目の事前設定条件に符合する動きベクトル候補まで走査すると、すなわち、1つ目の参照フレームと現在フレームの同位フレームが同じである動きベクトル候補まで走査すると、走査を停止し、走査した1つ目の事前設定条件に符合する動きベクトル候補に基づき参照動きベクトルを確定する。
【0076】
1つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査回数はNに等しいか、Nより小さいこともある。例えば、1つ目に走査する動きベクトル候補が事前設定条件を満たすと、走査を停止し、この動きベクトル候補を現在画像ブロックの参照動きベクトルとする。
【0077】
任意選択的に、ステップS120において、N個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、すなわちN個の動きベクトル候補が指す参照フレームはすべて現在画像ブロックの同位フレームと異なる時、デフォルト値を参照動きベクトルの値とする。
【0078】
例えば、デフォルト値は(0,0)であり、すなわち参照動きベクトルは(0,0)である。実況によって、デフォルト値は別の定義がさらにある。
【0079】
任意選択的に、ステップS120において、N個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、すなわち、N個の動きベクトル候補が指す参照フレームはすべて現在画像ブロックの同位フレームと異なる時、動きベクトル第2候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づき参照動きベクトルを確定する。
【0080】
該特定動きベクトル候補は、N個の動きベクトル候補のうち、走査順で得られた1つ目の動きベクトルまたは最後の動きベクトルであってもよい。
【0081】
該特定動きベクトル候補はさらに、N個の動きベクトル候補のうち、他の走査順で得られた動きベクトルであってもよい。
【0082】
事前設定条件の定義は動きベクトル候補の指す参照フレームが現在画像ブロックの参照フレームと同じである場合、動きベクトル第2候補リスト中の特定動きベクトル候補にスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づき参照動きベクトルを確定することであり、それは、スケーリング処理された特定動きベクトル候補が指す参照フレームと現在画像ブロックの参照画像が同じとなるように動きベクトル第2候補リスト中の特定動きベクトル候補にスケーリング処理を行うことと、スケーリング処理後の特定動きベクトル候補を参照動きベクトルとすることとを含む。
【0083】
図3に示すように、curr_picは現在画像ブロックが位置する画像を表し、col_picは現在画像ブロックの同位フレーム(collocated picture)を表し、neigh_ref_picは特定動きベクトル候補が指す参照フレームを表す。一実施形態において、特定動きベクトル候補が指す参照画像neigh_ref_picと該特定動きベクトルに対応する画像ブロックが位置する画像curr_picとの間の時間距離、および現在画像ブロックの参照画像col_picと現在画像ブロックが位置する画像curr_picとの間の時間距離に基づき、該特定動きベクトルの縮尺を確定する。
【0084】
画像フレームと画像フレームとの間の動き程度の相違性が悪く、現在フレームとその同位フレームとの間に動きが激しい場合に、動きベクトル(0,0)を現在ブロックの対応ブロックを位置決めする根拠として用いれば、フレーム間の動きを考慮せず、そのまま現在のブロックの同位フレームでの絶対座標が変更されていないと仮定するが、実際には、現在のブロックの同位フレームでの座標と現在のフレームでのその座標とが異なる確率が非常に大きいため、大きなばらつきが生じると理解されたい。
【0085】
本出願の実施例において、N個の動きベクトル候補のうち参照フレームと現在フレームの同位フレームが同じである動きベクトル候補が走査されていない場合、N個の動きベクトル候補のうち1つの動きベクトル候補にスケーリング処理を行い、その参照フレームと現在フレームの同位フレームが同じになるようにし、続いてこのスケーリング処理された動きベクトル候補を現在画像ブロックの動きベクトルとする。このようにして現在画像ブロックの動きベクトルの正確さを向上させることができる。
【0086】
任意選択的に、NがMより小さくかつ1より大きい整数の場合、本実施例における特定動きベクトル候補はN個の動きベクトル候補のうち参照フレームと現在画像ブロックの同位フレームが時間領域において距離が最も近い動きベクトル候補であってもよい。
【0087】
N個の動きベクトル候補のうち参照フレームと現在フレームの同位フレームの距離が最も近い動きベクトル候補を選択してそれにスケーリング処理を行い、スケーリング処理にかかる時間を減らし、それにより現在画像ブロックの動きベクトルを取得する効率を向上させることができる。
【0088】
任意選択的に、NがMより小さくかつ1より大きい整数の場合、本実施例における特定動きベクトル候補はN個の動きベクトル候補のうちのいずれかの動きベクトル候補であってもよい。
【0089】
なお、Nが1に等しい場合、本実施例における特定動きベクトル候補はすなわち走査するこの動きベクトル候補である。
【0090】
任意選択的に、1つの実施例として、Nが1に等しく、ステップS120において、該動きベクトル第2候補リスト中の1つの動きベクトル候補を走査することによって、該現在画像ブロックの参照動きベクトルを取得する。走査するこの動きベクトル候補が指す参照フレームと現在画像ブロックが位置する現在フレームの同位フレームが異なる場合、この動きベクトル候補にスケーリング処理を行って、該スケーリング処理された動きベクトル候補の参照フレームと該現在フレームの同位がフレーム同じになるようにし、該スケーリング処理後の動きベクトル候補を該現在画像ブロックの参照動きベクトルとする。走査するこの動きベクトル候補の参照フレームと現在フレームの同位フレームが同じである場合、この動きベクトル候補を現在画像ブロックの動きベクトルとする。
【0091】
本実施例において、該動きベクトル候補リスト中の1つの動きベクトル候補を走査することで、該現在画像ブロックの動きベクトルを取得し、現在画像ブロックの動きベクトルを取得するプロセスにおける動きベクトル候補の走査回数を効果的に減少し、走査する動きベクトル候補の参照フレームは現在フレームの同位フレームと異なる場合、この動きベクトル候補にスケーリング処理を行って、その参照フレームと現在フレームの同位フレームが同じになるようにし、続いてこのスケーリング処理後の動きベクトル候補を現在画像ブロックの動きベクトルとし、このようにして現在画像ブロックの動きベクトルの正確さを向上させることができる。従って、従来技術に対し、本出願の実施例によって提供される解決策は、現在画像ブロックの動きベクトルを確定するプロセスを簡略化するだけでなく、現在画像ブロックの動きベクトルの正確さを向上させることもできる。
【0092】
事前設定条件の定義が変化する場合、動きベクトル第2候補リスト中の特定動きベクトル候補にスケーリング処理を行うプロセスも対応的に変化し、すなわちスケーリング処理後の特定動きベクトル候補が事前設定条件を満たすことを保証する必要があることを理解されたい。
【0093】
以下、ステップS130において、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、動きベクトル第2候補リストに引き続き入れる動きベクトル候補を確定するプロセスを説明する。
【0094】
任意選択的に、一実施形態として、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき動きベクトル第2候補リストに引き続き入れる動きベクトル候補を確定することは、現在画像ブロックを複数のサブ画像ブロックに分割することと、参照動きベクトルに基づき、現在画像ブロックの参照画像中にサブ画像ブロックの関連ブロックを確定することと、関連ブロックの動きベクトルに基づき、動きベクトル第2候補リストに引き続き入れる動きベクトル候補を確定することとを含む。
【0095】
一例において、現在画像ブロック中の各サブ画像ブロックの関連ブロックの動きベクトルを候補として動きベクトル第2候補リストに入れる。該候補を用いて予測する時、現在画像ブロック中の各サブ画像ブロックの関連ブロックの動きベクトルに基づき該サブ画像ブロックを予測する。
【0096】
一例において、現在画像ブロックの関連ブロックの代表動きベクトルを候補として動きベクトル第2候補リストに入れ、該候補をATMVP技術に基づいて確定されたものとしてマークする。該候補を用いて予測する時、該マークと候補に基づき現在画像ブロックの関連ブロックを確定し、現在画像ブロックと該関連ブロックを同じ方式で複数のサブ画像ブロックに分割し、現在画像ブロック中の各サブ画像ブロックを前記関連ブロック中の各サブ画像ブロックと1対1に対応させ、該関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ現在画像ブロック中の対応するサブ画像ブロックを予測する。任意選択的に、関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出た場合、該関連ブロックの代表動きベクトルで該取得不可な動きベクトルを代替し、現在画像ブロック中の対応するサブ画像ブロックを予測する。任意選択的に、関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出ており、かつ関連ブロックの代表動きベクトルがすべて取得不可な場合、ATMVP技術に基づいて確定された候補を該動きベクトル第2候補リストに入れることを放棄する。一例において、関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、該関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出たを確定する。
【0097】
任意選択的に、現在画像ブロックの関連ブロックの代表動きベクトルとは、該関連ブロックの中央位置の動きベクトルを指してもよく、または他の該関連ブロックを代表する動きベクトルを指してもよく、ここでは限定しない。
【0098】
いくつかの動画像符号化および復号に関する標準規格において、関連ブロックはcollocated blockまたはcorresponding blockと呼ばれてもよい。
【0099】
例えば、現在画像ブロックは1つのCUであり、それを分割した後に得られたサブ画像ブロックはsub-CUと呼ばれてもよい。任意選択的に、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは64画素以上に固定される。任意選択的に、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはいずれも8×8画素に固定される。
【0100】
現在のATMVP技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで4×4であり、ある条件を満たす時、サブ画像ブロックのサイズは8×8に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間レイヤにおける前の符号化画像ブロックのATMVPモードの符号化時にCU中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が8×8に設定され、そうでなければデフォルト値4×4を使用する。現在、次世代の動画像符号化規格(Versatile Video Coding、VVC)において、8×8のサイズで動きベクトルを記憶する。サブ画像ブロックのサイズを4×4に設定すると、該サブ画像ブロックの動きベクトルのサイズ(4×4ともする)は現在規格における動きベクトルの記憶粒度に符合しないことを理解されたい。また、現在ATMVP技術において、符号化現在画像ブロックを符号化する時、さらに、同一時間レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
【0101】
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを8×8に設定し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
【0102】
なお、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズが64画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはA×B、A≦64、B≦64であり、AとBはともに4の整数である。例えば、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは4×16画素、または16×4画素である。
【0103】
任意選択的に、もう一つの実施形態として、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、動きベクトル第2候補リストに引き続き入れる動きベクトル候補を確定することは、参照動きベクトルに基づき、現在画像ブロックの参照画像中に現在画像ブロックの関連ブロックを確定することと、関連ブロックの動きベクトルに基づき、動きベクトル第2候補リストに引き続き入れる動きベクトル候補を確定することとを含む。
【0104】
符号化/復号技術において、一般的に符号化/復号済みの画像を現在の符号化/復号対象の参照画像として用いる。いくつかの実施例において、さらに、1つの参照画像を構築して、参照画像と現在の符号化/復号対象の画像の類似度を向上させることができる。
【0105】
例えば、動画像コンテンツには、背景がほとんど変化せず、動画像の前景だけが変化したり、動きしたりする特定の符号化/復号シーンが存在する。例えば、ビデオモニタリングはこのようなシーンに属する。ビデオモニタリングのシーンでは通常、監視カメラが固定されており、または、ゆっくりと動いているだけであり、背景はほとんど変化していないと考えられる。これに対し、ビデオ監視カメラで撮影された人や車などの物体はつねに移動したり変化が発生したりし、前景はつねに変化していると考えられる。このようなシーンでは、高品質の背景情報のみを含む特定参照画像をつくることができる。該特定参照画像には複数の画像ブロックが含まれてもよく、いずれかの画像ブロックも、ある復号済みの画像から取り出され、該特定参照画像中の異なる画像ブロックは、異なる復号済みの画像から取得されることがある。レーム間予測をする時、現在符号化/復号対象の画像の背景部分は該特定参照画像を参照することで、フレーム間予測の残差情報を減少し、それにより符号化/復号効率を向上させることができる。
【0106】
以上は、特定参照画像の具体例である。いくつかの実施形態において、特定参照画像は、構造フレーム(composite reference)、長期参照画像、非出力画像のうちの少なくとも1つの性質を有する。ここでは、該非出力画像とは、出力されて表示されない画像を指し、一般に、該非出力画像は、他の画像の参照画像として存在する。例えば、該特定参照画像は、構築された長期参照画像であってもよいし、非出力構造フレームであってもよいし、非出力長期参照画像であってもよい。いくつかの実施形態において、構造フレームは合成参照フレームとも呼ばれる。
【0107】
いくつかの実施形態において、非特定参照画像は、構造フレーム、長期参照画像、非出力画像のうちの以下の少なくとも1つの性質を有していない参照画像であってもよい。例えば、該特定参照画像は、構造フレーム以外の参照画像を含んでもよいし、または長期参照画像以外の参照画像を含んでもよいし、または非出力画像以外の参照画像を含んでもよいし、または構築された長期参照画像以外の参照画像を含んでもよいし、または非出力構造フレーム以外の参照画像を含んでもよいし、または非出力長期参照画像以外の参照画像などを含んでもよい。
【0108】
いくつかの実施形態において、動画像中の画像を参照画像とすることができる場合に、長期参照画像と短期参照画像とを区別することができる。ここで、短期参照画像は、長期参照画像に対応する概念である。短期参照画像は、参照画像バッファに一定時間存在し、該短期参照画像の後ろの復号済み参照画像の参照画像バッファにおけるいくつかの出入り動作の後に、短期参照画像はバッファ外から移り出される。参照画像バッファは参照画像リストキャッシュ、参照画像リスト、参照フレームリストキャッシュまたは参照フレームリストなどとも呼ばれてもよく、ここでは参照画像バッファと総称される。
【0109】
長期参照画像(または長期参照画像中のデータの一部)は、つねに参照画像バッファ内に存在することができ、該長期参照画像(又は長期参照画像中のデータの一部)は、復号化された参照画像の参照画像バッファ内での出入り動作の影響を受けず、復号側で更新命令を送信する操作をした場合にのみ、該長期参照画像(または長期参照画像中のデータの一部)が参照画像バッファから移り出される。
【0110】
短期参照画像と長期参照画像の異なる標準規格での呼び方は異なることがあり、例えば、H.264/高度動画像符号化(advanced video coding、AVC)またはH.265/HEVCなどの規格では、短期参照画像は短期参照フレーム(short-term reference)と呼ばれ、長期参照画像は長期参照フレーム(long-term reference)と呼ばれる。また、ソース符号化規格(audio video coding standard、AVS)1-P2、AVS2-P2、電気電子技術者協会(institute of electrical and electronics engineers、IEEE)1857.9-P4などの規格において、長期参照画像はバックグラウンドフレーム(background picture)と呼ばれる。また、VP8、VP9などの規格において、長期参照画像はゴールデンフレーム(golden frame)と呼ばれる。
【0111】
なお、本出願の実施例では特定用語を用いているが、特定のシーンに適用しなければならないことを表すものではない。例えば、長期参照画像を長期参照フレームと呼ぶことは、H.264/AVCまたはH.265/HEVCなどの規格に対応する技術に適用しなければならないことを表すものではない。
【0112】
以上のような長期参照画像は、複数の復号済みの画像から取り出された画像ブロック構造から得たものであってもよく、または複数の復号済みの画像を用いて既存の参照フレーム(例えば、予め記憶された参照フレーム)を更新して得たものであってもよい。当然ながら、該構造的な特定参照画像は短期参照画像であってもよい。または、長期参照画像は構造的な参照画像ではない場合もある。
【0113】
上記の実施形態において、特定参照画像は長期参照画像を含んでもよく、非特定参照画像は短期参照画像を含んでもよい。
【0114】
任意選択的に、参照フレームのタイプは、特殊なフィールドによって、コードストリーム構造内で識別することができる。
【0115】
任意選択的に、参照画像が長期参照画像と確定された場合、該参照画像を特定参照画像と確定し、または、参照画像が非出力フレームと確定された場合に、該参照画像を特定参照画像と確定し、または、参照画像が構造フレームと確定された場合、該参照画像を特定参照画像と確定し、または、参照画像が非出力フレームと確定されており、さらに該参照画像が構造フレームと確定された場合、該参照画像を特定参照画像と確定する。
【0116】
任意選択的に、各種の参照画像は、それぞれの識別子を有していてもよい。この場合、復号化側にとって、参照画像が有する識別子に基づき、該参照画像が特定参照画像であるか否かを確定することができる。
【0117】
いくつかの実施形態において、参照画像が長期の参照画像の識別子を有すると確定した場合、該参照画像が特定参照画像であると確定する。
【0118】
いくつかの実施形態において、参照画像が非出力識別子を有すると確定した場合、該参照画像が特定参照画像であると確定する。
【0119】
いくつかの実施形態において、参照画像が構造フレームの識別子を有すると確定した場合、該参照画像が特定参照画像であると確定する。
【0120】
いくつかの実施形態において、参照画像は、長期参照画像の識別子、非出力識別子、構造フレームまたは合成参照フレームの識別子という三つの識別子のうちの少なくとも二つの識別子を有すると確定した場合、参照画像が特定参照画像であると確定する。例えば、参照画像が非出力識別子を有すると確定し、かつ参照画像が構造フレームの識別子を有すると確定した場合、参照画像が特定参照画像であると確定する。
【0121】
具体的に、画像は、出力フレームであるか否かを示す識別子を有していてもよく、ある画像が出力されないと示された場合、該フレームが参照画像であることを示しており、さらに、該フレームが構造フレームの識別子を有しているか否かを判定し、そうであれば、前記参照画像が特定参照画像であると確定する。ある画像が出力されると示された場合に、構造フレームであるか否かの判断は行わず、該フレームが特定参照画像ではないことを直接確定することができる。あるいは、画像が出力されないと示されていても、構造フレームではないとの識別子を有する場合に、該フレームが特定参照画像ではないと確定することができる。
【0122】
任意選択的に、画像ヘッダ(picture header)、画像パラメータセット(PPS、picture parameter set)、スライスヘッダ(slice header)からパラメータを解析して前記参照画像が以下の条件のうちの1つを満たしていることを確定した場合、前記参照画像が特定参照画像であることを確定する。つまり、
前記参照画像は長期参照画像であること、
前記参照画像は構造参照画像であること、
前記参照画像は非出力画像であることであり、
前記参照画像は非出力画像の場合、さらに前記参照画像が構造参照画像であると判断する。
【0123】
本出願の実施例のいくつかの実施形態において、現在画像ブロックの動きベクトルを確定するプロセスにおいて、他の画像上のある画像ブロックの動きベクトルを利用して該画像ブロックの動きベクトルを確定することに関連する。説明の便宜上、該画像ブロックが第1画像ブロックと呼ばれ、利用しようとする他の画像上のある画像ブロックが該第1画像ブロックの時間領域参照ブロックまたは関連ブロックと呼ばれる。理解できるのは、第1画像ブロックと該第1画像ブロックの時間領域参照ブロック(または関連ブロック)が異なる画像上に位置することである。そこで、該時間領域参照ブロック(または関連ブロック)の動きベクトルを利用して第1画像ブロックの動きベクトルを確定するプロセスにおいて、該時間領域参照ブロック(または関連ブロック)の動きベクトルをスケーリングする必要があることがある。説明の便宜上、本明細書では、「関連ブロック」という用語を統一して用いる。
【0124】
例えば、ATMVP技術をAMVP候補リストの構築に応用する場合、ATMVP技術に基づき現在画像ブロックの関連ブロックの動きベクトルを確定する時、該関連ブロックの動きベクトルをスケーリングし、続いてスケーリング後の動きベクトルに基づき現在画像ブロックの動きベクトルを確定する必要がある。一般に、関連ブロックの動きベクトルが指す参照画像と該関連ブロックが位置する画像との間の時間距離、および現在画像ブロックの参照画像と現在画像ブロックが位置する画像との間の時間距離に基づき、該関連ブロックの動きベクトルの縮尺を確定する。
【0125】
一例において、該関連ブロックの動きベクトルはMV 2と呼ばれ、該動きベクトルMV 2が指す参照画像の参照フレームインデックス値はxと呼ばれる。ここでは、該参照フレームインデックス値xはMV 2が指す参照画像の順序番号(例えばPOC)と該関連ブロックが位置する画像の順序番号との差である。第1画像ブロックの参照画像の参照フレームインデックス値はyと呼ばれる。ここでは、該参照フレームインデックス値yは第1画像ブロックの参照画像の順序番号と該第1画像ブロックが位置する画像の順序番号との差である。そこで、動きベクトルMV 2に対する縮尺はy/xである。任意選択的に、動きベクトルMV 2とy/xの積を第1画像ブロックの動きベクトルとすることができる。
【0126】
しかしながら、関連ブロックの動きベクトルMV 2が特定参照画像を指す場合、または、第1の画像ブロックの参照画像が特定参照画像である時には、特定参照画像と第1の画像ブロックが位置する画像との時間距離の定義が曖昧であるため、関連ブロックの動きベクトルMV 2に対するスケーリングには意味がない。
【0127】
任意選択的に、本実施例において、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定する場合、具体的に、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定し、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
【0128】
例えば、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
【0129】
任意選択的に、本実施例において、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定する場合、具体的に、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定することを放棄する。
【0130】
いくつかの実施例において、ステップS120は、N個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、動きベクトル第2候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づき参照動きベクトルを確定することを含む。この場合、任意選択的に、該方法はさらに、特定動きベクトル候補が特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の特定動きベクトル候補に基づき動きベクトル第2候補リストに引き続き入れる動きベクトル候補を確定することを含み、ここでは、処理後の特定動きベクトル候補の動きベクトルと処理前の特定動きベクトル候補の動きベクトルは同じである。
【0131】
ここでは、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
【0132】
いくつかの実施例において、ステップS120は、N個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、動きベクトル第2候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づき参照動きベクトルを確定することを含む。この場合、任意選択的に、該方法はさらに、特定動きベクトル候補が特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、特定動きベクトル候補に基づき動きベクトル第2候補リストに引き続き入れる動きベクトル候補を確定することを放棄することを含む。
【0133】
以上からわかるように、本出願の実施例において、現在画像ブロックの参照動きベクトルを取得するプロセスにおいて、すでに取得されたM個の動きベクトル候補のうちのN(NはMより小さい)個の動きベクトル候補のみを順次走査し、従来技術に比べて、現在画像ブロックの参照動きベクトルを取得するプロセスにおける動きベクトル候補に対する走査回数を減少することができる。本出願により提供される解決策を従来のATMVP技術に適用することで、それにおける冗長操作を簡略化することができることを理解されたい。
【0134】
N個の動きベクトル候補のうち参照フレームと現在フレームの同位フレームが同じである動きベクトル候補が走査されていない場合、N個の動きベクトル候補のうち1つの動きベクトル候補にスケーリング処理を行い、その参照フレームが現在フレームの同位フレームと同じになるようにし、続いてこのスケーリング処理された動きベクトル候補を現在画像ブロックの動きベクトルとすることで、現在画像ブロックの動きベクトルの正確さを向上させることができる。
【0135】
現在画像ブロックをサイズ8×8のサブ画像ブロックに分割し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
【0136】
図4に示すように、本出願の実施例は動画像処理方法をさらに提供し、該方法は以下のステップを含む。
【0137】
S410、現在画像ブロックの動きベクトル第2候補リストに入れられるM個の動きベクトル候補を取得する。
【0138】
ステップS410は以上の記載で説明されるステップS110に対応し、具体的な説明は以上の記載を参照し、ここでは再び説明しない。
【0139】
S420、M個の動きベクトル候補のうちの少なくとも一部の動きベクトル候補を順次走査し、走査結果に基づき現在画像ブロックの参照動きベクトルを確定する。
【0140】
オプションの実施形態として、M個の動きベクトル候補のうちの一部の動きベクトル候補を順次走査し、走査結果に基づき現在画像ブロックの参照動きベクトルを確定する。このような実施形態で、ステップS420は以上の記載で説明されるステップS120に対応でき、具体的な説明は以上の記載を参照する。
【0141】
もう1つのオプションの実施形態として、M個の動きベクトル候補のうちの全ての動きベクトル候補を順次走査し、走査結果に基づき現在画像ブロックの参照動きベクトルを確定する。
【0142】
なお、ステップS420において、走査結果に基づき現在画像ブロックの参照動きベクトルを確定する具体的な方式は以上の実施例での関連説明を参照でき、ここでは再び説明しない。
【0143】
S430、現在画像ブロックを複数のサブ画像ブロックに分割し、ここでは、サブ画像ブロックのサイズは64以上の画素に固定される。
【0144】
例えば、現在画像ブロックは1つのCUであり、それを分割した後に得られたサブ画像ブロックはsub-CUと呼ばれてもよい。
【0145】
S440、参照動きベクトルに基づき現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定する。
【0146】
現在画像ブロックの参照画像は現在画像ブロックの同位フレームであってもよい。
【0147】
S450、関連ブロックの動きベクトルに基づき動きベクトル第2候補リストに引き続き入れる動きベクトル候補を確定する。
【0148】
現在のATMVP技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで4×4であり、ある条件を満たす時、サブ画像ブロックのサイズは8×8に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間レイヤにおける前の符号化画像ブロックのATMVPモードの符号化時にCU中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が8×8に設定され、そうでなければデフォルト値4×4を使用する。つまり、従来技術において、現在画像ブロックの符号化時に、さらに同一時間レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
【0149】
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを64以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
【0150】
任意選択的に、本実施例において、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはいずれも8×8画素に固定される。
【0151】
現在のATMVP技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで4×4であり、ある条件を満たす時、サブ画像ブロックのサイズは8×8に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間レイヤにおける前の符号化画像ブロックのATMVPモードの符号化時にCU中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が8×8に設定され、そうでなければデフォルト値4×4を使用する。現在、次世代の動画像符号化規格(Versatile Video Coding、VVC)において、8×8のサイズで動きベクトルを記憶する。サブ画像ブロックのサイズを4×4に設定すると、該サブ画像ブロックの動きベクトルのサイズ(4×4ともする)は現在規格における動きベクトルの記憶粒度に符合しないことを理解されたい。また、現在ATMVP技術において、符号化現在画像ブロックを符号化する時、さらに、同一時間レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
【0152】
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを8×8に設定し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
【0153】
なお、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズが64画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはA×B、A≦64、B≦64であり、AとBはともに4の整数である。例えば、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは4×16画素、または16×4画素である。
【0154】
任意選択的に、ステップS420において、少なくとも一部の動きベクトル候補を順次走査し、1つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査を停止し、かつ走査した1つ目の事前設定条件に符合する動きベクトル候補に基づき参照動きベクトルを確定する。
【0155】
走査された1つ目の事前設定条件に符合する動きベクトル候補に基づき参照動きベクトルを確定することは、1つ目の事前設定条件に符合する動きベクトル候補を対象近傍ブロックとすることを含む。
【0156】
任意選択的に、事前設定条件は、動きベクトル候補の参照画像と現在画像ブロックの参照画像が同じであることを含む。
【0157】
任意選択的に、ステップS450は、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルに基づき動きベクトル第2候補リストに引き続き入れる動きベクトル候補を確定することを含み、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
【0158】
例えば、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
【0159】
任意選択的に、ステップS450は、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルに基づきベクトルの第2候補リストに引き続き入れる動きベクトル候補を確定することを放棄することを含む。
【0160】
したがって、
図4に示される実施例では、現在画像ブロックをサイズ8×8のサブ画像ブロックに分割し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
【0161】
以上は、如何にATMVP技術に基づいて動きベクトル第2候補リストに入れる候補を確定する方法について説明した。いくつかの実施形態において、動きベクトル第2候補リストに他の候補を入れることもできるが、ここでは限定しない。
【0162】
以上、
図1および
図4に関連して、本出願の方法の実施例を説明した。以下、上記方法の実施例に対応する装置の実施例について説明する。装置の実施例の説明と、方法の実施例の説明は互いに対応しているので、詳細に説明されていない内容については、上記の方法の実施例を参照してもよい。簡単化のために、ここでは、再び説明しない。
【0163】
図5は本出願の実施例によって提供される動画像処理装置500の概略的ブロック図である。該装置500は
図1に示される方法の実施例を実行するために用いられる。該装置500は以下のユニットを含む。
【0164】
取得ユニット510であって、現在画像ブロックの動きベクトル第2候補リストに入れられるM個の動きベクトル候補を取得するために用いられる。
【0165】
確定ユニット520であって、M個の動きベクトル候補のうちのN個の動きベクトル候補を順次走査し、走査結果に基づき参照動きベクトルを確定し、NがMより小さい。
【0166】
確定ユニット520は、さらに、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、動きベクトル第2候補リストに引き続き入れられる動きベクトル候補を確定するために用いられる。
【0167】
確定ユニット520はさらに、動きベクトル第2候補リストに基づき、現在画像ブロックの動きベクトルを確定するために用いられる。
【0168】
従来のATMVP技術のステップ1において、動きベクトル第2候補リスト中の現在すでに入れられたすべての動きベクトル候補を走査することによって、現在画像ブロックの時間ベクトルを取得する。例えば、動きベクトル第2候補リストには一般に、4個の動きベクトル候補が取り込まれるので、画像ブロックの時間ベクトルを得るために、4個の動きベクトル候補を走査する必要がある場合がある。
【0169】
一方、本出願の実施例において、現在画像ブロックの参照動きベクトルを取得するプロセスにおいて、すでに取得されたM個の動きベクトル候補のうちのN(NはMより小さい)個の動きベクトル候補のみを順次走査し、従来技術に比べて、現在画像ブロックの参照動きベクトルを取得するプロセスにおける動きベクトル候補に対する走査回数を減少することができる。本出願により提供される解決策を従来のATMVP技術のステップ1に適用することで、それにおける冗長操作を簡略化することができることを理解されたい。
【0170】
出願人は、次世代動画像符号化(Versatile Video Coding)の最新の参照ソフトウェアVTM-2.0上で、テストシーケンスとして公式通用テストシーケンスを選び、RA構成およびLDB構成のテスト構成で、本出願に提供される解決策に対してテストを行い、テスト結果によると、走査回数を減らした後、ATMVP技術の性能上の利得を維持することができる。
【0171】
従って、本出願で提供される解決策は、従来のATMVP技術の性能上の利得を維持したまま、ATMVP技術の複雑さを低減することができる。
【0172】
任意選択的に、1つの実施例として、取得ユニット510は、現在画像ブロックの現在フレーム内でのM個の近傍ブロックの動きベクトルに基づき、現在画像ブロックの動きベクトル第2候補リストに入れられるM個の動きベクトル候補を取得するために用いられる。
【0173】
任意選択的に、1つの実施例として、近傍ブロックは現在フレーム上において現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
【0174】
任意選択的に、1つの実施例として、確定ユニット520は、M個の動きベクトル候補のうちの前のN個の動きベクトル候補を順次走査するために用いられる。
【0175】
任意選択的に、1つの実施例として、Mは4に等しく、Nは4より小さい。
【0176】
任意選択的に、1つの実施例として、Nは1または2に等しい。
【0177】
任意選択的に、1つの実施例として、確定ユニット520は、事前設定条件に基づき、M個の動きベクトル候補のうちのN個の動きベクトル候補を順次走査し、走査結果に基づき、参照動きベクトルを確定するために用いられる。
【0178】
任意選択的に、1つの実施例として、事前設定条件は、指す参照フレームと現在画像ブロックの参照画像が同じである動きベクトル候補を含む。
【0179】
任意選択的に、1つの実施例として、確定ユニット520は、N個の動きベクトル候補を順次走査し、1つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査を停止し、かつ走査した1つ目の事前設定条件に符合する動きベクトル候補に基づき参照動きベクトルを確定するために用いられる。
【0180】
任意選択的に、1つの実施例として、確定ユニット520は、N個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、動きベクトル第2候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づき参照動きベクトルを確定するために用いられる。
【0181】
任意選択的に、1つの実施例として、特定動きベクトル候補は、N個の動きベクトル候補のうち、走査順で得られた1つ目の動きベクトルまたは最後の動きベクトルである。
【0182】
任意選択的に、1つの実施例として、確定ユニット520は、動きベクトル第2候補リスト中の特定動きベクトル候補にスケーリング処理を行い、スケーリング処理された特定動きベクトル候補が指す参照フレームは現在画像ブロックの参照画像と同じであるようにし、スケーリング処理後の特定動きベクトル候補を参照動きベクトルとするために用いられる。
【0183】
任意選択的に、1つの実施例として、確定ユニット520は、N個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、デフォルト値を参照動きベクトルとするために用いられる。
【0184】
任意選択的に、1つの実施例として、デフォルト値は動きベクトル(0,0)である。
【0185】
任意選択的に、1つの実施例として、確定ユニット520は、現在画像ブロックを複数のサブ画像ブロックに分割し、参照動きベクトルに基づき、現在画像ブロックの参照画像のうちサブ画像ブロックの関連ブロックを確定し、関連ブロックの動きベクトルに基づき、動きベクトル第2候補リストに引き続き入れる動きベクトル候補を確定するために用いられる。
【0186】
任意選択的に、1つの実施例として、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは64以上の画素に固定される。
【0187】
任意選択的に、1つの実施例として、現在画像ブロックは1つの符号化ユニットCUである。
【0188】
任意選択的に、1つの実施例として、確定ユニット520は、参照動きベクトルに基づき、現在画像ブロックの参照画像のうち現在画像ブロックの関連ブロックを確定し、関連ブロックの動きベクトルに基づき、動きベクトル第2候補リストに引き続き入れる動きベクトル候補を確定するために用いられる。
【0189】
任意選択的に、1つの実施例として、確定ユニット520は、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルに基づき動きベクトル第2候補リストに引き続き入れる動きベクトル候補を確定するために用いられ、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
【0190】
任意選択的に、1つの実施例として、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
【0191】
任意選択的に、1つの実施例として、確定ユニット520は、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルの動きベクトルに基づきベクトルの第2候補リストに引き続き入れる動きベクトル候補を確定することを放棄するために用いられる。
【0192】
任意選択的に、1つの実施例として、確定ユニット520は、特定動きベクトル候補が特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の特定動きベクトル候補に基づき動きベクトル第2候補リストに引き続き入れる動きベクトル候補を確定するために用いられ、ここでは、処理後の特定動きベクトル候補の動きベクトルと処理前の特定動きベクトル候補の動きベクトルは同じである。
【0193】
任意選択的に、1つの実施例として、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
【0194】
任意選択的に、1つの実施例として、確定ユニット520は、特定動きベクトル候補が特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、特定動きベクトル候補に基づきベクトルの第2候補リストに引き続き入れる動きベクトル候補を確定することを放棄するために用いられる。
【0195】
任意選択的に、1つの実施例として、動きベクトル第2候補リストはMerge候補リストである。
【0196】
任意選択的に、1つの実施例として、現在画像ブロックの参照画像は現在画像ブロックの同位フレームである。
【0197】
任意選択的に、1つの実施例として、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはいずれも8×8画素に固定される。
【0198】
なお、本実施例における取得ユニット510と確定ユニット520はいずれもプロセッサによって実現できる。
【0199】
図6に示すように、本出願の実施例はさらに、動画像処理装置600を提供する。該装置600は
図4に示される方法の実施例を実行するために用いられる。該装置600は以下のユニットを含む。
【0200】
確定ユニット610であって、現在画像ブロックの動きベクトル第2候補リストに入れられるM個の動きベクトル候補を取得するために用いられる。
【0201】
確定ユニット620であって、M個の動きベクトル候補のうちの少なくとも一部の動きベクトル候補を順次走査し、走査結果に基づき現在画像ブロックの参照動きベクトルを確定するために用いられる。
【0202】
分割ユニット630であって、現在画像ブロックを複数のサブ画像ブロックに分割するために用いられ、ここでは、サブ画像ブロックのサイズは64以上の画素に固定される。
【0203】
確定ユニット620はさらに、参照動きベクトルに基づき現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定するために用いられる。
【0204】
確定ユニット620はさらに、関連ブロックの動きベクトルに基づき動きベクトル第2候補リストに引き続き入れる動きベクトル候補を確定するために用いられる。
【0205】
現在のATMVP技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで4×4であり、ある条件を満たす時、サブ画像ブロックのサイズは8×8に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間レイヤにおける前の符号化画像ブロックのATMVPモードの符号化時にCU中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が8×8に設定され、そうでなければデフォルト値4×4を使用する。つまり、従来技術において、現在画像ブロックの符号化時に、さらに同一時間レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
【0206】
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを64以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
【0207】
任意選択的に、1つの実施例として、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはいずれも8×8画素に固定される。
【0208】
現在、次世代の動画像符号化規格(Versatile Video Coding、VVC)において、8×8のサイズで動きベクトルを記憶する。本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを8×8に設定し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
【0209】
任意選択的に、1つの実施例として、確定ユニット620は、少なくとも一部の動きベクトル候補を順次走査し、1つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査を停止し、かつ走査した1つ目の事前設定条件に符合する動きベクトル候補に基づき参照動きベクトルを確定するために用いられる。
【0210】
任意選択的に、1つの実施例として、確定ユニット620は、1つ目の事前設定条件に符合する動きベクトル候補を対象近傍ブロックとするために用いられる。
【0211】
任意選択的に、1つの実施例として、事前設定条件は、動きベクトル候補の参照画像と現在画像ブロックの参照画像が同じであることを含む。
【0212】
なお、本実施例における取得ユニット610、確定ユニット620と分割ユニット630はいずれもプロセッサによって実現できる。
【0213】
以上の説明において、1つの画像ブロックの動きベクトルは、1)該動きベクトルが指す画像、2)変位という二つの情報を含む。いくつかの応用シーンにおいて、1つの画像ブロックの動きベクトルは「変位」という情報のみを含む。該画像ブロックはまた、該画像ブロックの参照画像を指示するためのインデックス情報を提供する。符号化/復号済みの画像ブロックに対し、その動きベクトルの意味は、該符号化/復号済み画像ブロックの参照ブロックの参照画像上における該符号化/復号済み画像ブロックと位置と同じでありかつ該参照画像に位置する画像ブロックに対する変位を含む。該符号化/復号済みの画像ブロックの参照ブロックを確定する時、該符号化/復号済みの画像ブロックの参照画像のインデックス情報および該符号化/復号済みの画像ブロックの動きベクトルによって該符号化/復号済みの画像ブロックの参照ブロックを確定する必要がある。そこで、
図1に示す動画像処理方法では、ステップS120は、動きベクトル第2候補リスト中の動きベクトル候補を走査するかわりに、該動きベクトル候補に対応する画像ブロックを直接走査する。以下、該動きベクトルの新しい定義(すなわち、「変位」情報を含むが「指す画像」を含まない)に対して、動画像処理方法を提供する。なお、「動きベクトル」の2つの異なる意味に対してそれぞれ提供されるATMVP技術に基づいて動きベクトル候補を確定する方法は、ほぼ一致であり、上記の説明は、以下で提供される動画像処理方法にも適用され、区別は主に、動きベクトル第2候補リストの構築において、ATMVP技術に基づいて動きベクトル第2候補リストに入れる候補を確定する時、上述した動画像処理方法では、動きベクトル第2候補リストに入れられた動きベクトルを走査することに対して、後述する動画像処理方法では、該動きベクトル第2候補リストに入れられた動きベクトルに対応する画像ブロックを走査することである。
【0214】
図7に示すように、本出願の実施例は動画像処理方法を提供し、該方法は以下のステップを含む。
【0215】
S710、現在画像ブロックのM個の近傍ブロックを確定する。
【0216】
現在画像ブロックは符号化(または復号)対象の画像ブロックである。例えば、現在画像ブロックは1つの符号化ユニット(CU)である。
【0217】
現在画像ブロックが位置する画像フレームは現在フレームと呼ばれる。
【0218】
近傍ブロックは、現在画像において現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
【0219】
M個の近傍ブロックは現在フレーム内における符号化(または復号)済みの画像ブロックである。
【0220】
一例として、
図2に示すように、
図2に示される現在画像ブロックの周囲の4つの位置A
1(左)→B
1(上)→B
0(右上)→A
0(左下)に位置する画像ブロックの順で、現在画像ブロックの4個の近傍ブロックを順次確定する。
【0221】
S720、M個の近傍ブロックのうちのN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定し、NはMより小さい。
【0222】
N個の近傍ブロックの走査結果に基づき対象近傍ブロックを確定するプロセスは、事前設定条件に基づきN個の近傍ブロックを順次判断し、判断結果に基づき対象近傍ブロックを確定するプロセスであってもよい。
【0223】
一例として、事前設定条件の定義は、近傍ブロックの参照画像と現在画像ブロックの参照画像と同じであることを含む。
【0224】
ここでは、現在画像ブロックの参照画像は現在画像ブロックが位置する画像と時間距離が最も近い参照画像であり、または、現在画像ブロックの参照画像は符号化および復号側に予め設定された参照画像であり、または、現在画像ブロックの参照画像は動画像パラメータセット、シーケンスヘッダ、シーケンスパラメータセット、画像ヘッダ、画像パラメータセット、スライスヘッダ中に指定される参照画像である。
【0225】
例えば、該現在画像ブロックの参照画像は現在画像ブロックの同位フレームであり、同位フレームは、スライスレベルの情報ヘッダに設定された動き情報を取得して予測するためのフレームである。
【0226】
将来の技術の進化に応じて、この事前設定条件は他の異なる定義を与える可能性があり、それに応じた解決策も本出願の保護範囲に入ることを理解されたい。
【0227】
以下、N個の近傍ブロックの走査結果に基づき対象近傍ブロックを確定するプロセスを詳細に説明する。
【0228】
ステップS720において、ステップS710で取得されたM個の近傍ブロックのうちのN個の近傍ブロックのみを走査し、このようにして走査の回数を減少できる。
【0229】
任意選択的に、ステップS720において、M個の近傍ブロックのうちの前のN個の近傍ブロックを順次走査してもよい。
【0230】
ステップS710において、予め設定された順で現在画像ブロックのM個の近傍ブロックを順次確定する時、ステップS720で取得された前のN個の近傍ブロックとは、該予め設定された順で最初に確定されたN個の近傍ブロックを指す。
【0231】
任意選択的に、ステップS720において、M個の近傍ブロックのうちの最後のN個の近傍ブロックを順次走査してもよいし、または、M個の近傍ブロックのうちの中間のN個の近傍ブロックを順次走査してもよい。本出願はこれに対して限定しない。
【0232】
S730、対象近傍ブロックの動きベクトル、現在画像ブロック、および現在画像ブロックの参照画像に基づき、現在画像ブロックの関連ブロックを確定する。
【0233】
S740、関連ブロックの動きベクトルに基づき現在画像ブロックを符号化/復号する。
【0234】
任意選択的に、ステップS740は、関連ブロックの動きベクトルと参照画像に基づき、現在画像ブロックの参照ブロックを確定することを含む。
【0235】
例えば、ステップS740は、現在画像ブロックの候補ブロックリストを構築し、該候補ブロックリスト中の候補ブロックはM個の近傍ブロックと関連ブロックを含み、候補ブロックリスト中の候補ブロックの参照ブロックに基づき現在画像ブロックに符号化および復号を行う。
【0236】
一例において、該候補ブロックリストは現在画像ブロックのmerge候補リストである。一例において。該候補ブロックリストは現在画像ブロックのAMVP候補リストである。
【0237】
符号化側において、現在ブロックの候補ブロックのインデックス(index)をコードストリームに書き込む。復号側において、インデックスを取得した後、候補ブロックリストから該インデックスに対応する候補ブロックを見つけ、該候補ブロックの参照ブロックに基づき現在画像ブロックの参照ブロックを確定し、または、該候補ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定する。
【0238】
例えば、そのまま候補ブロックの参照ブロックを現在画像ブロックの参照ブロックとして確定し、または、そのまま候補ブロックの動きベクトルを現在画像ブロックの動きベクトルとして確定する。また、例えば、符号化側は該現在ブロックのMVDをコードストリーム中に書き込む。復号側は該MVDを取得した後、該候補ブロックの動きベクトルにMVDを加えたものを現在ブロックの動きベクトルとし、続いて該動きベクトルと現在ブロックの参照画像に基づき現在ブロックの参照ブロックを確定する。
【0239】
本出願の実施例において、現在画像ブロックの対象近傍ブロックを取得するプロセスにおいて、すでに取得されたM個の近傍ブロックのうちのN(NはMより小さい)個の近傍ブロックのみを順次走査し、従来技術に比べて、現在画像ブロックの対象近傍ブロックを取得するプロセスにおける近傍ブロックに対する走査回数を減少することができ、それにより複雑さを低下させる。
【0240】
任意選択的に、本実施例において、ステップS710では、現在画像ブロックの現在フレーム内での4個の近傍ブロックを確定し、すなわちMは4に等しい。ステップS720において、4個の近傍ブロックのうちのN個の近傍ブロックを走査し、Nは4より小さい。
【0241】
例えば、Nは1に等しい。例えば、ステップS720において、4個の近傍ブロックのうちのの1つ目の近傍ブロックのみを走査する。
【0242】
また、例えば、Nは2または3に等しい。
【0243】
以下、ステップS720において、N個の近傍ブロックの走査結果に基づき対象近傍ブロックを確定する方式を説明する。
【0244】
任意選択的に、ステップS720において、N個の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ走査した1つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定する。
【0245】
例えば、事前設定条件の定義は、近傍ブロックの参照画像と現在画像ブロックの参照画像が同じであることを含む。
【0246】
将来進化する技術では、事前条件は他の定義を与えることもあることを理解されたい。
【0247】
ここでは、事前設定条件の定義は近傍ブロックの参照画像が現在画像ブロックの参照画像と同じであることを例として説明する。
【0248】
例えば、1つ目の事前設定条件に符合する近傍ブロックを対象近傍ブロックとする。
【0249】
任意選択的に、ステップS720において、N個の近傍ブロックにおいて事前設定条件に符合する近傍ブロックが走査されていない場合、該方法はさらに、M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、スケーリング処理後の動きベクトルに基づき現在画像ブロックを符号化/復号することを含む。
【0250】
例えば、スケーリング処理後の動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定する。
【0251】
任意選択的に、特定近傍ブロックは、N個の近傍ブロックのうち、走査順で得られた1つ目近傍ブロックまたは最後の近傍ブロックである。
【0252】
該特定近傍ブロックは、N個の近傍ブロックのうち、他の走査順で得られた近傍ブロックであってもよい。
【0253】
任意選択的に、スケーリング処理後の動きベクトルに基づき現在画像ブロックを符号化/復号することは、特定近傍ブロックの動きベクトルにスケーリング処理を行い、スケーリング処理後の動きベクトルが指す参照フレームと現在画像ブロックの参照画像が同じになるようにし、スケーリング処理後の動きベクトルが現在画像ブロックの参照画像で指す画像ブロックを現在画像ブロックの参照ブロックとすることを含む。
【0254】
任意選択的に、ステップS720において、N個の近傍ブロック中に事前設定条件に符合する近傍ブロックが走査されていない場合、ディフォルトブロックを現在画像ブロックの候補参照ブロックとする。
【0255】
例えば、ディフォルトブロックは動きベクトル(0,0)が指す画像ブロックである。
【0256】
以下、ステップS730において、対象近傍ブロックの動きベクトル、現在画像ブロック、および現在画像ブロックの参照画像に基づき、現在画像ブロックの関連ブロックを確定するプロセスを説明する。
【0257】
任意選択的に、実施形態として、対象近傍ブロックの動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、現在画像ブロックの関連ブロックを確定することは、現在画像ブロックを複数のサブ画像ブロックに分割することと、対象近傍ブロックの動きベクトルに基づき、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定することとを含み、現在画像ブロックの関連ブロックはサブ画像ブロックの関連ブロックを含む。
【0258】
関連ブロックはcollocated blockまたはcorresponding blockと呼ばれてもよい。
【0259】
例えば、現在画像ブロックは1つのCUであり、それを分割した後に得られたサブ画像ブロックはsub-CUと呼ばれてもよい。
【0260】
任意選択的に、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは64画素以上に固定される。
【0261】
任意選択的に、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはいずれも8×8画素に固定される。
【0262】
現在のATMVP技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで4×4であり、ある条件を満たす時、サブ画像ブロックのサイズは8×8に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間レイヤにおける前の符号化画像ブロックのATMVPモードの符号化時にCU中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が8×8に設定され、そうでなければデフォルト値4×4を使用する。現在、次世代の動画像符号化規格(Versatile Video Coding、VVC)において、8×8のサイズで動きベクトルを記憶する。サブ画像ブロックのサイズを4×4に設定すると、該サブ画像ブロックの動きベクトルのサイズ(4×4ともする)は現在規格における動きベクトルの記憶粒度に符合しないことを理解されたい。また、現在ATMVP技術において、符号化現在画像ブロックを符号化する時、さらに、同一時間レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
【0263】
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを8×8に設定し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
【0264】
なお、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズが64画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはA×B、A≦64、B≦64であり、AとBはともに4の整数である。例えば、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは4×16画素、または16×4画素である。
【0265】
任意選択的に、もう1つの実施形態として、対象近傍ブロックの動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、現在画像ブロックの関連ブロックを確定することは、対象近傍ブロックの動きベクトルに基づき、現在画像ブロックの参照画像において現在画像ブロックの関連ブロックを確定することを含む。
【0266】
任意選択的に、ステップS740は、関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの候補参照ブロックを確定することを含み、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
【0267】
例えば、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
【0268】
任意選択的に、ステップS740は、関連ブロックの参照画像が特定参照画像、または現在ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルに基づき現在画像ブロックの候補参照ブロックを確定することを放棄する。
【0269】
いくつかの実施例において、ステップS720は、特定近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含み、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
【0270】
ここでは、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
【0271】
以上からわかるように、本出願の実施例において、現在画像ブロックの対象近傍ブロックを取得するプロセスにおいて、すでに取得されたM個の近傍ブロックのうちのN(NはMより小さい)個の近傍ブロックのみを順次走査し、従来技術に比べて、現在画像ブロックの対象近傍ブロックを取得するプロセスにおける近傍ブロックに対する走査回数を減少することができ、それにより複雑さを低下させる。
【0272】
N個の近傍ブロックのうち参照フレームと現在フレームの同位フレームが同じである近傍ブロックが走査されていない場合、N個の近傍ブロックのうち1つの近傍ブロックの動きベクトルにスケーリング処理を行い、その参照フレームが現在フレームの同位フレームと同じになるようにし、続いてこのスケーリング処理された動きベクトルを現在画像ブロックの動きベクトルとすることで、現在画像ブロックの動きベクトルの正確さを向上させることができる。
【0273】
現在画像ブロックをサイズ8×8のサブ画像ブロックに分割し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
【0274】
本出願の実施例のいくつかの実施形態において、現在画像ブロックの動きベクトルを確定するプロセスにおいて、他の画像上のある画像ブロックの動きベクトルを利用して該画像ブロックの動きベクトルを確定することに関連する。説明の便宜上、該画像ブロックが第1画像ブロックと呼ばれ、利用しようとする他の画像上のある画像ブロックが該第1画像ブロックの時間領域参照ブロックまたは関連ブロックと呼ばれる。理解できるのは、第1画像ブロックと該第1画像ブロックの時間領域参照ブロック(または関連ブロック)が異なる画像上に位置することである。そこで、該時間領域参照ブロック(または関連ブロック)の動きベクトルを利用して第1画像ブロックの動きベクトルを確定するプロセスにおいて、該時間領域参照ブロック(または関連ブロック)の動きベクトルをスケーリングする必要がある可能性がある。説明の便宜上、本明細書では、「関連ブロック」という用語を統一して用いる。
【0275】
例えば、ATMVP技術応用をAMVP候補リストの構築に応用する場合、ATMVP技術に基づき現在画像ブロックの関連ブロックを確定した後、該関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定し、該関連ブロックの動きベクトルをスケーリングし、続いてスケーリング後の動きベクトルに基づき現在画像ブロックの動きベクトルを確定する必要がある。一般に、関連ブロックの動きベクトルが指す参照画像と該関連ブロックが位置する画像との間の時間距離、および現在画像ブロックの参照画像と現在画像ブロックが位置する画像との間の時間距離に基づき、該関連ブロックの動きベクトルの縮尺を確定する。
【0276】
一例において、該関連ブロックの動きベクトルはMV 2と呼ばれ、該動きベクトルMV 2が指す参照画像の参照フレームインデックス値はxと呼ばれる。ここでは、該参照フレームインデックス値xはMV 2が指す参照画像の順序番号(例えばPOC)と該関連ブロックが位置する画像の順序番号との差である。第1画像ブロックの参照画像の参照フレームインデックス値はyと呼ばれる。ここでは、該参照フレームインデックス値yは第1画像ブロックの参照画像の順序番号と該第1画像ブロックが位置する画像の順序番号との差である。そこで、動きベクトルMV 2に対する縮尺はy/xである。任意選択的に、動きベクトルMV 2とy/xの積を第1画像ブロックの動きベクトルとすることができる。
【0277】
しかしながら、関連ブロックの動きベクトルMV 2が特定参照画像を指す場合、または、第1の画像ブロックの参照画像が特定参照画像である時には、特定参照画像と第1の画像ブロックが位置する画像との時間距離の定義が曖昧であるため、関連ブロックの動きベクトルMV 2に対するスケーリングには意味がない。
【0278】
任意選択的に、本実施例において、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定する場合、具体的に、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定し、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
【0279】
例えば、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
【0280】
任意選択的に、本実施例において、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定する場合、具体的に、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルに基づき現在画像ブロックの動きベクトルを確定することを放棄する。
【0281】
図8に示すように、本出願の実施例は動画像処理方法をさらに提供し、該方法は以下のステップを含む。
【0282】
S810、現在画像ブロックのM個の近傍ブロックを確定する。
【0283】
ステップS810は上記の実施例中のステップS710に対応できる。
【0284】
S820、M個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定する。
【0285】
任意選択的に、M個の近傍ブロック中の部分近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定する。
【0286】
任意選択的に、M個の近傍ブロック中の全ての近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定する。
【0287】
S830、現在画像ブロックを複数のサブ画像ブロックに分割し、ここでは、サブ画像ブロックのサイズは64以上の画素に固定される。
【0288】
S840、対象近傍ブロックの動きベクトルおよびサブ画像ブロックに基づき、現在画像ブロックの参照画像において現在画像ブロックの関連ブロックを確定する。
【0289】
任意選択的に、現在画像ブロックの参照画像は現在画像ブロックが位置する画像と時間距離が最も近い参照画像である。
【0290】
任意選択的に、現在画像ブロックの参照画像は符号化側および復号側で予め設定された参照画像である。
【0291】
任意選択的に、現在画像ブロックの参照画像は在動画像パラメータセット、シーケンスヘッダ、シーケンスパラメータセット、画像ヘッダ、画像パラメータセット、スライスヘッダ中で指定される参照画像である。
【0292】
S850、関連ブロックの動きベクトルに基づき現在画像ブロックを符号化/復号する。
【0293】
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを64以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
【0294】
任意選択的に、本実施例において、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの時間領域参照ブロックのサイズはいずれも8×8画素に固定される。
【0295】
現在、次世代の動画像符号化規格(Versatile Video Coding、VVC)において、8×8のサイズで動きベクトルを記憶する。本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを8×8に設定し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
【0296】
なお、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズが64画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはA×B、A≦64、B≦64であり、AとBはともに4の整数である。例えば、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは4×16画素、または16×4画素である。
【0297】
任意選択的に、ステップS820は、少なくとも一部の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ走査した1つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む。
【0298】
例えば、1つ目の事前設定条件に符合する近傍ブロックを対象近傍ブロックとする。
【0299】
例えば、事前設定条件の定義は、近傍ブロックの参照画像と現在画像ブロックの参照画像が同じであることを含む。
【0300】
任意選択的に、ステップS840は、対象近傍ブロックの動きベクトルおよびサブ画像ブロックに基づき、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定することを含み、ここでは、現在画像ブロックの関連ブロックは、サブ画像ブロックの関連ブロックを含む。
【0301】
以上、
図7および
図8に関連して、本出願の方法の実施例を説明した。以下、
図7および
図8に示す方法の実施例に対応する装置の実施例について説明する。なお、装置の実施例の説明と、方法の実施の形態の説明は互いに対応しているので、詳細に説明されていないものについては、上記の方法の実施例を参照してもよい。簡単化のために、ここでは、再び説明しない
図9は本出願の実施例によって提供される動画像処理装置900の概略的ブロック図である。該装置900は
図7に示される方法の実施例を実行するために用いられる。該装置900は以下のユニットを含む。
【0302】
取得ユニット910であって、現在画像ブロックのM個の近傍ブロックを取得するために用いられる。
【0303】
取得ユニット920であって、M個の近傍ブロックのうちのN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定するために用いられ、NはMより小さい。
【0304】
確定ユニット920はさらに、対象近傍ブロックの動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づき、現在画像ブロックの関連ブロックを確定するために用いられる。
【0305】
符号化/復号ユニット930であって、関連ブロックの動きベクトルに基づき現在画像ブロックを符号化/復号するために用いられる。
【0306】
本出願の実施例において、現在画像ブロックの対象近傍ブロックを取得するプロセスにおいて、すでに取得されたM個の近傍ブロックのうちのN(NはMより小さい)個の近傍ブロックのみを順次走査し、従来技術に比べて、現在画像ブロックの対象近傍ブロックを取得するプロセスにおける近傍ブロックに対する走査回数を減少することができ、それにより複雑さを低下させる。
【0307】
任意選択的に、1つの実施例として、Mは4に等しく、Nは4より小さい。
【0308】
任意選択的に、1つの実施例として、Nは1または2に等しい。
【0309】
任意選択的に、1つの実施例として、確定ユニット920は、M個の近傍ブロック中の前のN個の近傍ブロックを順次走査するために用いられる。
【0310】
任意選択的に、1つの実施例として、取得ユニット910は、予め設定された順で現在画像ブロックのM個の近傍ブロックを順次取得し、前のN個の近傍ブロックとは、予め設定された順で最初に確定されたN個の近傍ブロックを指す。
【0311】
任意選択的に、1つの実施例として、確定ユニット920は、N個の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ走査した1つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定するために用いられる。
【0312】
任意選択的に、1つの実施例として、確定ユニット920は、1つ目の事前設定条件に符合する近傍ブロックを対象近傍ブロックとするために用いられる。
【0313】
任意選択的に、1つの実施例として、事前設定条件は、近傍ブロックの参照画像と現在画像ブロックの参照画像が同じであることでである。
【0314】
任意選択的に、1つの実施例として、符号化/復号ユニット930は、関連ブロックの動きベクトルと参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられる。
【0315】
任意選択的に、1つの実施例として、符号化/復号ユニット930は、現在画像ブロックの候補ブロックリストを構築し、候補ブロックリスト中の候補ブロックはM個の近傍ブロックと関連ブロックを含み、候補ブロックリスト中の候補ブロックの参照ブロックに基づき現在画像ブロックを符号化および復号するために用いられる。
【0316】
任意選択的に、1つの実施例として、符号化/復号ユニット930はさらに、N個の近傍ブロックにおいて事前設定条件に符合する近傍ブロックが走査されていない場合、M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、スケーリング処理後の動きベクトルに基づき現在画像ブロックを符号化/復号するために用いられる。
【0317】
任意選択的に、1つの実施例として、符号化/復号ユニット930は、スケーリング処理後の動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられる。
【0318】
任意選択的に、1つの実施例として、特定近傍ブロックは、N個の近傍ブロックのうち、走査順で得られた1つ目近傍ブロックまたは最後の近傍ブロックである。
【0319】
任意選択的に、1つの実施例として、符号化/復号ユニット930は、特定近傍ブロックの動きベクトルにスケーリング処理を行い、スケーリング処理後の動きベクトルが指す参照フレームと現在画像ブロックの参照画像が同じになるようにし、スケーリング処理後の動きベクトルが現在画像ブロックの参照画像で指す画像ブロックを現在画像ブロックの参照ブロックとするために用いられる。
【0320】
任意選択的に、1つの実施例として、確定ユニット920は、N個の近傍ブロック中に事前設定条件に符合する近傍ブロックが走査されていない場合、ディフォルトブロックを現在画像ブロックの参照ブロックとするために用いられる。
【0321】
任意選択的に、1つの実施例として、ディフォルトブロックは動きベクトル(0,0)が指す画像ブロックである。
【0322】
任意選択的に、1つの実施例として、確定ユニット920は、
現在画像ブロックを複数のサブ画像ブロックに分割することと、
対象近傍ブロックの動きベクトルに基づき、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定することのために用いられ、現在画像ブロックの関連ブロックはサブ画像ブロックの関連ブロックを含む。
【0323】
任意選択的に、1つの実施例として、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは64以上の画素に固定される。
【0324】
任意選択的に、1つの実施例として、現在画像ブロックは1つの符号化ユニットCUである。
【0325】
任意選択的に、1つの実施例として、確定ユニット920は、対象近傍ブロックの動きベクトルに基づき、現在画像ブロックの参照画像中に現在画像ブロックの関連ブロックを確定するために用いられる。
【0326】
任意選択的に、1つの実施例として、近傍ブロックは現在画像上において現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
【0327】
任意選択的に、1つの実施例として、符号化/復号ユニット930は、関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられ、
ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
【0328】
任意選択的に、1つの実施例として、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
【0329】
任意選択的に、1つの実施例として、符号化/復号ユニット930は、関連ブロックの参照画像が特定参照画像、または現在ブロックの参照画像が特定参照画像である時、関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄するために用いられる。
【0330】
任意選択的に、1つの実施例として、確定ユニット920は、特定近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の関連ブロックの動きベクトルと現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられ、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
【0331】
任意選択的に、1つの実施例として、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
【0332】
なお、本実施例における取得ユニット910、確定ユニット920と符号化/復号ユニット930はいずれもプロセッサによって実現できる。
【0333】
図10に示すように、本出願の実施例はさらに、動画像処理装置1000を提供する。該装置1000は
図8に示される方法の実施例を実行するために用いられる。該装置1000は以下のユニットを含む。
【0334】
取得ユニット1010であって、現在画像ブロックのM個の近傍ブロックを取得するために用いられる。
【0335】
確定ユニット1020であって、M個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定するために用いられる。
【0336】
分割ユニット1030であって、現在画像ブロックを複数のサブ画像ブロックに分割するために用いられ、ここでは、サブ画像ブロックのサイズは64以上の画素に固定される。
【0337】
確定ユニット1020はさらに、対象近傍ブロックの動きベクトルおよびサブ画像ブロックに基づき、現在画像ブロックの参照画像において現在画像ブロックの関連ブロックを確定するために用いられる。
【0338】
符号化/復号ユニット1040であって、関連ブロックの動きベクトルに基づき現在画像ブロックを符号化/復号するために用いられる。
【0339】
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを64以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
【0340】
任意選択的に、1つの実施例として、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの時間領域参照ブロックのサイズはいずれも8×8画素に固定される。
【0341】
現在、次世代の動画像符号化規格(Versatile Video Coding、VVC)において、8×8のサイズで動きベクトルを記憶する。本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを8×8に設定し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
【0342】
なお、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズが64画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはA×B、A≦64、B≦64であり、AとBはともに4の整数である。例えば、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは4×16画素、または16×4画素である。
【0343】
任意選択的に、1つの実施例として、M個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、少なくとも一部の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ走査した1つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む。
【0344】
任意選択的に、1つの実施例として、確定ユニット1020は、1つ目の事前設定条件に符合する近傍ブロックを対象近傍ブロックとするために用いられる。
【0345】
任意選択的に、1つの実施例として、事前設定条件は、近傍ブロックの参照画像と現在画像ブロックの参照画像が同じであることでである。
【0346】
任意選択的に、1つの実施例として、確定ユニット1020は、対象近傍ブロックの動きベクトルおよびサブ画像ブロックに基づき、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定するために用いられ、ここでは、現在画像ブロックの関連ブロックは、サブ画像ブロックの関連ブロックを含む。
【0347】
なお、本実施例における取得ユニット1010、確定ユニット1020、分割ユニット1030と符号化/復号ユニット1040はいずれもプロセッサによって実現できる。
【0348】
図11に示すように、本出願の実施例はさらに、動画像処理装置1100を提供する。装置1100は以上で説明される方法の実施例を実行するために用いてもよい。装置1100はプロセッサ1110、メモリ1120を含み、メモリ1120は命令を記憶するために用いられ、プロセッサ1110はメモリ1120に記憶された命令を実行し、かつ、メモリ1120に記憶された命令の実行によってプロセッサ1110に上記の方法の実施例による方法を実行させるために用いられる。
【0349】
任意選択的に、
図11に示すように、該装置1100は、外部装置と通信するための通信インターフェース1130を含むことができる。例えば、プロセッサ1110は、信号の受信および/または送信を行うように通信インターフェース1130を制御するために用いられる。
【0350】
本出願で提供される装置500、600、900、1000および1100はコーダに応用されてもよく、デコーダに応用されてもよい。
【0351】
以上の記載は、動きベクトル第2候補リストを説明したが、以下、動きベクトル第1候補リストについて説明する。
【0352】
動き補償予測段階において、従来、主流となる動画像符号化規格には並進動きモデルのみが応用されている。現実世界では、拡大/縮小、回転、遠景動き、その他の不規則な動きなど、さまざまな動き形態がある。フレーム間予測の効率を高めるために、符号化および復号技術にアフィン変換(affine)動き補償モデルを導入することができる。アフィン変換動き補償は1組のコントロールポイント(control point)のMVにより画像ブロックのアフィン動きフィールドを説明する。一例において、アフィン変換動き補償モデルに用いたのは4パラメータAffineモデルであり、この場合、該組のコントロールポイントは2つのコントロールポイント(例えば、画像ブロックの左上隅のポイントと右上隅のポイント)を含む。一例において、アフィン変換動き補償モデルに用いたのは6パラメータAffineモデルであり、この該組のコントロールポイントは3つのコントロールポイント(例えば、画像ブロックの左上隅のポイント、右上隅のポイントと左下隅のポイント)を含む。
【0353】
一実施形態において、動きベクトルの第1候補リストを構築する時、入れられる候補は1組のコントロールポイントのMVであってもよく、またはコントロールポイント予測動きベクトル(CPMVP、Control point motion vector prediction)と称される。任意選択的に、動きベクトルの第1候補リストはMergeモードに用いられてよく、具体的に、Affine Mergeモードと称されてよく、対応的に、該動きベクトルの第1候補リストはaffine merge candidate listと称されてよい。Affine Mergeモードにおいて、直接的に動きベクトルの第1候補リスト中の予測を用いて現在画像ブロックのCPMV(Control point motion vector)とし、すなわち、affine動き推定プロセスを行う必要はない。
【0354】
一実施形態において、ATMVP技術に基づいて確定された候補を動きベクトルの第1候補リストに入れることができる。
【0355】
ここでは、一例において、現在画像ブロックの関連ブロックのコントロールポイントの動きベクトル群を候補として動きベクトルの第1候補リストに入れる。動きベクトルの第1リスト中の該候補を用いて予測する時、現在画像ブロックの関連ブロックのコントロールポイントの動きベクトル群に基づいて該現在画像ブロックを予測する。
【0356】
ここでは、一例において、上記に示すように、現在の画像ブロックの関連ブロックの代表動きベクトルを候補として動きベクトルの第1候補リストに入れる。さらに、任意選択的に、該候補をATMVP技術に基づいて確定されたものとマークする。動きベクトル第1候補リスト中の該候補を用いて予測する時、該マークと候補に基づき現在画像ブロックの関連ブロックを確定し、現在画像ブロックと該関連ブロックを同じ方式で複数のサブ画像ブロックに分割し、現在画像ブロック中の各サブ画像ブロックは前記関連ブロック中の各サブ画像ブロックと1対1に対応させ、該関連ブロック中の各サブ画像ブロックの動きベクトルに基づき現在画像ブロック中の対応するサブ画像ブロックの動きベクトルをそれぞれ予測する。
【0357】
ここでは、任意選択的に、関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出た時、該関連ブロックの代表動きベクトルで該取得不可な動きベクトルを代替し、現在画像ブロック中の対応するサブ画像ブロックを予測する。任意選択的に、関連ブロックの代表動きベクトルがすべて取得不可な場合、ATMVP技術に基づいて確定された候補を該動きベクトル第2候補リストに入れることを放棄する。一例において、関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、該関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出たことを確定する。
【0358】
ここでは、任意選択的に、動きベクトルの第1候補リスト中の各候補は1組のコントロールポイントの動きベクトルを含み、現在画像ブロックの関連ブロックの代表動きベクトルを動きベクトルの第1候補リストに入れる時、データフォーマットの一貫性を保証するために、該関連ブロックの代表動きベクトルを候補中のそれぞれのコントロールポイントの動きベクトルとして挿入してもよい(つまり、該候補中の各コントロールポイントの動きベクトルはすべて該関連ブロックの代表動きベクトルに割り当てられる)。
【0359】
ここでは、任意選択的に、現在画像ブロックの関連ブロックの代表動きベクトルとは、該関連ブロックの中央位置の動きベクトルを指してもよく、または他の該関連ブロックを代表する動きベクトルを指してもよく、ここでは限定しない。
【0360】
上記の動きベクトル第2候補リストについての説明から分かるように、ATMVP技術に基づいて候補を確定する時、現在画像ブロックの関連ブロックを確定する必要がある。本解決策において、ATMVP技術に基づいて動きベクトル第1候補リストに入れられる候補を確定する時、現在画像ブロックの関連ブロックを確定する方法には、
現在画像ブロックの予め設定されたM個の近傍ブロック中のN個の近傍ブロックを順次走査し、走査結果に基づいて対象近傍ブロックを確定し、NはMより小さく、Mは4以下であり、前記対象近傍ブロックの動きベクトル、前記現在の画像ブロックおよび前記現在の画像ブロックの参照画像に基づいて、前記現在画像ブロックの関連ブロックを確定する方法1と、
現在画像ブロックの動きベクトル第2候補リスト中のM個の候補に基づいて現在画像ブロックのM個の近傍ブロックを確定し、該M個の近傍ブロック中のN個の近傍ブロックを順次走査し、走査結果に基づいて対象近傍ブロックを確定し、NはMより小さく、Mは4以下であり、該対象近傍ブロックの動きベクトル、現在の画像ブロックおよび現在の画像ブロックの参照画像に基づいて、前記現在の画像ブロックの関連ブロックを確定する方法2とが含まれる。ここでは、動きベクトル第2候補リスト中のM個の候補とは、現在画像ブロックのM個の近傍ブロックを指してもよい。
【0361】
ここでは、方法1と方法2における「走査結果に基づいて対象近傍ブロックを確定する」、および「前記対象近傍ブロックの動きベクトル、前記現在画像ブロックおよび前記現在画像ブロックの参照画像に基づいて、前記現在画像ブロックの関連ブロックを確定する」という2つのステップについての説明は、上記の説明を参照してよく、ここでは、再び説明しない。
【0362】
一実施形態において、動きベクトルの第1候補リストに入れる候補を確定する方法は、現在の画像ブロックの近傍ブロックから、特定の走査順に応じてアフィン変換モードで予測する近傍ブロックのコントロールポイントの動きベクトル群を確定し、それぞれの確定された近傍ブロックのコントロールポイントの動きベクトル群を1つの候補として動きベクトルの第1候補リストに入れることを含む。
【0363】
ここでは、一例において、アフィン変換モードで予測する近傍ブロックとは、該近傍ブロックの動きベクトルがaffine merge candidate list中の候補に基づいて確定されたものであることを指す。すなわち、候補は現在画像ブロックのaffineモードを用いた空間領域近傍ブロックのaffine動きモデルからのものであり、すなわち、affineモードを用いた空間領域近傍ブロックのCPMVを現在ブロックのCPMVPとする。
【0364】
ここでは、一例において、コントロールポイントの動きベクトル群は該近傍ブロックの2つのコントロールポイントの動きベクトル(例えば、該近傍ブロックの左上隅のポイントと右上隅のポイント)を含んでもよく、または該近傍ブロックの3つのコントロールポイントの動きベクトル(例えば、画像ブロックの左上隅のポイント、右上隅のポイントと左下隅のポイント)を含んでもよく、これは4パラメータAffineモデルを用いたか、6パラメータAffineモデルを用いたかに依存する。
【0365】
ここでは、一例において、特定の走査順に応じてアフィン変換モードで予測する近傍ブロックのコントロールポイントの動きベクトル群を確定することは、
前記現在の画像ブロックの左側近傍ブロックにおいて第1走査順に応じて第1近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
前記現在画像ブロックの上側近傍ブロックにおいて第2走査順で第2近傍ブロックのコントロールポイント動きベクトル群を確定することと、
前記第1近傍ブロックのコントロールポイントの動きベクトル群と前記第2近傍ブロックのコントロールポイントの動きベクトル群を前記動きベクトルの第1候補リストに入れることと、を含む。
【0366】
例えば、
図12に示すように、
図12は現在画像ブロックの近傍ブロックによって動きベクトル第1候補リストの候補を取得する概略図である。現在画像ブロックの左側において、画像ブロックA->画像ブロックD->画像ブロックEの走査順に応じて順次走査し、1つ目の事前設定条件を満たす第1の画像ブロックのコントロールポイントの動きベクトル群を1つの候補として動きベクトルの第1候補リストに入れる。現在画像ブロックの上側において、画像ブロックB->画像ブロックCの走査順に応じて順次走査し、1つめのプリセット条件を満たす第1の画像ブロックのコントロールポイントの動きベクトル群を1つの候補として動きベクトルの第1候補リストに入れる。任意選択的に、該走査順で、該閾値条件を満たす画像ブロックを見つけなければ、該走査順で候補を確定することを放棄する。
【0367】
一実施形態において、動きベクトル第1候補リストに入れる候補を確定する方法は、
前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づいて前記一部のコントロールポイントの動きベクトルを構築することと、
前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトルの第1候補リストに入れることと、を含む。
【0368】
つまり、このような実施形態において、候補を構築することによって動きベクトルの第1候補リストに入れることである。一例において、候補を構築することによって動きベクトルの第1候補リストに入れる前、まず動きベクトルの第1候補リスト中の候補の数が既にプリセット数値(例えば、5)に達したか否かを判断し、プリセット数値に達していない場合、候補を構築することによって動きベクトルの第1候補リストに入れる。
【0369】
一例において、構築される候補は現在画像ブロックの一部のコントロールポイントの近傍ブロックの動き情報を組み合せた後にCPMVPとして動きベクトルの第1候補リストに入れる。
【0370】
図13に示すように、
図13は現在画像ブロックの近傍ブロックによって動きベクトルの第1候補リストの候補を構築する概略図である。現在画像ブロックは全部で4つのコントロールポイントがあり、それぞれCP1、CP2、CP3、CP4である。ここでは、画像ブロックA0とA1はCP1の空間領域近傍ブロックであり、画像ブロックA2、B2とB3はCP2の空間領域近傍ブロックであり、画像ブロックB0とB1はCP2の空間領域近傍ブロックであり、TはCP4の時間領域近傍ブロックである。コントロールポイントCP1、CP2、CP3とCP4の座標は、それぞれ(0,0)、(W,0)、(H,0)と(W,H)、WとHはそれぞれ現在CUの幅と高を示す。各コントロールポイントの近傍ブロックの動き情報を取得する優先順位は、
CP1に対し、取得の優先順位は、B2->B3->A2である。B2が利用可能な場合、B2のMVを用いてコントロールポイントCP1のMVとし、B2が利用不可なば場合、B3のMVを用いてコントロールポイントCP1のMVとし、B2とB3がすべて利用不可な場合、A1のMVを用いてコントロールポイントCP1のMVとし、B2、B3とA1がすべて利用不可な場合、コントロールポイントCP1の動き情報が得られない。
【0371】
同様に、CP2に対し、取得の優先順位は、B1->B0であり、CP3に対し、取得の優先順位は、A1->A0であり、CP4に対し、直接的にTのMVを用いてコントロールポイントCP4のMVとする。
【0372】
現在CUのコントロールポイント(6パラメータモデル:CP0、CP1とCP2、4パラメータモデル:CP0とCP1)のMVがすべて利用可能になってからはじめて、構築されたMVを挿入し、そうでなければ直接的に次のステップに入る。すべてのコントロールポイントのMV(存在する場合)を得た後、コントロールポイントのMVに対する異なる組み合わせを行い、複数のaffine candidatesを得ることができ、組み合わせ方式は、
4パラメータaffineモデルを用いる場合、4つのコントロールポイントのMVのうちの2つを組み合わせると、1つまたは複数の候補を得ることができ、その中の2つの組み合わせ方式、つまり{CP1、CP2}、{CP1、CP3}を選択する。ここでは、組み合わせ方式{CP1、CP3}では、4パラメータモデルに基づいて、選択された2つのコントロールポイントのMVを現在CUの左上隅と右上隅のコントロールポイントのMV(CP1とCP2)に変換する必要がある。
【0373】
6パラメータaffineモデルを用いる場合、4つのコントロールポイントのMVのうちの3つを組み合わせると、1つまたは複数の候補を得ることができ、4つの組み合わせ方式、{CP1、CP2、CP4}、{CP1,CP2、CP3}、{CP2、CP3、CP4}、{CP1、CP3、CP4}を選択する。ここでは、組み合わせ方式{CP1、CP2、CP3}、{CP2、CP3、CP4}、{CP1、CP3、CP4}では6パラメータモデルに基づいて、選択された3つのコントロールポイントのMVを現在CUの左上隅、右上隅と左下隅のコントロールポイントのMV(CP1、CP2とCP3)に変換する必要がある
一例において、異なる組み合わせのMV(2個または3個)に使用される参照フレームが異なれば、該組み合わせによって構築された候補が使用不可であると考えられる。
【0374】
一実施形態において、動きベクトルの第1候補リストに入れる候補を確定する方法は、デフォルトベクトルを用いて取り込むことを含む。任意選択的に、該デフォルトベクトルはゼロベクトルまたは他のベクトルであってもよい。任意選択的に、他の方法で動きベクトルの第1候補リストに入れる候補を確定した後、現在既に該第1候補リストに入れられた候補の数が既にプリセット数値に達したか否かを判断し、達していない場合、第1候補リスト中の候補の数がプリセット数値に達するまで、デフォルトベクトルを用いて第1候補リストに取り込む。
【0375】
動きベクトルの第1候補リスト中の候補を用いて現在画像ブロックを予測する時、用いた候補はATMVP技術によって確定された候補以外の少なくとも1つの候補である場合、アフィン動きモデルにより該候補に基づいて現在画像ブロック中のサブ画像ブロックの動きベクトルを導出する。用いた候補はATMVP技術によって確定された候補である場合、上記の説明に基づいて、関連ブロックの中の各サブ画像ブロックの動きベクトルに基づいて現在画像ブロック中の各サブ画像ブロックの参照ブロックを確定し、各サブ画像ブロックの参照ブロックを現在画像ブロックの参照ブロックにつなぎ合わせ、該参照ブロックに基づいて現在画像ブロックの残差を算出する。
【0376】
以下、
図14と
図15に関連して本出願の実施例で提供される動画像処理方法について例をあげて説明する。
図14に示すように、該方法は以下のステップを含む。
【0377】
S1410、現在画像ブロックの予め設定されたM個の近傍ブロックのうちN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定し、NはMより小さい。任意選択的に、Mは4以下である。
【0378】
S1420、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定する。
【0379】
S1430、前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと1対1に対応させる。
【0380】
S1440、前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測する。
【0381】
図14に示される動画像処理方法の説明は以上の記載に参照することができ、ここでは説明しない。
【0382】
図15に示すように、該方法は以下のステップを含む。
【0383】
S1510、現在画像ブロックの動きベクトル第2候補リスト中のM個の候補に基づき、前記現在画像ブロックのM個の近傍ブロックを確定する。
【0384】
S1520、前記M個の近傍ブロックのうちのN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定し、NはMより小さい。任意選択的に、Mは4以下である。
【0385】
S1530、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定する。
【0386】
S1540、前記現在画像ブロックの関連ブロックに基づき、前記現在画像ブロックの動きベクトル第1候補リスト中の特定候補を確定する。ここでは、該特定候補は以上の記載で言及されているATMVP技術によって確定された候補であってもよい。
【0387】
S1550、前記特定候補を用いることを確定した場合、前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと1対1に対応させる。
【0388】
S1560、前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測する。
【0389】
図15に示される動画像処理方法の説明は以上の記載に参照することができ、ここでは説明しない。
【0390】
図16は本出願の実施例によって提供される動画像処理装置1600の概略的ブロック図である。該装置1600は
図14に示される方法の実施例を実行するために用いられる。該装置1600は以下のユニットを含む。
【0391】
現在画像ブロックの予め設定されたM個の近傍ブロックのうちN(NはMより小さい)個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定し、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定し、前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロック中の各サブ画像ブロックと1対1に対応させるために用いられる構築モジュール1610と、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュール1620とを含む。
【0392】
一例において、Nは1または2に等しい。
【0393】
一例において、予測モジュールはさらに、前記の前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ前記現在画像ブロック中の対応するサブ画像ブロックを予測する前に前記関連ブロックの代表動きベクトルを候補として動きベクトル第1候補リストに入れ、
前記候補を採用すると確定した場合、前記予測モジュールは前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる。
【0394】
一例において、前記の前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することは、
前記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ前記現在画像ブロック中に対応するサブ画像ブロックの動きベクトルとすることを含む。
【0395】
一例において、前記関連ブロックの代表動きベクトルを1つ目の候補として動きベクトル第1候補リストに入れる。
【0396】
一例において、前記関連ブロックの代表動きベクトルは前記関連ブロックの中央位置の動きベクトルを含む。
【0397】
一例において、予測モジュールはさらに、前記関連ブロック中に取得不可な動きベクトルのサブ画像ブロックが出た時、前記関連ブロックの代表動きベクトルを前記動きベクトルが取得不可なサブ画像ブロックの動きベクトルとし、前記現在画像ブロック中の対応するサブ画像ブロックを予測するために用いられる。
【0398】
一例において、予測モジュールはさらに、前記関連ブロック中に取得不可な動きベクトルのサブ画像ブロックが出て、かつ前記関連ブロックの代表動きベクトルが取得不可である場合、前記関連ブロック中各サブ画像ブロックの動きベクトルに基づきそれぞれ前記現在画像ブロック中対応するサブ画像ブロックを予測することを放棄するために用いられる。
【0399】
一例において、予測モジュールはさらに、前記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる時、該関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出たことを確定するために用いられる。
【0400】
一例において、構築モジュールはさらに、他の候補を確定し、前記他候補を前記動きベクトル第1候補リストに入れるために用いられ、ここでは、前記他の候補中の少なくとも1つの候補はサブ画像ブロックの動きベクトルを含む。
【0401】
一例において、構築モジュールはさらに、前記他の候補のうちの1つの候補を採用することを確定する場合、前記採用した候補に基づき前記現在画像ブロック中のサブ画像ブロックの動きベクトルを確定するために用いられる。
【0402】
一例において、前記少なくとも1つの候補は一組のコントロールポイントの動きベクトルを含む。
【0403】
一例において、予測モジュールはさらに、
前記少なくとも1つの候補中の候補を採用することを確定する場合、アフィン変換モデルに基づき前記採用した候補にアフィン変換を行うことと、
前記アフィン変換後の候補に基づき前記現在画像ブロック中のサブ画像ブロックを予測することとのために用いられる。
【0404】
一例において、前記アフィン変換モデルは4パラメータアフィン変換モデルを含む場合、前記少なくとも1つの候補において、各候補は2つのコントロールポイントの動きベクトルを含み、
前記アフィン変換モデルは6パラメータアフィン変換モデルを含む場合、前記少なくとも1つの候補において、各候補は3つのコントロールポイントの動きベクトルを含む。
【0405】
一例において、構築モジュールはさらに、前記現在画像ブロックの近傍ブロックから、特定の走査順でアフィン変換モードで予測する近傍ブロックのコントロールポイント動きベクトル群を確定することと、
それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を1つの候補として前記動きベクトル第1候補リストに入れることとのために用いられる。
【0406】
一例において、前記の前記現在画像ブロックの近傍ブロックから、特定の走査順に応じてアフィン変換モードで予測する近傍ブロックのコントロールポイント動きベクトル群を確定することは、
前記現在画像ブロックの左側近傍ブロックにおいて第1走査順で第1近傍ブロックのコントロールポイント動きベクトル群を確定することと、
前記現在画像ブロックの上側近傍ブロックにおいて第2走査順で第2近傍ブロックのコントロールポイント動きベクトル群を確定することと、
前記第1近傍ブロックのコントロールポイントの動きベクトル群と前記第2近傍ブロックのコントロールポイントの動きベクトル群を前記動きベクトルの第1候補リストに入れることと、を含む。
【0407】
一例において、構築モジュールはさらに、前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき前記一部のコントロールポイントの動きベクトルを構築することと、
前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトルの第1候補リストに入れることとのために用いられる。
【0408】
一例において、前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づいて前記一部のコントロールポイントの動きベクトルを構築することは、
前記一部のコントロールポイントにおける各コントロールポイントに対し、第三走査順で前記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを前記コントロールポイントの動きベクトルとすることを含む。
【0409】
一例において、構築モジュールはさらに、
前記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す時、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第1候補リストに入れることを放棄するために用いられる。
【0410】
一例において、前記動きベクトル第1候補リスト中の候補の数量が予め設定された数値より大きい場合、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第1候補リストに入れることを放棄する。
【0411】
一例において、構築モジュールはさらに、
動きベクトル第2候補リストを構築し、ここでは、前記動きベクトル第2候補リストに入れる候補は1つの画像ブロックの動きベクトルであり、
前記動きベクトル第2候補リスト中の候補を採用することを確定した場合、前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定するために用いられる。
【0412】
一例において、前記の前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定することは、
前記の採用することを確定した候補を前記現在画像ブロックの動きベクトルとし、または前記採用することを確定した候補をスケーリングした後に前記現在画像ブロックの動きベクトルとすることを含む。
【0413】
一例において、前記構築動きベクトル第2候補リストは、
前記現在画像ブロックの現在画像上での複数の近傍ブロックの動きベクトルに基づき前記動きベクトル第2候補リストに入れる候補を確定することを含む。
【0414】
一例において、前記現在画像ブロックの現在画像上での複数の近傍ブロックは前記予め設定されたM個の近傍ブロックを含む。
【0415】
一例において、構築モジュールはさらに、
予め設定された順で順に前記予め設定されたM個の近傍ブロックの動きベクトルをそれぞれM個の候補として、前記動きベクトル第2候補リストに入れるために用いられる。
【0416】
前記N個の近傍ブロックとは、前記予め設定された順で最初に確定されたN個の近傍ブロックを指す。
【0417】
一例において、構築モジュールはさらに、
前記M個の近傍ブロック中の1つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、前記1つのまたは複数の近傍ブロックの動きベクトルに基づき前記動きベクトル第2候補リストに入れる候補を確定することを放棄するために用いられる。
【0418】
一例において、前記の前記M個の近傍ブロックのうちのN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
前記N個の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ前記走査した1つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む。
【0419】
一例において、前記走査した1つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
前記1つ目の事前設定条件に符合する近傍ブロックを前記対象近傍ブロックとすることを含む。
【0420】
一例において、前記事前設定条件は、
近傍ブロックの参照画像と前記現在画像ブロックの参照画像が同じであることを含む。
【0421】
一例において、構築モジュールはさらに、前記N個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない時、前記M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行うために用いられ、予測モジュールは前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測するために用いられる。
【0422】
一例において、前記の前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
前記スケーリング処理後の動きベクトルと前記現在画像ブロックの参照画像に基づき前記現在画像ブロックの参照ブロックを確定することを含む。
【0423】
一例において、前記特定近傍ブロックは、前記N個の近傍ブロックのうち、走査順で得られた1つ目近傍ブロックまたは最後の近傍ブロックである。
【0424】
一例において、前記の前記M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
前記特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルが指す参照フレームが前記現在画像ブロックの参照画像と同じになるようにし、
前記スケーリング処理後の動きベクトルの前記現在画像ブロックの参照画像中で指す画像ブロックを前記現在画像ブロックの参照ブロックとすることを含む。
【0425】
一例において、前記N個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない時、ディフォルトブロックを前記現在画像ブロックの参照ブロックとする。
【0426】
一例において、前記ディフォルトブロックは動きベクトル(0,0)が指す画像ブロックである。
【0427】
一例において、前記サブ画像ブロックのサイズおよび/または前記サブ画像ブロックの関連ブロックのサイズは64以上の画素に固定される。
【0428】
一例において、前記サブ画像ブロックのサイズおよび/または前記サブ画像ブロックの関連ブロックのサイズは8×8画素、または16×4画素または4×16画素に固定される。
【0429】
一例において、前記現在画像ブロックは1つの符号化ユニットCUである。
【0430】
一例において、前記の前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することは、
前記対象近傍ブロックの動きベクトル、前記現在画像ブロックの参照画像において、前記現在画像ブロックの関連ブロックを確定することを含む。
【0431】
一例において、前記近傍ブロックは、前記現在画像上で前記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
【0432】
一例において、前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
前記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含む。
【0433】
ここでは、前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
【0434】
一例において、前記処理後の前記関連ブロックの動きベクトルは、
数値が1の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む。
【0435】
一例において、前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
前記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である時、前記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む。
【0436】
一例において、構築モジュールはさらに、
前記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられる。
【0437】
ここでは、前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
【0438】
一例において、前記処理後の前記関連ブロックの動きベクトルは、
数値が1の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む。
【0439】
一例において、Mは4以下である。
【0440】
図17は本出願の実施例によって提供される動画像処理装置1700の概略的ブロック図である。該装置1700は
図15に示される方法の実施例を実行するために用いられる。該装置1700は以下のユニットを含む。
【0441】
現在画像ブロックの動きベクトル第2候補リスト中のM個の候補に基づき、前記現在画像ブロックのM個の近傍ブロックを確定し、前記M個の近傍ブロックのうちN(NはMより小さい)個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定し、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定し、前記現在画像ブロックの関連ブロックに基づき前記現在画像ブロックの動きベクトル第1候補リスト中の特定候補を確定し、前記特定候補を用いることを確定した場合、前記現在画像ブロックと前記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、前記現在画像ブロック中の各サブ画像ブロックは、前記関連ブロックの各サブ画像ブロックと1対1に対応させるために用いられる構築モジュール1710と、
前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュール1720とを含む。
【0442】
一例において、前記動きベクトル第1候補リストの少なくとも1つの候補がサブ画像ブロックの動きベクトルを含み、前記動きベクトル第2候補リストの各候補が画像ブロックの動きベクトルを含む。
【0443】
一例において、Nは1または2に等しい。
【0444】
一例において、前記M個の候補は前記現在画像ブロックの現在画像上でのM個の近傍ブロックの動きベクトルを含む。
【0445】
一例において、前記の前記M個の近傍ブロックのうちのN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
前記N個の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ前記走査した1つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む。
【0446】
一例において、前記走査した1つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
前記1つ目の事前設定条件に符合する近傍ブロックを前記対象近傍ブロックとすることを含む。
【0447】
一例において、前記事前設定条件は、
近傍ブロックの参照画像と前記現在画像ブロックの参照画像が同じであることを含む。
【0448】
一例において、構築モジュールはさらに、前記N個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない時、前記M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行うために用いられ、予測モジュールは前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測するために用いられる。
【0449】
一例において、前記の前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
前記スケーリング処理後の動きベクトルと前記現在画像ブロックの参照画像に基づき前記現在画像ブロックの参照ブロックを確定することを含む。
【0450】
一例において、前記特定近傍ブロックは、前記N個の近傍ブロックのうち、走査順で得られた1つ目近傍ブロックまたは最後の近傍ブロックである。
【0451】
一例において、前記の前記M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルに基づき前記現在画像ブロックを予測することは、
前記特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルが指す参照フレームが前記現在画像ブロックの参照画像と同じになるようにし、
前記スケーリング処理後の動きベクトルの前記現在画像ブロックの参照画像中で指す画像ブロックを前記現在画像ブロックの参照ブロックとすることを含む。
【0452】
一例において、前記N個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない時、ディフォルトブロックを前記現在画像ブロックの参照ブロックとする。
【0453】
一例において、前記ディフォルトブロックは動きベクトル(0,0)が指す画像ブロックである。
【0454】
一例において、前記サブ画像ブロックのサイズおよび/または前記サブ画像ブロックの関連ブロックのサイズは64以上の画素に固定される。
【0455】
一例において、前記サブ画像ブロックのサイズおよび/または前記サブ画像ブロックの関連ブロックのサイズは8×8画素、または16×4画素または4×16画素に固定される。
【0456】
一例において、前記現在画像ブロックは1つの符号化ユニットCUである。
【0457】
一例において、前記の前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づき、前記現在画像ブロックの関連ブロックを確定することは、
前記対象近傍ブロックの動きベクトル、前記現在画像ブロックの参照画像において、前記現在画像ブロックの関連ブロックを確定することを含む。
【0458】
一例において、前記近傍ブロックは、前記現在画像上で前記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
【0459】
一例において、前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
前記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含む。
【0460】
ここでは、前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
【0461】
一例において、前記処理後の前記関連ブロックの動きベクトルは、
数値が1の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む。
【0462】
一例において、前記の前記関連ブロックの動きベクトルに基づき前記現在画像ブロックを予測することは、
前記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である時、前記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む。
【0463】
一例において、構築モジュールはさらに、前記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられる。
【0464】
ここでは、前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
【0465】
一例において、前記処理後の前記関連ブロックの動きベクトルは、
数値が1の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む。
【0466】
一例において、前記の前記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、前記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することは、
前記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ前記現在画像ブロック中に対応するサブ画像ブロックの動きベクトルとすることを含む。
【0467】
一例において、前記の前記現在画像ブロックの関連ブロックに基づき、前記現在画像ブロックの動きベクトル第1候補リスト中の特定候補を確定することは、
前記現在画像ブロックの関連ブロックの代表動きベクトルを前記特定候補として前記動きベクトル第1候補リストに入れることを含む。
【0468】
一例において、前記関連ブロックの代表動きベクトルを1つ目の候補として動きベクトル第1候補リストに入れる。
【0469】
一例において、前記関連ブロックの代表動きベクトルは前記関連ブロックの中央位置の動きベクトルを含む。
【0470】
一例において、予測モジュールはさらに、前記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出た時、前記関連ブロックの代表動きベクトルを前記取得不可な動きベクトルのサブ画像ブロックの動きベクトルとし、前記現在画像ブロック中の対応するサブ画像ブロックを予測するために用いられる。
【0471】
一例において、予測モジュールはさらに、前記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出ており、かつ前記関連ブロックの代表動きベクトルが取得不可である場合、前記関連ブロック中各サブ画像ブロックの動きベクトルに基づきそれぞれ前記現在画像ブロック中対応するサブ画像ブロックを予測することを放棄するために用いられる。
【0472】
一例において、予測モジュールはさらに、前記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる時、該関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出たことを確定するために用いられる。
【0473】
一例において、予測モジュールはさらに、前記動きベクトル第2候補リスト中の前記特定候補以外のそのうちの1つの候補を採用することを確定する場合、アフィン変換モデルに基づき前記採用した候補にアフィン変換を行い、
前記アフィン変換後の候補に基づき前記現在画像ブロック中のサブ画像ブロックを予測することとのために用いられる。
【0474】
一例において、前記動きベクトル第2候補リスト中の前記特定候補以外の少なくとも1つの候補において、各候補は一組のコントロールポイントの動きベクトルを含む。
【0475】
一例において、前記アフィン変換モデルは4パラメータアフィン変換モデルを含む場合、前記少なくとも1つの候補において、各候補は2つのコントロールポイントの動きベクトルを含み、
前記アフィン変換モデルは6パラメータアフィン変換モデルを含む場合、前記少なくとも1つの候補において、各候補は3つのコントロールポイントの動きベクトルを含む。
【0476】
一例において、予測モジュールはさらに、前記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定し、
それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を1つの候補として前記動きベクトル第1候補リストに入れるために用いられる。
【0477】
一例において、前記の前記現在画像ブロックの近傍ブロックから、特定の走査順に応じてアフィン変換モードで予測する近傍ブロックのコントロールポイント動きベクトル群を確定することは、
前記現在画像ブロックの左側近傍ブロックにおいて第1走査順で第1近傍ブロックのコントロールポイント動きベクトル群を確定することと、
前記現在画像ブロックの上側近傍ブロックにおいて第2走査順で第2近傍ブロックのコントロールポイント動きベクトル群を確定することと、
前記第1近傍ブロックのコントロールポイントの動きベクトル群と前記第2近傍ブロックのコントロールポイントの動きベクトル群を前記動きベクトルの第1候補リストに入れることと、を含む。
【0478】
一例において、構築モジュールはさらに、前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき前記一部のコントロールポイントの動きベクトルを構築することと、
前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトルの第1候補リストに入れることとのために用いられる。
【0479】
一例において、前記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づいて前記一部のコントロールポイントの動きベクトルを構築することは、
前記一部のコントロールポイントにおける各コントロールポイントに対し、第三走査順で前記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを前記コントロールポイントの動きベクトルとすることを含む。
【0480】
一例において、構築モジュールはさらに以、前記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す場合、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第1候補リストに入れることを放棄するために用いられる。
【0481】
一例において、構築モジュールはさらに、前記動きベクトル第1候補リスト中の候補の数量が予め設定された数値より大きい時、前記現在画像ブロックの一部のコントロールポイントの動きベクトルを前記動きベクトル第1候補リストに入れることを放棄するために用いられる。
【0482】
一例において、構築モジュールはさらに、動きベクトル第2候補リストを構築すし、ここでは、前記動きベクトル第2候補リストに入れられる候補は1つの画像ブロックの動きベクトルであり、
前記動きベクトル第2候補リスト中の候補を採用することを確定した場合、前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定するために用いられる。
【0483】
一例において、前記の前記候補の動きベクトルに基づき前記現在画像ブロックの動きベクトルを確定することは、
前記の採用することを確定した候補を前記現在画像ブロックの動きベクトルとし、または前記採用することを確定した候補をスケーリングした後に前記現在画像ブロックの動きベクトルとすることを含む。
【0484】
一例において、前記構築動きベクトル第2候補リストは、
前記現在画像ブロックの現在画像上でのM個の近傍ブロックの動きベクトルに基づき前記動きベクトル第2候補リストに入れる前記M個の候補を確定することを含む。
【0485】
一例において、構築モジュールはさらに、め設定された順で順に前記予め設定されたM個の近傍ブロックの動きベクトルをそれぞれM個の候補として、前記動きベクトル第2候補リストに入れるために用いられ、
前記N個の近傍ブロックとは、前記予め設定された順で最初に確定されたN個の近傍ブロックを指す。
【0486】
一例において、構築モジュールはさらに、前記M個の近傍ブロック中の1つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、前記1つのまたは複数の近傍ブロックの動きベクトルに基づき前記動きベクトル第2候補リストに入れる候補を確定することを放棄するために用いられる。
【0487】
一例において、Mは4以下である。
【0488】
本出願の実施例は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体をさらに提供し、コンピュータプログラムがコンピュータに実行されるときコンピュータに上記方法の実施例で提供される方法を実行させる。
【0489】
本出願の実施例は命令を含むコンピュータプログラム製品をさらに提供し、該指令がコンピュータにより実行される時、コンピュータに上記方法の実施例で提供される方法を実行させる。
【0490】
上記実施例において、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせにより全部又は一部で実施することができる。ソフトウェアで実現する場合、コンピュータプログラム製品の形で全部或いは一部で実現することができる。前記コンピュータプログラム製品は1つのまたは複数のコンピュータ命令を含む。コンピュータに前記コンピュータ命令をアップロードして実行すると、本出願の実施例による前記プロセス又は機能の全部又は一部が生成される。前記コンピュータは汎用コンピュータ、特殊用途コンピュータ、コンピュータネットワーク、または他プログラマブル装置であってもよい。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、あるいは、あるコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信されてもよく、例えば、前記コンピュータ命令は、あるウェブサイト、コンピュータ、サーバ、またはデータセンタから有線(例えば、同軸ケーブル、光ファイバ、デジタル(digital subscriber line,DSL)または無線(例えば、赤外線、無線、マイクロ波など)の方式で別のサイト、コンピュータ、サーバ、またはデータセンタに送信されてもよい。前記コンピュータ可読記憶媒体は、コンピュータがアクセス可能な任意の利用可能な媒体であってもよいし、1つまたは複数の利用可能な媒体が統合されたサーバ、データセンタなどのデータ記憶装置であってもよい。前記利用可能な媒体は磁気媒体(例えば、フロッピーディスク、ハードディスク、テープ)、光媒体(例えばデジタル・ビデオ・ディスク(digital video disc、DVD))、または半導体媒体(例えば、ソリッドステートドライブ(solid state disk、SSD))などであってもよい。
【0491】
当業者であれば、本明細書に開示された実施例に関連して記載された各例のユニットおよびアルゴリズムステップは、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアとの組み合わせで実現可能であることを認識することができる。これらの機能がハードウェアで実行されるかソフトウェアで実行されるかは、技術的解決策の特定応用と設計制約に依存する。当業者は、特定応用ごとに異なる方法を使用して、説明されている機能を実現できるが、その実現は本出願の範囲外とは見なすべきではない。
【0492】
本明細書で提供されるいくつかの実施例では、開示されたシステム、装置、および方法は、他の方法で実現可能であることを理解されたい。例えば、以上に記述された装置の実施例は概略的なものであるに過ぎず、例えば、前記ユニットの区分は、論理的機能区分であるに過ぎず、実際に実現する際には他の区分方式があってよく、例えば、複数のユニットまたはアセンブリは結合してもよいか、もしくは、他のシステムに一体化してもよく、または、いくつかの特徴は無視してもよく、または実行しなくてもよい。そして、表示又は検討した相互結合又は直接結合又は通信接続は、いくつかのインタフェース、装置又はユニットを介した間接結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。
【0493】
前記分離部材として説明したユニットは、物理的に分離しても物理的に分離しなくてもよく、ユニットとして表す部材は、物理ユニットであっても物理ユニットではなくてもよく、すなわち一つの場所に位置してもよいか、又は複数のネットワークユニットに分布してもよい。実際の需要に応じて、そのうちの一部又は全部のユニットを選択して本実施例の解決手段の目的を実現することができる。
【0494】
また、本明細書の各実施例における各機能ユニットは、1つの処理ユニットに集積されてもよいし、各ユニットが個別に物理的に存在してもよいし、2つ以上のユニットが1つのユニットに集積されてもよい。
【0495】
以上のように、本出願の発明を実施するための形態にすぎず、本出願の保護範囲は、これに限定されるものではなく、当業者であれば、本出願において開示されている技術範囲内において、容易に変更又は交換を行うことができるものであれば、本出願の保護範囲内に含まれるものである。したがって、本出願の保護範囲は、特許請求の範囲に準じるものとする。
[項目1]
動画像処理方法であって、
現在画像ブロックの予め設定されたM個の近傍ブロックのうち、Mよりも小さいN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、
上記対象近傍ブロックの動きベクトル、上記現在画像ブロック、および上記現在画像ブロックの参照画像に基づき、上記現在画像ブロックの関連ブロックを確定することと、
上記現在画像ブロックと上記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、上記現在画像ブロック中の各サブ画像ブロックは、上記関連ブロック中の各サブ画像ブロックと1対1に対応させることと、
上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、上記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することとを含む、動画像処理方法。
[項目2]
Nは1または2に等しい、項目1に記載の方法。
[項目3]
上記の上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ上記現在画像ブロック中の対応するサブ画像ブロックを予測する前に、
上記関連ブロックの代表動きベクトルを候補として動きベクトル第1候補リストに入れることと、
上記候補を採用すると確定した場合、上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、上記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することとをさらに含むことを特徴する項目1または2に記載の方法。
[項目4]
上記の上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、上記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することは、
上記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ上記現在画像ブロック中の対応するサブ画像ブロックの動きベクトルとすることを含む、項目3に記載の方法。
[項目5]
上記関連ブロックの代表動きベクトルを1つ目の候補として動きベクトル第1候補リストに入れる、項目3に記載の方法。
[項目6]
上記関連ブロックの代表動きベクトルは上記関連ブロックの中央位置の動きベクトルを含む、項目3に記載の方法。
[項目7]
上記方法は、
上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出た場合、上記関連ブロックの代表動きベクトルを上記動きベクトルが取得不可なサブ画像ブロックの動きベクトルとし、上記現在画像ブロック中の対応するサブ画像ブロックを予測することをさらに含む、項目3に記載の方法。
[項目8]
上記方法は、
上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出ており、かつ上記関連ブロックの代表動きベクトルが取得不可な場合、上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき上記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することを放棄することをさらに含む、項目7に記載の方法。
[項目9]
上記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出たことを確定する、項目8に記載の方法。
[項目10]
上記方法は、
他の候補を確定し、上記他の候補を上記動きベクトル第1候補リストに入れることをさらに含み、上記他の候補中の少なくとも1つの候補はサブ画像ブロックの動きベクトルを含む、項目3に記載の方法。
[項目11]
上記方法は、
上記他の候補のうちの1つの候補を採用することを確定した場合、上記採用した候補に基づき上記現在画像ブロック中のサブ画像ブロックの動きベクトルを確定することをさらに含む、項目10に記載の方法。
[項目12]
上記少なくとも1つの候補は一組のコントロールポイントの動きベクトルを含む、項目10または11に記載の方法。
[項目13]
上記方法は、
上記少なくとも1つの候補中の候補を採用することを確定する場合、アフィン変換モデルに基づき上記採用した候補にアフィン変換を行うことと、
上記アフィン変換後の候補に基づき上記現在画像ブロック中のサブ画像ブロックを予測することとをさらに含む、項目10~12のいずれか一項に記載の方法。
[項目14]
上記アフィン変換モデルは4パラメータアフィン変換モデルを含む場合、上記少なくとも1つの候補において、各候補は2つのコントロールポイントの動きベクトルを含み、
上記アフィン変換モデルは6パラメータアフィン変換モデルを含む場合、上記少なくとも1つの候補において、各候補は3つのコントロールポイントの動きベクトルを含む、項目13に記載の方法。
[項目15]
上記方法は、
上記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することと、
それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を1つの候補として上記動きベクトル第1候補リストに入れることとをさらに含む、項目3~14のいずれか一項に記載の方法。
[項目16]
上記の上記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することは、
上記現在の画像ブロックの左側近傍ブロックにおいて第1走査順で第1近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
上記現在の画像ブロックの上側近傍ブロックにおいて第2走査順で第2近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
上記第1近傍ブロックのコントロールポイントの動きベクトル群と上記第2近傍ブロックのコントロールポイントの動きベクトル群を上記動きベクトルの第1候補リストに入れることと、を含む、項目15に記載の方法。
[項目17]
上記方法は、
上記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき上記一部のコントロールポイントの動きベクトルを構築することと、
上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第1候補リストに入れることとをさらに含む、項目3~14のいずれか一項に記載の方法。
[項目18]
上記の上記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき上記一部のコントロールポイントの動きベクトルを構築することは、
上記一部のコントロールポイントにおける各コントロールポイントに対し、第3走査順で上記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを上記コントロールポイントの動きベクトルとすることを含む項目17に記載の方法。
[項目19]
上記方法は、
上記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す時、上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第1候補リストに入れることを放棄することをさらに含む、項目17または18に記載の方法。
[項目20]
上記方法は、
上記動きベクトル第1候補リスト中の候補の数量が予め設定された数値より大きい時、上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第1候補リストに入れることを放棄することをさらに含む、項目17または18に記載の方法。
[項目21]
上記方法は、
動きベクトル第2候補リストを構築し、上記動きベクトル第2候補リストに入れる候補は1つの画像ブロックの動きベクトルであり、
上記動きベクトル第2候補リスト中の候補を採用することを確定した場合、上記候補の動きベクトルに基づき上記現在画像ブロックの動きベクトルを確定することをさらに含む、項目3~15のいずれか一項に記載方法。
[項目22]
上記の上記候補の動きベクトルに基づき上記現在画像ブロックの動きベクトルを確定することは、
上記の採用することを確定した候補を上記現在画像ブロックの動きベクトルとし、または上記採用することを確定した候補をスケーリングした後に上記現在画像ブロックの動きベクトルとすることを含む、項目21に記載の方法。
[項目23]
上記の動きベクトル第2候補リストを構築することは、
上記現在画像ブロックの現在画像での複数の近傍ブロックの動きベクトルに基づき上記動きベクトル第2候補リストに入れる候補を確定することを含む、項目21に記載の方法。
[項目24]
上記現在画像ブロックの現在画像での複数の近傍ブロックは上記予め設定されたM個の近傍ブロックを含む、項目23に記載の方法。
[項目25]
予め設定された順で順に上記予め設定されたM個の近傍ブロックの動きベクトルをそれぞれM個の候補として、上記動きベクトル第2候補リストに入れ、
上記N個の近傍ブロックとは、上記予め設定された順で最初に確定されたN個の近傍ブロックを指す、項目24に記載の方法。
[項目26]
上記方法は、
上記M個の近傍ブロックのうちの1つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、上記1つのまたは複数の近傍ブロックの動きベクトルに基づき上記動きベクトル第2候補リストに入れる候補を確定することを放棄することをさらに含む、項目24に記載の方法。
[項目27]
上記の上記M個の近傍ブロックのうちのN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
上記N個の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ上記走査した1つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む、項目1または26に記載の方法。
[項目28]
上記の上記走査した上記1つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
上記1つ目の事前設定条件に符合する近傍ブロックを上記対象近傍ブロックとすることを含む、項目19に記載の方法。
[項目29]
上記事前設定条件は、
近傍ブロックの参照画像と上記現在画像ブロックの参照画像が同じであることを含む、項目19または28に記載の方法。
[項目30]
上記方法は、
上記N個の近傍ブロック中に上記事前設定条件に符合する近傍ブロックが走査されていない場合、上記M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することをさらに含む、項目27~29のいずれか一項に記載の方法。
[項目31]
上記の上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することは、
上記スケーリング処理後の動きベクトルと上記現在画像ブロックの参照画像に基づき上記現在画像ブロックの参照ブロックを確定することを含む、項目30に記載の方法。
[項目32]
上記特定近傍ブロックは上記N個の近傍ブロックのうち、走査順で得られた1つ目の近傍ブロックまたは最後の近傍ブロックである、項目30に記載の方法。
[項目33]
上記の上記M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することは、
上記特定近傍ブロックの動きベクトルにスケーリング処理を行って、上記スケーリング処理後の動きベクトルが指す参照フレームが上記現在画像ブロックの参照画像と同じになるようにすることと、
上記スケーリング処理後の動きベクトルの上記現在画像ブロックの参照画像中で指す画像ブロックを上記現在画像ブロックの参照ブロックとすることとを含む、項目30に記載の方法。
[項目34]
上記方法は、
上記N個の近傍ブロック中に上記事前設定条件に符合する近傍ブロックが走査されていない場合、デフォルトブロックを上記現在画像ブロックの参照ブロックとすることをさらに含む、項目27~30のいずれか一項に記載の方法。
[項目35]
上記デフォルトブロックは動きベクトル(0,0)が指す画像ブロックである、項目34に記載の方法。
[項目36]
上記サブ画像ブロックのサイズおよび/または上記サブ画像ブロックの関連ブロックのサイズは64以上の画素に固定される、項目1~35のいずれか一項に記載の方法。
[項目37]
上記サブ画像ブロックのサイズおよび/または上記サブ画像ブロックの関連ブロックのサイズは8×8画素、または16×4画素または4×16画素に固定される、項目36に記載の方法。
[項目38]
現在画像ブロックは1つの符号化ユニットCUである、項目1~37のいずれか一項に記載の方法。
[項目39]
上記の上記対象近傍ブロックの動きベクトル、上記現在画像ブロックおよび上記現在画像ブロックの参照画像に基づき、上記現在画像ブロックの関連ブロックを確定することは、
上記対象近傍ブロックの動きベクトル、上記現在画像ブロックの参照画像において、上記現在画像ブロックの関連ブロックを確定することを含む、項目1~38のいずれか一項に記載方法。
[項目40]
上記近傍ブロックは上記現在画像において上記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである、項目1~39のいずれか一項に記載の方法。
[項目41]
上記の上記関連ブロックの動きベクトルに基づき上記現在画像ブロックを予測することは、
上記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の上記関連ブロックの動きベクトルと上記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含み、
上記処理後の上記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、項目1~40のいずれか一項に記載の方法。
[項目42]
上記処理後の上記関連ブロックの動きベクトルは、
数値が1の縮尺で上記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした上記関連ブロックの動きベクトルを含む、項目41に記載の方法。
[項目43]
上記の上記関連ブロックの動きベクトルに基づき上記現在画像ブロックを予測することは、
上記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である場合、上記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む、項目1~40のいずれか一項に記載の方法。
[項目44]
上記方法は、
上記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の上記関連ブロックの動きベクトルと上記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することをさらに含み、
上記処理後の上記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、項目1~43のいずれか一項に記載の方法。
[項目45]
上記処理後の上記関連ブロックの動きベクトルは、
数値が1の縮尺で上記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした上記関連ブロックの動きベクトルを含む、項目44に記載の方法。
[項目46]
Mは4以下である、項目1~45のいずれか一項に記載の方法。
[項目47]
動画像処理方法であって、
現在画像ブロックの動きベクトル第2候補リスト中のM個の候補に基づき、上記現在画像ブロックのM個の近傍ブロックを確定することと、
上記M個の近傍ブロックのうち、Mより小さいN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、
上記対象近傍ブロックの動きベクトル、上記現在画像ブロック、および上記現在画像ブロックの参照画像に基づき、上記現在画像ブロックの関連ブロックを確定することと、
上記現在画像ブロックの関連ブロックに基づき上記現在画像ブロックの動きベクトル第1候補リスト中の特定候補を確定することと、
上記特定候補を用いることを確定した場合、上記現在画像ブロックと上記関連ブロックを同じの方法で複数のサブ画像ブロックに分割し、上記現在画像ブロック中の各サブ画像ブロックは、上記関連ブロックの各サブ画像ブロックに1対1に対応させることと、
上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、上記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測することを含む、動画像処理方法。
[項目48]
上記動きベクトル第1候補リストの少なくとも1つの候補がサブ画像ブロックの動きベクトルを含み、上記動きベクトル第2候補リストの各候補が画像ブロックの動きベクトルを含む、項目47に記載の方法。
[項目49]
Nは1または2に等しい、項目47または48に記載の方法。
[項目50]
上記M個の候補は上記現在画像ブロックの現在画像でのM個の近傍ブロックの動きベクトルを含む、項目47~49のいずれか一項に記載の方法。
[項目51]
上記の上記M個の近傍ブロックのうちのN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
上記N個の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ上記走査した1つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む、項目50に記載の方法。
[項目52]
上記の上記走査した上記1つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
上記1つ目の事前設定条件に符合する近傍ブロックを上記対象近傍ブロックとすることを含む、項目50に記載の方法。
[項目53]
上記事前設定条件は、
近傍ブロックの参照画像と上記現在画像ブロックの参照画像が同じであることを含む、項目51または52に記載の方法。
[項目54]
上記方法は、
上記N個の近傍ブロック中に上記事前設定条件に符合する近傍ブロックが走査されていない時、上記M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することをさらに含む、項目51~53のいずれか一項に記載の方法。
[項目55]
上記の上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することは、
上記スケーリング処理後の動きベクトルと上記現在画像ブロックの参照画像に基づき上記現在画像ブロックの参照ブロックを確定することを含む、項目54に記載の方法。
[項目56]
上記特定近傍ブロックは上記N個の近傍ブロックのうち、走査順で得られた1つ目の近傍ブロックまたは最後の近傍ブロックである、項目54に記載の方法。
[項目57]
上記の上記M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することは、
上記特定近傍ブロックの動きベクトルにスケーリング処理を行って、上記スケーリング処理後の動きベクトルが指す参照フレームが上記現在画像ブロックの参照画像と同じになるようにすることと、
上記スケーリング処理後の動きベクトルの上記現在画像ブロックの参照画像中で指す画像ブロックを上記現在画像ブロックの参照ブロックとすることとを含む、項目54に記載の方法。
[項目58]
上記方法は、
上記N個の近傍ブロック中に上記事前設定条件に符合する近傍ブロックが走査されていない場合、デフォルトブロックを上記現在画像ブロックの参照ブロックとすることをさらに含む、項目51~53のいずれか一項に記載の方法。
[項目59]
上記デフォルトブロックは動きベクトル(0,0)が指す画像ブロックである、項目58に記載の方法。
[項目60]
上記サブ画像ブロックのサイズおよび/または上記サブ画像ブロックの関連ブロックのサイズは64以上の画素に固定される、項目47~59のいずれか一項に記載の方法。
[項目61]
上記サブ画像ブロックのサイズおよび/または上記サブ画像ブロックの関連ブロックのサイズは8×8画素、または16×4画素または4×16画素に固定される、項目60に記載の方法。
[項目62]
上記現在画像ブロックは1つの符号化ユニットCUである、項目47~61のいずれか一項に記載の方法。
[項目63]
上記の上記対象近傍ブロックの動きベクトル、上記現在画像ブロックおよび上記現在画像ブロックの参照画像に基づき、上記現在画像ブロックの関連ブロックを確定することは、
上記対象近傍ブロックの動きベクトル、上記現在画像ブロックの参照画像において、上記現在画像ブロックの関連ブロックを確定することを含む、項目47~62のいずれか一項に記載方法。
[項目64]
上記近傍ブロックは上記現在画像上で上記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである、項目47~63のいずれか一項に記載の方法。
[項目65]
上記の上記関連ブロックの動きベクトルに基づき上記現在画像ブロックを予測することは、
上記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の上記関連ブロックの動きベクトルと上記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含み、
上記処理後の上記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、項目47~64のいずれか一項に記載の方法。
[項目66]
上記処理後の上記関連ブロックの動きベクトルは、
数値が1の縮尺で上記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした上記関連ブロックの動きベクトルを含む、項目65に記載の方法。
[項目67]
上記の上記関連ブロックの動きベクトルに基づき上記現在画像ブロックを予測することは、
上記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である時、上記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む、項目47~64のいずれか一項に記載の方法。
[項目68]
上記方法は、
上記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である時、処理後の上記関連ブロックの動きベクトルと上記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することをさらに含み、
上記処理後の上記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、項目47~67のいずれか一項に記載の方法。
[項目69]
上記処理後の上記関連ブロックの動きベクトルは、
数値が1の縮尺で上記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした上記関連ブロックの動きベクトルを含む、項目68に記載の方法。
[項目70]
上記の上記関連ブロック中における各サブ画像ブロックの動きベクトルに基づきそれぞれ上記現在画像ブロック中における対応するサブ画像ブロックを予測することは、
上記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ上記現在画像ブロック中に対応するサブ画像ブロックの動きベクトルとすることを含む、項目47~69のいずれか一項に記載の方法。
[項目71]
上記の上記現在画像ブロックの関連ブロックに基づき上記現在画像ブロックの動きベクトル第1候補リスト中の特定候補を確定することは、
上記現在画像ブロックの関連ブロックの代表動きベクトルを上記特定候補として上記動きベクトル第1候補リストに入れることを含む、項目47~69のいずれか一項に記載の方法。
[項目72]
上記関連ブロックの代表動きベクトルを1つ目の候補として動きベクトル第1候補リストに入れる、項目71に記載の方法。
[項目73]
上記関連ブロックの代表動きベクトルは上記関連ブロックの中央位置の動きベクトルを含む、項目71に記載の方法。
[項目74]
上記方法は、
上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出た場合、上記関連ブロックの代表動きベクトルを上記動きベクトルが取得不可なサブ画像ブロックの動きベクトルとし、上記現在画像ブロック中の対応するサブ画像ブロックを予測することをさらに含む、項目71に記載の方法。
[項目75]
上記方法は、
上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出ており、かつ上記関連ブロックの代表動きベクトルが取得不可である場合、上記関連ブロック中各サブ画像ブロックの動きベクトルに基づきそれぞれ上記現在画像ブロック中の対応するサブ画像ブロックを予測することを放棄することをさらに含む、項目74に記載の方法。
[項目76]
上記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、該関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出たことを確定する、項目74に記載の方法。
[項目77]
上記方法は、
上記動きベクトル第2候補リスト中の上記特定候補以外のそのうちの1つの候補を採用することを確定する場合、アフィン変換モデルに基づき上記採用した候補にアフィン変換を行うことと、
上記アフィン変換後の候補に基づき上記現在画像ブロック中のサブ画像ブロックを予測することとをさらに含む、項目47~76のいずれか一項に記載方法。
[項目78]
上記動きベクトル第2候補リスト中の上記特定候補以外の少なくとも1つの候補において、各候補は一組のコントロールポイントの動きベクトルを含む、項目77に記載の方法。
[項目79]
上記アフィン変換モデルは4パラメータアフィン変換モデルを含む場合、上記少なくとも1つの候補において、各候補は2つのコントロールポイントの動きベクトルを含み、
上記アフィン変換モデルは6パラメータアフィン変換モデルを含む場合、上記少なくとも1つの候補において、各候補は3つのコントロールポイントの動きベクトルを含む、項目78に記載の方法。
[項目80]
上記方法は、
上記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することと、
それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を1つの候補として上記動きベクトル第1候補リストに入れることとをさらに含む、項目47~79のいずれか一項に記載の方法。
[項目81]
上記の上記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することは、
上記現在の画像ブロックの左側近傍ブロックにおいて第1走査順で第1近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
上記現在の画像ブロックの上側近傍ブロックにおいて第2走査順で第2近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
上記第1近傍ブロックのコントロールポイントの動きベクトル群と上記第2近傍ブロックのコントロールポイントの動きベクトル群を上記動きベクトルの第1候補リストに入れることと、を含む、項目80に記載の方法。
[項目82]
上記方法は、
上記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき上記一部のコントロールポイントの動きベクトルを構築することと、
上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第1候補リストに入れることをさらに含む、項目47~81のいずれか一項に記載の方法。
[項目83]
上記の上記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき上記一部のコントロールポイントの動きベクトルを構築することは、
上記一部のコントロールポイントにおける各コントロールポイントに対し、第3走査順で上記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを上記コントロールポイントの動きベクトルとすることを含む項目82に記載の方法。
[項目84]
上記方法は、
上記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す時、上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第1候補リストに入れることを放棄することをさらに含む、項目82または83に記載の方法。
[項目85]
上記方法は、
上記動きベクトル第1候補リスト中の候補の数量が予め設定された数値より大きい時、上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第1候補リストに入れることを放棄することをさらに含む、項目82または83に記載の方法。
[項目86]
上記方法は、
動きベクトル第2候補リストを構築し、ここでは、上記動きベクトル第2候補リストに入れる候補は1つの画像ブロックの動きベクトルであり、
上記動きベクトル第2候補リスト中の候補を採用することを確定した場合、上記候補の動きベクトルに基づき上記現在画像ブロックの動きベクトルを確定することをさらに含む、項目49~61に記載の方法。
[項目87]
上記の上記候補の動きベクトルに基づき上記現在画像ブロックの動きベクトルを確定することは、
上記の採用することを確定した候補を上記現在画像ブロックの動きベクトルとし、または上記採用することを確定した候補をスケーリングした後に上記現在画像ブロックの動きベクトルとすることを含む、項目86に記載の方法。
[項目88]
上記の動きベクトル第2候補リストを構築することは、
上記現在画像ブロックの現在画像上でのM個の近傍ブロックの動きベクトルに基づき上記動きベクトル第2候補リストに入れる上記M個の候補を確定することを含む、項目86に記載の方法。
[項目89]
予め設定された順で順に上記予め設定されたM個の近傍ブロックの動きベクトルをそれぞれM個の候補として、上記動きベクトル第2候補リストに入れ、上記N個の近傍ブロックとは、上記予め設定された順で最初に確定されたN個の近傍ブロックを指すこと、
および/または
上記M個の近傍ブロック中の1つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、上記1つのまたは複数の近傍ブロックの動きベクトルに基づき上記動きベクトル第2候補リストに入れる候補を確定することを放棄する、項目88に記載の方法。
[項目90]
Mは4以下である、項目47~89のいずれか一項に記載の方法。
[項目91]
動画像処理装置であって、
現在画像ブロックの予め設定されたM個の近傍ブロックのうちMよりも小さいN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、上記対象近傍ブロックの動きベクトル、上記現在画像ブロック、および上記現在画像ブロックの参照画像に基づき、上記現在画像ブロックの関連ブロックを確定することと、上記現在画像ブロックと上記関連ブロックを同じ方法で複数のサブ画像ブロックに分割し、上記現在画像ブロック中の各サブ画像ブロックは、上記関連ブロック中の各サブ画像ブロックと1対1に対応させることとのために用いられる構築モジュールと、
上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、上記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュールとを含む、動画像処理装置。
[項目92]
Nは1または2に等しい、項目91に記載の動画像処理装置。
[項目93]
上記予測モジュールはさらに、
上記の上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ上記現在画像ブロック中の対応するサブ画像ブロックを予測する前に上記関連ブロックの代表動きベクトルを候補として動きベクトル第1候補リストに入れ、
上記候補を採用すると確定した場合、上記予測モジュールは上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、上記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる、項目91または92に記載の動画像処理装置。
[項目94]
上記の上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ上記現在画像ブロック中における対応するサブ画像ブロックを予測することは、
上記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ上記現在画像ブロック中の対応するサブ画像ブロックの動きベクトルとすることを含む、項目93に記載の動画像処理装置。
[項目95]
上記関連ブロックの代表動きベクトルを1つ目の候補として動きベクトル第1候補リストに入れる、項目93に記載の動画像処理装置。
[項目96]
上記関連ブロックの代表動きベクトルは上記関連ブロックの中央位置の動きベクトルを含む、項目93に記載の動画像処理装置。
[項目97]
上記予測モジュールはさらに、
上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出た場合、上記関連ブロックの代表動きベクトルを上記動きベクトルが取得不可なサブ画像ブロックの動きベクトルとし、上記現在画像ブロック中の対応するサブ画像ブロックを予測するために用いられる、項目93に記載の動画像処理装置。
[項目98]
上記予測モジュールはさらに、
上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出ており、かつ上記関連ブロックの代表動きベクトルが取得不可である場合、上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ上記現在画像ブロック中の対応するサブ画像ブロックを予測することを放棄するために用いられる、項目97に記載の動画像処理装置。
[項目99]
上記予測モジュールはさらに、
上記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、該関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出たことを確定するために用いられる、項目98に記載の動画像処理装置。
[項目100]
上記構築モジュールはさらに、
他の候補を確定し、上記他候補を上記動きベクトル第1候補リストに入れるために用いられ、上記他の候補中の少なくとも1つの候補はサブ画像ブロックの動きベクトルをさらに含む、項目93に記載の動画像処理装置。
[項目101]
上記構築モジュールはさらに、
上記他の候補のうちの1つの候補を採用することを確定する場合、上記採用した候補に基づき上記現在画像ブロック中のサブ画像ブロックの動きベクトルを確定するために用いられる、項目100に記載の動画像処理装置。
[項目102]
上記少なくとも1つの候補は一組のコントロールポイントの動きベクトルを含む、項目100または101に記載の動画像処理装置。
[項目103]
上記予測モジュールはさらに、
上記少なくとも1つの候補中の候補を採用することを確定する場合、アフィン変換モデルに基づき上記採用した候補にアフィン変換を行うことと、
上記アフィン変換後の候補に基づき上記現在画像ブロック中のサブ画像ブロックを予測することとのために用いられる、項目100~102のいずれか一項に記載の動画像処理装置。
[項目104]
上記アフィン変換モデルは4パラメータアフィン変換モデルを含む場合、上記少なくとも1つの候補において、各候補は2つのコントロールポイントの動きベクトルを含み、
上記アフィン変換モデルは6パラメータアフィン変換モデルを含む場合、上記少なくとも1つの候補において、各候補は3つのコントロールポイントの動きベクトルを含む、項目103に記載の動画像処理装置。
[項目105]
上記構築モジュールはさらに、
上記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することと、
それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を1つの候補として上記動きベクトル第1候補リストに入れることとのために用いられる、項目93~104のいずれか一項に記載の動画像処理装置。
[項目106]
上記の上記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することは、
上記現在の画像ブロックの左側近傍ブロックにおいて第1走査順で第1近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
上記現在の画像ブロックの上側近傍ブロックにおいて第2走査順で第2近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
上記第1近傍ブロックのコントロールポイントの動きベクトル群と上記第2近傍ブロックのコントロールポイントの動きベクトル群を上記動きベクトルの第1候補リストに入れることと、を含む、項目105に記載の動画像処理装置。
[項目107]
上記構築モジュールはさらに、
上記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき上記一部のコントロールポイントの動きベクトルを構築することと、
上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第1候補リストに入れることのために用いられる、項目93~104のいずれか一項に記載の動画像処理装置。
[項目108]
上記の上記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき上記一部のコントロールポイントの動きベクトルを構築することは、
上記一部のコントロールポイントにおける各コントロールポイントに対し、第3走査順で上記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを上記コントロールポイントの動きベクトルとすることを含む項目107に記載の動画像処理装置。
[項目109]
上記構築モジュールはさらに、
上記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す時、上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第1候補リストに入れることを放棄するために用いられる、項目107または108に記載の動画像処理装置。
[項目110]
上記構築モジュールはさらに、
上記動きベクトル第1候補リスト中の候補の数量が予め設定された数値より大きい時、上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第1候補リストに入れることを放棄するために用いられる、項目107または108のいずれか一項に記載の動画像処理装置。
[項目111]
上記構築モジュールはさらに、
動きベクトル第2候補リストを構築し、ここでは、上記動きベクトル第2候補リストに入れる候補は1つの画像ブロックの動きベクトルであり、
上記動きベクトル第2候補リスト中の候補を採用することを確定した場合、上記候補の動きベクトルに基づき上記現在画像ブロックの動きベクトルを確定するために用いられる、項目93~105のいずれか一項に記載の動画像処理装置。
[項目112]
上記の上記候補の動きベクトルに基づき上記現在画像ブロックの動きベクトルを確定することは、
上記の採用することを確定した候補を上記現在画像ブロックの動きベクトルとし、または上記採用することを確定した候補をスケーリングした後に上記現在画像ブロックの動きベクトルとすることを含む、項目111に記載の動画像処理装置。
[項目113]
上記構築動きベクトル第2候補リストは、
上記現在画像ブロックの現在画像上での複数の近傍ブロックの動きベクトルに基づき上記動きベクトル第2候補リストに入れる候補を確定することを含む、項目111に記載の動画像処理装置。
[項目114]
上記現在画像ブロックの現在画像上での複数の近傍ブロックは上記予め設定されたM個の近傍ブロックを含む、項目113に記載の動画像処理装置。
[項目115]
上記構築モジュールはさらに、
予め設定された順で順に上記予め設定されたM個の近傍ブロックの動きベクトルをそれぞれM個の候補として、上記動きベクトル第2候補リストに入れるために用いられ、
上記N個の近傍ブロックとは、上記予め設定された順で最初に確定されたN個の近傍ブロックを指す、項目114に記載の動画像処理装置。
[項目116]
上記構築モジュールはさらに、
上記M個の近傍ブロック中の1つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、上記1つのまたは複数の近傍ブロックの動きベクトルに基づき上記動きベクトル第2候補リストに入れる候補を確定することを放棄するために用いられる、項目114に記載の動画像処理装置。
[項目117]
上記の上記M個の近傍ブロックのうちのN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
上記N個の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ上記走査した1つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む、項目91または116に記載の動画像処理装置。
[項目118]
上記の上記走査した上記1つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
上記1つ目の事前設定条件に符合する近傍ブロックを上記対象近傍ブロックとすることを含む、項目109に記載の動画像処理装置。
[項目119]
上記事前設定条件は、
近傍ブロックの参照画像と上記現在画像ブロックの参照画像が同じであることを含む、項目109または118に記載の動画像処理装置。
[項目120]
上記構築モジュールはさらに、
上記N個の近傍ブロック中に上記事前設定条件に符合する近傍ブロックが走査されていない時、上記M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行うために用いられ、
上記予測モジュールはさらに、上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測するために用いられる、項目117~119のいずれか一項に記載の動画像処理装置。
[項目121]
上記の上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することは、
上記スケーリング処理後の動きベクトルと上記現在画像ブロックの参照画像に基づき上記現在画像ブロックの参照ブロックを確定することを含む、項目120に記載の動画像処理。
[項目122]
上記特定近傍ブロックは上記N個の近傍ブロックのうち、走査順で得られた1つ目の近傍ブロックまたは最後の近傍ブロックである、項目120に記載の動画像処理装置。
[項目123]
上記の上記M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することは、
上記特定近傍ブロックの動きベクトルにスケーリング処理を行い、上記スケーリング処理後の動きベクトルが指す参照フレームが上記現在画像ブロックの参照画像と同じになるようにし、
上記スケーリング処理後の動きベクトルの上記現在画像ブロックの参照画像中で指す画像ブロックを上記現在画像ブロックの参照ブロックとすることを含む、項目120に記載の動画像処理装置。
[項目124]
上記N個の近傍ブロック中に上記事前設定条件に符合する近傍ブロックが走査されていない場合、デフォルトブロックを上記現在画像ブロックの参照ブロックとする、項目117~120のいずれか一項に記載の動画像処理装置。
[項目125]
上記デフォルトブロックは動きベクトル(0,0)が指す画像ブロックである、項目124に記載の動画像処理装置。
[項目126]
上記サブ画像ブロックのサイズおよび/または上記サブ画像ブロックの関連ブロックのサイズは64以上の画素に固定される、項目91~125のいずれか一項に記載の動画像処理装置。
[項目127]
上記サブ画像ブロックのサイズおよび/または上記サブ画像ブロックの関連ブロックのサイズは8×8画素、または16×4画素または4×16画素に固定される、項目126に記載の動画像処理装置。
[項目128]
上記現在画像ブロックは1つの符号化ユニットCUである、項目91~127のいずれか一項に記載の動画像処理装置。
[項目129]
上記の上記対象近傍ブロックの動きベクトル、上記現在画像ブロックおよび上記現在画像ブロックの参照画像に基づき、上記現在画像ブロックの関連ブロックを確定することは、
上記対象近傍ブロックの動きベクトル、上記現在画像ブロックの参照画像において、上記現在画像ブロックの関連ブロックを確定することを含む、項目91~128のいずれか一項に記載の動画像処理装置。
[項目130]
上記近傍ブロックは上記現在画像上で上記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである、項目91~129のいずれか一項に記載の動画像処理装置。
[項目131]
上記の上記関連ブロックの動きベクトルに基づき上記現在画像ブロックを予測することは、
上記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の上記関連ブロックの動きベクトルと上記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含み、
上記処理後の上記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、項目91~130のいずれか一項に記載の動画像処理装置。
[項目132]
上記処理後の上記関連ブロックの動きベクトルは、
数値が1の縮尺で上記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした上記関連ブロックの動きベクトルを含む、項目131に記載の動画像処理装置。
[項目133]
上記の上記関連ブロックの動きベクトルに基づき上記現在画像ブロックを予測することは、
上記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である時、上記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む、項目91~130のいずれか一項に記載の動画像処理装置。
[項目134]
上記構築モジュールはさらに、
上記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の上記関連ブロックの動きベクトルと上記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられ、
上記処理後の上記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、項目91~133のいずれか一項に記載の動画像処理装置。
[項目135]
上記処理後の上記関連ブロックの動きベクトルは、
数値が1の縮尺で上記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした上記関連ブロックの動きベクトルを含む、項目134に記載の動画像処理装置。
[項目136]
Mは4以下である、項目91~135のいずれか一項に記載の動画像処理装置。
[項目137]
動画像処理装置であって、
現在画像ブロックの動きベクトル第2候補リスト中のM個の候補に基づき、上記現在画像ブロックのM個の近傍ブロックを確定することと、上記M個の近傍ブロックのうちMより小さいN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することと、上記対象近傍ブロックの動きベクトル、上記現在画像ブロック、および上記現在画像ブロックの参照画像に基づき、上記現在画像ブロックの関連ブロックを確定することと、上記現在画像ブロックの関連ブロックに基づき上記現在画像ブロックの動きベクトル第1候補リスト中の特定候補を確定することと、上記特定候補を用いることを確定した場合、上記現在画像ブロックと上記関連ブロックを同じの方法で複数のサブ画像ブロックに分割し、上記現在画像ブロック中の各サブ画像ブロックは、上記関連ブロックの各サブ画像ブロックに1対1に対応させることとのために用いられる構築モジュールと、
上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づき、上記現在画像ブロック中の対応するサブ画像ブロックをそれぞれ予測するために用いられる予測モジュールとを含む、動画像処理装置。
[項目138]
上記動きベクトル第1候補リスト中の少なくとも1つの候補はサブ画像ブロックの動きベクトルを含み、上記動きベクトル第2候補リストののうちの各候補は画像ブロックの動きベクトルを含む、項目137に記載の動画像処理装置。
[項目139]
Nは1または2に等しい、項目137または138に記載の動画像処理装置。
[項目140]
上記M個の候補は上記現在画像ブロックの現在画像上でのM個の近傍ブロックの動きベクトルを含む、項目137~139のいずれか一項に記載の動画像処理装置。
[項目141]
上記の上記M個の近傍ブロックのうちのN個の近傍ブロックを順次走査し、走査結果に基づき対象近傍ブロックを確定することは、
上記N個の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ上記走査した1つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することを含む、140に記載の動画像処理装置。
[項目142]
上記の上記走査した上記1つ目の事前設定条件に符合する近傍ブロックに基づき対象近傍ブロックを確定することは、
上記1つ目の事前設定条件に符合する近傍ブロックを上記対象近傍ブロックとすることを含む、項目140に記載の動画像処理装置。
[項目143]
上記事前設定条件は、
近傍ブロックの参照画像と上記現在画像ブロックの参照画像が同じであることを含む、項目141または142のいずれか一項に記載の動画像処理装置。
[項目144]
上記構築モジュールはさらに、上記N個の近傍ブロック中に上記事前設定条件に符合する近傍ブロックが走査されていない場合、上記M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行うために用いられ、
上記予測モジュールはさらに、上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測するために用いられる、項目141~143のいずれか一項に記載の動画像処理装置。
[項目145]
上記の上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することは、
上記スケーリング処理後の動きベクトルと上記現在画像ブロックの参照画像に基づき上記現在画像ブロックの参照ブロックを確定することを含む、項目144に記載の動画像処理装置。
[項目146]
上記特定近傍ブロックは上記N個の近傍ブロックのうち、走査順で得られた1つ目の近傍ブロックまたは最後の近傍ブロックである、項目144に記載の動画像処理装置。
[項目147]
上記の上記M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、上記スケーリング処理後の動きベクトルに基づき上記現在画像ブロックを予測することは、
上記特定近傍ブロックの動きベクトルにスケーリング処理を行い、上記スケーリング処理後の動きベクトルが指す参照フレームが上記現在画像ブロックの参照画像と同じになるようにすることと、
上記スケーリング処理後の動きベクトルの上記現在画像ブロックの参照画像中で指す画像ブロックを上記現在画像ブロックの参照ブロックとすることとを含む、項目144に記載の動画像処理装置。
[項目148]
上記N個の近傍ブロック中に上記事前設定条件に符合する近傍ブロックが走査されていない場合、デフォルトブロックを上記現在画像ブロックの参照ブロックとする、項目141~143のいずれか一項に記載の動画像処理装置。
[項目149]
上記デフォルトブロックは動きベクトル(0,0)が指す画像ブロックである、項目148に記載の動画像処理装置。
[項目150]
上記サブ画像ブロックのサイズおよび/または上記サブ画像ブロックの関連ブロックのサイズは64以上の画素に固定される、項目137~149のいずれか一項に記載の動画像処理装置。
[項目151]
上記サブ画像ブロックのサイズおよび/または上記サブ画像ブロックの関連ブロックのサイズは8×8画素、または16×4画素または4×16画素に固定される、項目150に記載の動画像処理装置。
[項目152]
上記現在画像ブロックは1つの符号化ユニットCUである、項目137~151のいずれか一項に記載の動画像処理装置。
[項目153]
上記の上記対象近傍ブロックの動きベクトル、上記現在画像ブロックおよび上記現在画像ブロックの参照画像に基づき、上記現在画像ブロックの関連ブロックを確定することは、
上記対象近傍ブロックの動きベクトル、上記現在画像ブロックの参照画像において、上記現在画像ブロックの関連ブロックを確定することを含む、項目137~152のいずれか一項に記載の動画像処理装置。
[項目154]
上記近傍ブロックは上記現在画像上で上記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである、項目137~153のいずれか一項に記載の動画像処理装置。
[項目155]
上記の上記関連ブロックの動きベクトルに基づき上記現在画像ブロックを予測することは、
上記関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である時、処理後の上記関連ブロックの動きベクトルと上記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定することを含み、
上記処理後の上記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、項目137~154のいずれか一項に記載の動画像処理装置。
[項目156]
上記処理後の上記関連ブロックの動きベクトルは、
数値が1の縮尺で上記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした上記関連ブロックの動きベクトルを含む、項目155に記載の動画像処理装置。
[項目157]
上記の上記関連ブロックの動きベクトルに基づき上記現在画像ブロックを予測することは、
上記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である場合、上記関連ブロックの動きベクトルに基づき現在画像ブロックの参照ブロックを確定することを放棄することを含む、項目137~154のいずれか一項に記載の動画像処理装置。
[項目158]
上記構築モジュールはさらに、
上記近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の上記関連ブロックの動きベクトルと上記現在画像ブロックの参照画像に基づき現在画像ブロックの参照ブロックを確定するために用いられ、
上記処理後の上記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである、項目137~157のいずれか一項に記載の動画像処理装置。
[項目159]
上記処理後の上記関連ブロックの動きベクトルは、
数値が1の縮尺で上記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした上記関連ブロックの動きベクトルを含む、項目158に記載の動画像処理装置。
[項目160]
上記の上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ上記現在画像ブロック中における対応するサブ画像ブロックを予測することは、
上記関連ブロック中の各サブ画像ブロックの動きベクトルを、それぞれ上記現在画像ブロック中の対応するサブ画像ブロックの動きベクトルとすることを含む、項目137~159のいずれか一項に記載の動画像処理装置。
[項目161]
上記の上記現在画像ブロックの関連ブロックに基づき上記現在画像ブロックの動きベクトル第1候補リスト中の特定候補を確定することは、
上記現在画像ブロックの関連ブロックの代表動きベクトルを上記特定候補として上記動きベクトル第1候補リストに入れることを含む、項目137~159のいずれか一項に記載の動画像処理装置。
[項目162]
上記関連ブロックの代表動きベクトルを1つ目の候補として動きベクトル第1候補リストに入れる、項目161に記載の動画像処理装置。
[項目163]
上記関連ブロックの代表動きベクトルは上記関連ブロックの中央位置の動きベクトルを含む、項目161に記載の動画像処理装置。
[項目164]
上記予測モジュールはさらに、
上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックがで出ると、上記関連ブロックの代表動きベクトルを上記動きベクトルが取得不可なサブ画像ブロックの動きベクトルとし、上記現在画像ブロック中の対応するサブ画像ブロックを予測するするために用いられる、項目161に記載の動画像処理装置。
[項目165]
上記予測モジュールはさらに、
上記関連ブロック中に動きベクトルが取得不可なサブ画像ブロックが出ており、かつ上記関連ブロックの代表動きベクトルが取得不可である場合、上記関連ブロック中の各サブ画像ブロックの動きベクトルに基づきそれぞれ上記現在画像ブロック中の対応するサブ画像ブロックを予測することを放棄するために用いられる、項目164に記載の動画像処理装置。
[項目166]
上記予測モジュールはさらに、
上記関連ブロック中のサブ画像ブロックが取得不可であり、または関連ブロック中のサブ画像ブロックがフレーム内符号化モードを用いる場合、該関連ブロックに動きベクトルが取得不可なサブ画像ブロックが出たを確定するために用いられる、項目164に記載の動画像処理装置。
[項目167]
上記予測モジュールはさらに、
上記動きベクトル第2候補リスト中の上記特定候補以外のそのうちの1つの候補を採用することを確定した場合、アフィン変換モデルに基づき上記採用した候補にアフィン変換を行うことと、
上記アフィン変換後の候補に基づき上記現在画像ブロック中のサブ画像ブロックを予測することとのために用いられる、項目137~166のいずれか一項に記載の動画像処理装置。
[項目168]
上記動きベクトル第2候補リスト中の上記特定候補以外の少なくとも1つの候補において、各候補は一組のコントロールポイントの動きベクトルを含む、項目167に記載の動画像処理装置。
[項目169]
上記アフィン変換モデルは4パラメータアフィン変換モデルを含む場合、上記少なくとも1つの候補において、各候補は2つのコントロールポイントの動きベクトルを含み、
上記アフィン変換モデルは6パラメータアフィン変換モデルを含む場合、上記少なくとも1つの候補において、各候補は3つのコントロールポイントの動きベクトルを含む、項目168に記載の動画像処理装置。
[項目170]
上記構築モジュールはさらに、
上記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することと、
それぞれの確定された近傍ブロックのコントロールポイント動きベクトル群を1つの候補として上記動きベクトル第1候補リストに入れることとのために用いられる、項目137~169のいずれか一項に記載の動画像処理装置。
[項目171]
上記の上記現在画像ブロックの近傍ブロックから、特定走査順でアフィン変換モードを採用して予測を行う近傍ブロックのコントロールポイント動きベクトル群を確定することは、
上記現在の画像ブロックの左側近傍ブロックにおいて第1走査順で第1近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
上記現在の画像ブロックの上側近傍ブロックにおいて第2走査順で第2近傍ブロックのコントロールポイントの動きベクトル群を確定することと、
上記第1近傍ブロックのコントロールポイントの動きベクトル群と上記第2近傍ブロックのコントロールポイントの動きベクトル群を上記動きベクトルの第1候補リストに入れることと、を含む、項目170に記載の動画像処理装置。
[項目172]
上記構築モジュールはさらに、
上記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき上記一部のコントロールポイントの動きベクトルを構築することと、
上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第1候補リストに入れるために用いられる、項目137~171のいずれか一項に記載の動画像処理装置。
[項目173]
上記の上記現在画像ブロックの一部のコントロールポイントの近傍ブロックに基づき上記一部のコントロールポイントの動きベクトルを構築することは、
上記一部のコントロールポイントにおける各コントロールポイントに対し、第3走査順で上記コントロールポイントの特定近傍ブロックを順次走査し、事前設定条件を満たす特定近傍ブロックの動きベクトルを上記コントロールポイントの動きベクトルとすることを含む項目172に記載の動画像処理装置。
[項目174]
上記構築モジュールはさらに、
上記一部のコントロールポイントの動きベクトルがそれぞれ異なる参照フレームを指す時、上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第1候補リストに入れることを放棄するために用いられる、項目172または173に記載の動画像処理装置。
[項目175]
上記構築モジュールはさらに、
上記動きベクトル第1候補リスト中の候補の数量が予め設定された数値より大きい時、上記現在画像ブロックの一部のコントロールポイントの動きベクトルを上記動きベクトル第1候補リストに入れることを放棄するために用いられる、項目172または173に記載の動画像処理装置。
[項目176]
上記構築モジュールはさらに、
動きベクトル第2候補リストを構築し、ここでは、上記動きベクトル第2候補リストに入れる候補は1つの画像ブロックの動きベクトルであり、
上記動きベクトル第2候補リスト中の候補を採用することを確定した場合、上記候補の動きベクトルに基づき上記現在画像ブロックの動きベクトルを確定するために用いられる、項目139~151のいずれか一項に記載の動画像処理装置。
[項目177]
上記の上記候補の動きベクトルに基づき上記現在画像ブロックの動きベクトルを確定することは、
上記の採用することを確定した候補を上記現在画像ブロックの動きベクトルとし、または上記採用することを確定した候補をスケーリングした後に上記現在画像ブロックの動きベクトルとすることを含む、項目176に記載の動画像処理装置。
[項目178]
上記の動きベクトル第2候補リストを構築することは、
上記現在画像ブロックの現在画像上でのM個の近傍ブロックの動きベクトルに基づき上記動きベクトル第2候補リストに入れる上記M個の候補を確定することを含む、項目176に記載の動画像処理装置。
[項目179]
上記構築モジュールはさらに、予め設定された順で順に上記予め設定されたM個の近傍ブロックの動きベクトルをそれぞれM個の候補として、上記動きベクトル第2候補リストに入れるために用いられ、上記N個の近傍ブロックとは、上記予め設定された順で最初に確定されたN個の近傍ブロックを指すること、
および/または
上記構築モジュールはさらに、上記M個の近傍ブロック中の1つのまたは複数の近傍ブロックの動きベクトルが取得不可である場合、上記1つのまたは複数の近傍ブロックの動きベクトルに基づき上記動きベクトル第2候補リストに入れる候補を確定することを放棄するために用いられる、項目178に記載の動画像処理装置。
[項目180]
Mは4以下である、項目137~179のいずれか一項に記載の動画像処理装置。
[項目181]
動画像処理装置であって、メモリとプロセッサを含み、上記メモリは命令を記憶するために用いられ、上記プロセッサは上記メモリに記憶された命令を実行し、上記メモリに記憶された命令を実行することによって、上記プロセッサは項目1~46のいずれか一項に記載の方法を実行するために用いられる、動画像処理装置。
[項目182]
動画像処理装置であって、メモリとプロセッサを含み、上記メモリは命令を記憶するために用いられ、上記プロセッサは上記メモリに記憶された命令を実行し、上記メモリに記憶された命令を実行することによって、上記プロセッサは項目47~90のいずれか一項に記載の方法を実行するために用いられる、動画像処理装置。
[項目183]
コンピュータ記憶媒体であって、それにコンピュータプログラムが記憶され、上記コンピュータプログラムはコンピュータに実行されると、上記コンピュータに項目1~46のいずれか一項に記載の方法を実行させる、コンピュータ記憶媒体。
[項目184]
コンピュータ記憶媒体であって、それにコンピュータプログラムが記憶され、上記コンピュータプログラムはコンピュータに実行されると、上記コンピュータに項目47~90のいずれか一項に記載の方法を実行させる、コンピュータ記憶媒体。
[項目185]
命令を含むコンピュータプログラム製品であって、上記命令がコンピュータに実行されると、コンピュータに項目1~46のいずれか一項に記載の方法を実行させる、コンピュータプログラム製品。
[項目186]
命令を含むコンピュータプログラム製品であって、上記命令がコンピュータに実行されると、コンピュータに項目47~90のいずれか一項に記載の方法を実行させる、コンピュータプログラム製品。