知財求人 - 知財ポータルサイト「IP Force」
▶ フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェラインの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023126972
(43)【公開日】2023-09-12
(54)【発明の名称】タイル独立性制約を使用したインター予測概念
(51)【国際特許分類】
H04N 19/105 20140101AFI20230905BHJP
H04N 19/139 20140101ALI20230905BHJP
H04N 19/167 20140101ALI20230905BHJP
H04N 19/174 20140101ALI20230905BHJP
H04N 19/176 20140101ALI20230905BHJP
H04N 19/51 20140101ALI20230905BHJP
【ＦＩ】
H04N19/105
H04N19/139
H04N19/167
H04N19/174
H04N19/176
H04N19/51
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023112911
(22)【出願日】2023-07-10
(62)【分割の表示】P 2021529678の分割
【原出願日】2019-11-25
(31)【優先権主張番号】18208418.6
(32)【優先日】2018-11-26
(33)【優先権主張国・地域又は機関】EP
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕ－ｒａｙ
(71)【出願人】
【識別番号】500341779
【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】スク―ピン，ローベルト
(72)【発明者】
【氏名】サンチェス デ ラ フェンテ，ヤゴ
(72)【発明者】
【氏名】ヘルグ，コーネリウス
(72)【発明者】
【氏名】ウィエコウスキ，アダム
(72)【発明者】
【氏名】ゲオルゲ，ファレリ
(72)【発明者】
【氏名】ブロス，ベンヤミン
(72)【発明者】
【氏名】シエル，トーマス
(72)【発明者】
【氏名】ズーリング，カルステン
(72)【発明者】
【氏名】ヴィ―ガント，トーマス
(57)【要約】 （修正有）
【課題】タイル独立符号化をタイル分割に起因する符号化の依存関係の崩れによる符号化効率の低下を抑えつつ、境界に沿ってコーデックの動作をごくわずかに変更するだけで実現するブロックベースの映像復号器を提供する。
【解決手段】データストリーム１４から映像１１の再構成を復号する復号器は、少なくともある程度まで、符号器１０の状況を軽減し、そこから所定のインター予測ブロック１０４が、映像１１の画像１２内の境界１０２の位置に依存するようにデータストリーム１４から予測し、映像１１の参照画像１２ｂ内のパッチ１３０を配置し、映像１１の現在の画像１２ａの所定のインター予測ブロック１０４の動き情報を導出する。そのようにして導出された動き情報は、例えば、動きベクトル１３２として定義されるかまたは動きベクトル１３２を含む。
【選択図】図８
【解決手段】データストリーム１４から映像１１の再構成を復号する復号器は、少なくともある程度まで、符号器１０の状況を軽減し、そこから所定のインター予測ブロック１０４が、映像１１の画像１２内の境界１０２の位置に依存するようにデータストリーム１４から予測し、映像１１の参照画像１２ｂ内のパッチ１３０を配置し、映像１１の現在の画像１２ａの所定のインター予測ブロック１０４の動き情報を導出する。そのようにして導出された動き情報は、例えば、動きベクトル１３２として定義されるかまたは動きベクトル１３２を含む。
【選択図】図８
【特許請求の範囲】
【請求項1】
映像（１１）が空間的に分割されるタイル（１００）間の境界（１０２）の位置に依存して、前記映像（１１）が符号化されているデータストリーム（１４）から、所定のインター予測ブロック（１０４）がそこから予測されることになる、参照画像（１２ｂ）内のパッチ（１３０）を配置する、前記映像（１１）の現在の画像（１２ａ）の前記所定のインター予測ブロック（１０４）についての動き情報を導出し、
前記参照画像（１２ｂ）の前記パッチ（１３０）から前記動き情報を使用して前記所定のインター予測ブロック（１０４）を予測する、ように構成された動き補償予測をサポートするブロックベースの映像復号器。
前記参照画像（１２ｂ）の前記パッチ（１３０）から前記動き情報を使用して前記所定のインター予測ブロック（１０４）を予測する、ように構成された動き補償予測をサポートするブロックベースの映像復号器。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、例えば、ハイブリッド映像コーデックなどのブロックベースのコーデックで使用するためのインター符号化概念、特に、タイルベースの符号化、すなわち、映像が空間的に細分化されるタイルの独立符号化を可能にする概念に関する。
【背景技術】
【0002】
ＭＰＥＧ ＯＭＡＦ規格に基づく３６０°映像サービスなどの既存のアプリケーションは、空間的映像分割またはセグメント化の技術に大きく依拠している。そのようなアプリケーションでは、空間的映像セグメントがクライアントに送信され、現在のクライアントの視線方向に適応するように一緒に復号される。映像平面の空間的セグメント化に依拠する別の関連したアプリケーションが、例えば、最新のコンピューティングプラットフォームのマルチコア機能を促進するための、符号化および復号動作の並列化である。
【0003】
そのような空間的セグメント化技術の１つが、ＨＥＶＣで実施され、画像平面を、長方形のグリッドを形成するセグメントに分割するタイルとして知られている。結果として得られる空間的セグメントはエントロピー符号化およびイントラ予測に関して独立して符号化される。さらに、空間的セグメントが、最先端のインター予測に関しても独立して符号化されることを示す手段が存在する。上記のような一部のアプリケーションでは、３つすべての領域、すなわち、エントロピー符号化、イントラ予測およびインター予測において制約を有することが重要である。
【0004】
しかしながら、絶え間なく進化する映像符号化の技術は、その多くがインター予測の分野に関連する新しい符号化ツールをもたらす、すなわち、多くのツールが以前に符号化された画像または現在符号化されている画像内の異なるエリアに対する新しい依存性を包含するので、これらのエリアすべてにおける独立をどのように保証すべきかに適切な注意が払われなければならない。
【0005】
これまでは、上記の利用可能な符号化ツールを使用する符号化パラメータが、映像のタイルの独立符号化が順守されるように設定されることに注意するのは符号器である。復号器は、符号器によってビットストリームを介して復号器にシグナリングされたそれぞれの保証に「依拠」する。
【0006】
タイル独立符号化を実現にすることで、タイル分割に起因する符号化の依存関係の崩れによる符号化効率の低下を抑えつつ、境界に沿ってコーデックの動作をごくわずかに変更するだけで済むような概念があれば、価値があるはずである。
【発明の概要】
【発明が解決しようとする課題】
【0007】
よって、タイル独立符号化（tile-independent coding）を、ただし、通常はタイル依存性の混乱と関連付けられる符号化効率損失を低下させ、にもかかわらず、タイル境界に沿ったコーデックの動作を、ごくわずかに変更するだけで実現するような方法で映像符号化を可能にする概念があれば好ましい。
【課題を解決するための手段】
【0008】
この目的は、本出願の独立請求項の主題によって達成される。
【0009】
一般的に言えば、本出願の知見は、映像のタイル独立符号化を順守する義務が、部分的に、符号器間で継承される、または言い換えると、符号器が共同注意（Ｃｏ－Ａｔｔｅｎｔｉｏｎ）を利用し得るように復号器によってこれに部分的に共同注意（Ｃｏ－Ａｔｔｅｎｔｉｏｎ）が与えられれば、映像素材のタイル独立符号化を可能にするより効率的な方法が可能になることを見出したことである。より正確には、本出願の実施形態によれば、復号器は、タイル境界認識を備えている。すなわち、復号器は、映像が空間的に分割されるタイル間の境界の位置に依存するように動作する。特に、このタイル間境界認識は、復号器によるデータストリームからの動き情報の導出にも関連する。この「認識」により、復号器が、シグナリングされるように適用された場合、タイル独立性要件を損なうことにつながるデータストリームで伝達されたシグナリングされた動き情報を認識することになり、したがって、復号器が、タイル独立を損なうことになるそのようなシグナリングされた動き情報を、インター予測に使用されるときに、タイル独立性を損なうことにつながらない動き情報に対応する許容される動き情報状態にマップすることになる。符号器は、この動作に依拠し得、すなわち、復号器の認識、特に、復号器によるタイル独立制約の順守または強制から生じるシグナリング可能な動き情報状態の冗長性を認識する。特に、符号器は、それぞれ、復号器の動作が原因で、復号器側での同じ動き情報につながるシグナリング可能な動き情報状態の中から、より低いビットレートを必要とする状態、例えば、シグナリングされた動き情報予測残差がゼロであるものと関連付けられた状態を選択するために、復号器のタイル独立性制約の強制／順守を利用し得る。よって、符号器側では、特定のインター予測ブロックの動き情報は、その特定のインター予測ブロックがそこから予測されることになるパッチが、その特定のインター予測ブロックが含まれる、すなわち、その特定のインター予測ブロックがその内部に位置するタイルの境界内にあり、タイルの境界を越えないという制約に従うように決定されるが、その特定のインター予測ブロックの動き情報をデータストリームに符号化するときに、符号器は、そのデータストリームからの導出が、タイル境界に依存して行われることになる、すなわち、上記のタイル境界認識を必要とすることを利用する。
【0010】
本出願の実施形態によれば、動き情報は、特定のインター予測ブロックの動きベクトルを含み、復号器の処理のタイル境界認識は、動きベクトルに関連する。特に、本出願の実施形態によれば、復号器は、予測的に符号化された動きベクトルに関するタイル独立性制約を強制する。すなわち、これらの実施形態によれば、復号器は、動きベクトルの決定時に、一方での動きベクトル予測子／予測と、他方での、インター予測ブロックのためにデータストリームで伝送された残差に関する動き情報予測とに基づいて、インター予測ブロックがそこから予測されることになるパッチが、インター予測ブロックがその内部に位置するタイルの境界を越える結果となるように、動きベクトルに対する制約を順守するかまたはこれを強制する。すなわち、復号器は、上記の順守／強制を、最終的に使用される動きベクトルを生成するために、例えば、動き情報予測と動き情報予測残差のすべての組合せをそれらの合計にマップする代わりに、不可逆であるマッピングを使用することによって行い、このマッピングは、その合計が、現在のタイル境界、すなわち、現在のインター予測ブロックがその内部に位置するタイルの境界を越えるパッチと関連付けられた動きベクトルをもたらす動きベクトル予測と動きベクトル予測残差のすべての可能な組合せを、その関連付けられたパッチが現在のタイルの境界を越えない動きベクトルの方へリダイレクト（redirect）する。結果として、符号器は、特定の動きベクトルをシグナリングする際のあいまいさを所定のインター予測ブロックに利用し得、例えば、このインター予測ブロックに、最低のビットレートをもたらす動きベクトル予測残差のシグナリングを選択し得る。これは、例えば、ゼロの動きベクトルの差であってもよい。
【0011】
通常は符号器のみが責任を負うタイル独立性制約を強制するためにタイル境界認識を少なくとも部分的に採用できる機能を復号器に提供するという上記の考えの変形によれば、復号器は、タイル独立性制約の強制を、動き情報予測と動き情報予測残差の組合せの結果として得られる動き情報に対してではなく、特定のインター予測ブロックの１つまたは複数の動き情報予測子に対して適用する。符号器と復号器はどちらも、両方が（１つまたは複数の）同じ動き情報予測子を使用するように（１つまたは複数の）動き情報予測子に対してタイル独立性の強制を行う。信号化のあいまいさおよび復号器を利用したビットレートの最小化の可能性は、ここでは問題ではない。しかしながら、特定のインター予測ブロックのための（１つまたは複数の）動き情報予測子を予め、すなわち、動き情報予測符号化／復号のために（１つまたは複数の）動き情報予測子を使用する前に作成することにより、矛盾する動き情報予測子を現在のタイルの内側のパッチ位置にリダイレクトするように、矛盾するパッチ位置、すなわち、それを使用してインター予測ブロックのための動き情報を予測的に符号化するには、いずれにせよ、非ゼロの動き情報予測残差の信号化が必要になる現在のタイルの境界を越えるパッチ位置を指し示す１つまたは複数の動き情報予測子を無駄にする代わりに、特定のインター予測ブロックのための利用可能な（１つまたは複数の）動きベクトル予測子を、現在のタイル内のパッチ位置だけを指し示すように調整または「集中」させることが可能になる。ここでも、動き情報は動きベクトルであってもよい。
【0012】
後者の変形に関連するが、とは言ってもその変形とは異なり、本出願のさらなる実施形態は、その直接の、すなわち、ゼロ動き情報予測残差での適用が、タイル独立性制約を損なうことにつながる特定のインター予測ブロックのための動き情報予測候補を回避することを目的とする。すなわち、前述の変形以外に、そのような動き情報予測候補は、現在予測されているインター予測ブロックの動き情報予測候補リストへの読込みには単に使用されない。符号器と復号器とは同じく動作する。リダイレクトは行われない。これらの予測子は単に中止される。すなわち、動き情報予測候補リストの確立は、同じタイル間境界認識方法で行われることになる。このようにして、現在符号化されているインター予測ブロックのためにシグナリング可能なすべてのメンバが、矛盾しない動き情報予測候補に集中する。それによって、完全なリストが、データストリーム内の点によってシグナリング可能になり、例えば、指し示された動き情報予測候補がこの制約、または先行するランク位置の動き情報予測候補のどちらかと矛盾するときにタイル独立性制約に従うためにシグナリングされることが禁じられる動き情報予測候補のためにそのようなポインタのシグナリング可能な状態が「無駄になる」ことがなくなる。
【0013】
同様に、本出願のさらなる実施形態は、動き情報予測候補リストに、その原点が、現在のタイル、すなわち、現在のインター予測ブロックがその内部に位置するタイルの外側に位置するブロックにある候補を読み込むことを回避することを目的とする。したがって、これらの実施形態によれば、復号器および符号器は、インター予測ブロックが、現在のタイルの、下側および／または右側などの所定の側に隣接しているか否かをチェックし、そうである場合に、動き情報参照画像内の第１のブロックが識別され、リストに、この第１のブロックの動き情報から導出された動き情報予測候補が読み込まれ、そうでない場合に、動き情報参照画像内の第２のブロックが識別され、動き情報予測候補リストに、代わりに、第２のブロックの動き情報から導出された動き情報予測候補が読み込まれる。例えば、第１のブロックは、現在のインター予測ブロックの内側の第１の位置合わせ位置と同じ場所にある位置を継承するブロックであり得、一方、第２のブロックは、インター予測ブロックの外側にある、すなわち、所定の側に垂直な方向に沿ってインター予測ブロックに対してオフセットされた、第２の所定の位置と同じ場所にある位置を含むブロックである。
【0014】
本出願の上記の考えのさらなる変形によれば、動き情報予測候補リストの構成／確立は、その原点がタイル独立性制約と矛盾しやすい、すなわち、その原点が現在のタイルの外側にある動き情報予測候補を、動き情報予測候補リストの最後の方へシフトさせるような方法で行われる。この方法では、符号器側での動き情報予測候補リストへのポインタの信号化があまり制限されない。言い換えると、特定のインター予測ブロックのために送信される、現在のインター予測ブロックに実際に使用されるべき動き情報予測候補を信号化するポインタは、動き情報予測候補リスト内のランク位置によって実際に使用されるこの動き情報候補を指示する。その原点が現在のタイルの外側に位置するために利用できない可能性があるリスト内の動き情報予測候補を、動き情報予測候補リスト内の最後、または少なくとも後の方に、すなわち、上位ランクで発生するようにシフトさせることによって、リスト内でそれらに先行するすべての動き情報予測候補は、依然として符号器によってシグナリング可能であり、したがって、現在のブロックの動き情報を予測するために利用可能なそれらの動き情報予測候補の範囲は、そのような「問題のある」動き情報予測候補をリストの最後の方にシフトさせなかった場合と比較して依然として大きい。上記の態様に関連するいくつかの実施形態によれば、「問題のある」動き情報予測候補をリストの最後の方にシフトさせるような方法での動き情報予測候補リストの読込みは、符号器および復号器でタイル境界認識の方法で行われる。このようにして、この潜在的により影響を受ける可能性がより高い動き情報予測候補をリストの最後の方にシフトさせることと関連付けられるわずかな符号化効率のペナルティは、タイル境界に沿った映像の画像のエリアに制限される。しかしながら、代替案によれば、「問題のある」動き情報予測候補のリストの最後の方へのシフトは、現在のブロックがタイル境界に沿ってあるか否かに関係なく行われる。符号化効率をわずかに低下させるが、後者の代替案は、ロバスト性を向上させ、符号化／復号手順を容易にする可能性がある。「問題のある」動き情報予測候補は、参照画像内のブロックから導出された候補であるか、または動き情報履歴管理から導出された候補であってもよい。
【0015】
本出願のさらなる実施形態によれば、復号器および符号器は、その動き情報がリストにおいて時間的動き情報予測候補を形成するために使用される、動き情報参照画像内のブロックを指し示すためにさらに使用される予測された動きベクトルに関するタイル独立性制約を強制することによって、タイル境界認識の方法で時間的動き情報予測候補を決定する。予測された動きベクトルは、現在のタイル内にとどまるか、または現在のタイル内の位置を指し示すようにクリップされる。そのような候補の可用性は、したがって、リストのタイル独立性制約の順守が保持されるように現在のタイル内で保証されている。代替の概念によれば、動きベクトルをクリップする代わりに、第１の動きベクトルが現在のタイルの外側を指している場合に第２の動きベクトルが使用される。すなわち、第２の動きベクトルは、第１の動きベクトルがタイルの外側を指している場合に、その動き情報に基づいて時間的動き情報予測候補が形成されるブロックを配置するために使用される。
【0016】
さらに別の実施形態によれば、タイル独立性制約を強制するのを支援するために復号器にタイル境界認識を提供するという上記の考えにおいて、復号器は、特定のインター予測ブロックのためにデータストリームにおいて動き情報が符号化される際に従う動き補償予測をサポートし、復号器は、このインター予測ブロックが分割されるサブブロックのサブブロックごとの動きベクトルを導出し、タイル間の境界の位置に応じて、サブブロック動きベクトルの導出、または導出された動きベクトルを使用した各サブブロックの予測またはその両方を行う。このようにして、タイル独立性制約と矛盾することになるためにそのような効果的な符号化モードが符号器によって使用され得ない事例が、かなり低減される。
【0017】
本出願のさらなる態様によれば、動き補償双方向予測をサポートし、動き補償双方向予測を向上させるために符号器および復号器で双方向オプティカルフローツールを含むコーデックは、ツールの適用がタイル独立性制約との矛盾につながる場合に符号器および復号器に双方向オプティカルフローツールの自動的な非アクティブ化を提供することによって、または現在のタイルの外側にある、そこから特定の双方向予測的インター予測ブロックが予測されるように双方向オプティカルフローツールを使用して予測されるパッチの領域を決定するために境界パディングが使用されることによってタイル独立符号化に準拠する。
本出願の別の態様は、以前に使用された動き情報を格納する動き情報履歴リストを使用する動き情報予測子候補リストの読込みに関する。この態様は、タイルベースの符号化を使用するか否かに関係なく使用され得る。この態様は、動き情報予測子候補リストにこれまで読み込まれている動き情報予測子候補に依存して、候補リストに現在読み込まれているエントリがそれによって記入されることになる動き情報履歴リストの中からの動き情報予測子候補の選択を与えることによって、より高い圧縮効率の映像コーデックを提供しようとするものである。この依存性の目的は、その動き情報が、候補リストにこれまで読み込まれている動き情報予測子候補からさらに離れている可能性が高い履歴リスト内の動き情報エントリを選択することである。適切な距離尺度は、例えば、その履歴リスト内の動き情報エントリと候補リスト内の動き情報予測子候補とによってそれぞれ構成される動きベクトル、および／またはそれらによって構成される参照画像インデックスに基づいて定義され得る。この方法により、履歴ベースの候補を使用した候補リストの読込みは、符号器が優れた歪み最適化の観点から候補リスト内で適切な候補を見つける可能性が、履歴ベースの候補を単に、その動き情報履歴リスト内のランク、すなわち、その候補がどれほど新しく動き情報履歴リストに入力されたかだけに従って選択する場合と比較してより高くなるように、結果として得られる候補リストのより高度な「更新」につながる。この概念は、実際、動き情報予測子候補リストに読み込むために動き情報予測子候補セットの中から現在選択されることになっている任意の他の動き情報予測子候補にも適用され得る。
本出願の別の態様は、以前に使用された動き情報を格納する動き情報履歴リストを使用する動き情報予測子候補リストの読込みに関する。この態様は、タイルベースの符号化を使用するか否かに関係なく使用され得る。この態様は、動き情報予測子候補リストにこれまで読み込まれている動き情報予測子候補に依存して、候補リストに現在読み込まれているエントリがそれによって記入されることになる動き情報履歴リストの中からの動き情報予測子候補の選択を与えることによって、より高い圧縮効率の映像コーデックを提供しようとするものである。この依存性の目的は、その動き情報が、候補リストにこれまで読み込まれている動き情報予測子候補からさらに離れている可能性が高い履歴リスト内の動き情報エントリを選択することである。適切な距離尺度は、例えば、その履歴リスト内の動き情報エントリと候補リスト内の動き情報予測子候補とによってそれぞれ構成される動きベクトル、および／またはそれらによって構成される参照画像インデックスに基づいて定義され得る。この方法により、履歴ベースの候補を使用した候補リストの読込みは、符号器が優れた歪み最適化の観点から候補リスト内で適切な候補を見つける可能性が、履歴ベースの候補を単に、その動き情報履歴リスト内のランク、すなわち、その候補がどれほど新しく動き情報履歴リストに入力されたかだけに従って選択する場合と比較してより高くなるように、結果として得られる候補リストのより高度な「更新」につながる。この概念は、実際、動き情報予測子候補リストに読み込むために動き情報予測子候補セットの中から現在選択されることになっている任意の他の動き情報予測子候補にも適用され得る。
【0018】
本発明の有利な態様は、従属請求項の主題である。本出願の好ましい実施形態を、以下で図を参照して説明する。
【図面の簡単な説明】
【0019】
【図1】本出願の実施形態によるインター予測の概念が実施され得る符号器の例として、ブロックベースの映像符号器を示すブロック図である。
【図3】それぞれ、符号化モードの選択、変換の選択、および変換の性能のための細分化を設定する可能性を例示するように、予測残差信号と予測信号と再構成信号との間の関係の例を示す概略図である。
【図4】映像のタイルへの例示的な分割およびタイル独立符号化の一般的な目的を示す概略図である。
【図5】ＪＥＭ（ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｃｏｄｅｃ ｍｏｄｅ（ジョイント探索コーデックモード））アフィン運動モデルを示す概略図である。
【図6】ＡＴＭＶＰ（Ａｌｔｅｒｎａｔｉｖｅ Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ（代替的時間的動きベクトル予測））手順を示す概略図である。
【図7】ＢＩＯ（双方向オプティカルフロー）ツールで使用されるオプティカルフロー軌道を示す概略図である。
【図8】本出願のいくつかの実施形態による復号器による所定のインター予測ブロック、およびより効果的なタイル独立コーデックのための符号器によるその復号器の動作の利用に関するタイル認識またはタイル認識動き情報導出を示す概略図である。
【図9】本出願のいくつかの実施形態による、復号器の順守／強制機能、および関連付けられる動きデータのリダイレクトを実現するための不可逆的マッピングの使用を示す概略図である。
【図10】復号器の順守／強制機能を、シグナリングまたは最終的に再構成された動き情報状態または動き情報予測に対して適用する可能性を示すための予測動き情報符号化／復号を示す概略図である。
【図11】インター予測ブロックの個々のサンプルを計算するための数学的サンプル組合せによるパッチサイズ変動および／またはパッチサイズ拡大の可能性を示す概略図である。
【図12a】パッチを現在のタイル境界に可能な限り近づけることを目的とする、補間フィルタの動き精度依存のアクティブ化に起因する動き精度依存のパッチサイズに関連した動きリダイレクトまたは不可逆的マッピングを実現する様々な可能性を示す概略図である。
【図12b】動きベクトルの安全マージンを実現する、補間フィルタの動き精度依存のアクティブ化に起因する動き精度依存のパッチサイズに関連した動きリダイレクトまたは不可逆的マッピングを実現する様々な可能性を示す概略図である。
【図13】動き情報予測子候補リストの任意選択の構成をさらに示す、復号器の順守／強制機能を動き情報予測の導出に適用する可能性を示す概略図である。
【図14】復号器の順守／強制機能に関与する不可逆的動きベクトルマッピング、および追加的に、動き情報予測子候補リストを任意で構築するときに結果として得られる例示的な動き情報予測子候補セットを示す概略図である。
【図15】特定の動き情報予測子候補がタイル独立制約と矛盾するか否かに依存して動き情報予測子候補リストに読み込む際の候補の可用性を与える可能性を示す概略図である。
【図16】インター予測ブロックが特定のタイルの辺に隣接しているか否かに依存して時間的動き情報予測子候補の導出に関する参照ブロック識別を変化させる可能性を示す概略図である。
【図17】ここでは、時間的動き情報予測子候補と１つまたは複数の空間的動き情報予測子候補との並置に関して、インター予測ブロックが特定のタイルの辺に隣接しているか否かに依存して動き情報予測子候補リストに読み込む際の読込み順序を与える可能性を示す概略図である。
【図18】復号器の順守／強制機能を、時間的動き情報予測子候補の導出に使用される予測された動きベクトルに対して適用する可能性を示す概略図である。
【図20】タイル独立制約の達成を支援する復号器の様々な概念を示すためのアフィン運動モデルによる現在のインター予測ブロックのサブブロックのための動き情報導出を示す概略図である。
【図21】結果として得られる候補リストを改善するための、これまで動き情報候補リストに読み込まれている候補の動き情報に依存したリストに読み込むための履歴ベースの動き情報候補の選択を示す概略図である。
【図22】タイル独立制約の達成を支援する復号器のための様々な概念を示すための、一実施形態による、符号器および復号器に組み込まれたＢＩＯ（双方向オプティカルフロー）ツールの機能を示す概略図である。
【発明を実施するための形態】
【0020】
以下の図の説明では初めに、インター予測コーデックの実施形態が組み込まれ得る符号化フレームワークの例を形成するために、映像の画像を符号化するためのブロックベースの予測コーデックの符号器および復号器の説明を提示する。前述の符号器および復号器を、図１から図３に関連して説明する。その後、本出願のインター予測概念の実施形態の説明を提示する。それらの概念は組み合わされ、または組合せとして使用され得る。特に、後述されるすべての概念は、それぞれ、図１および図２の符号器および復号器に組み合わせて組み込まれてもよく、後続の図４以下で説明される実施形態もまた、図１および図２の符号器および復号器の基礎を成す符号化フレームワークに従って動作しない符号器および復号器を形成するために使用されてもよい。
【0021】
図１に、例示的に、変換ベースの残差符号化を使用して画像シーケンス１２からなる映像１１をデータストリーム１４に予測的に符号化するための装置を示す。この装置、すなわち符号器は、参照符号１０を使用して指示されている。図２に、やはり変換ベースの残差復号を使用して、データストリーム１４から、画像シーケンス１２’からなる映像１１’を予測的に復号するように構成された対応する復号器２０、すなわち装置２０を示し、アポストロフィは、復号器２０によって再構成される映像１１’と画像１２’とが、予測残差信号の量子化によって導入される符号化損失に関して装置１０によって当初符号化された画像１２から逸脱することを指示するために使用されている。図１および図２は、変換ベースの予測残差符号化を例示的に使用しているが、本出願の実施形態はこの種の予測残差符号化に限定されない。このことは、以下で説明されるように、図１および図２に関して説明される他の詳細にも当てはまる。
【0022】
符号器１０は、予測残差信号に空間・スペクトル変換を施し、そのようにして取得された予測残差信号をデータストリーム１４に符号化するように構成される。同様に、復号器２０も、データストリーム１４から予測残差信号を復号し、そのようにして取得された予測残差信号にスペクトル・空間変換を施すように構成される。
【0023】
内部に、符号器１０は、元の信号、すなわち現在の画像１２からの予測信号２６の逸脱を測定するように予測残差２４を生成する予測残差信号形成器２２を含み得る。予測残差信号形成器２２は、例えば、元の信号、すなわち現在の画像１２から予測信号を減算する減算器であってもよい。符号器１０はその場合に、予測残差信号２４に空間・スペクトル変換を施して、次いで、やはり符号器１０に含まれる量子化器３２によって量子化を施される、スペクトル領域の予測残差信号２４’を取得する変換器２８をさらに含む。そのようにして量子化された予測残差信号２４’’はビットストリーム１４に符号化される。このために、符号器１０は、任意選択で、変換され、量子化された予測残差信号をデータストリーム１４にエントロピー符号化するエントロピー符号器３４を含み得る。予測残差２４は、データストリーム１４に復号され、データストリーム１４から復号可能な予測残差信号２４’’に基づいて、符号器１０の予測段３６によって生成される。このために、予測段３６は内部に、図１に示されるように、量子化損失を除く信号２４’に対応するスペクトル領域の予測残差信号２４’’’を得るように予測残差信号２４’’を逆量子化する逆量子化器３８を含み得、その後に、後者の予測残差信号２４’’’に逆変換、すなわちスペクトル・空間変換を施して、量子化損失を除く元の予測残差信号２４に対応する予測残差信号２４’’’’を取得する逆変換器４０が続く。次いで、予測段３６の結合器４２が、再構成信号４６、すなわち、元の信号１２の再構成を取得するように、加算などによって、予測信号２６と予測残差信号２４’’’’とを再結合する。再構成信号４６は信号１２’に対応し得る。次いで、予測段３６の予測モジュール４４が、例えば、空間的予測、すなわちイントラ予測、および／または時間的予測、すなわちインター予測を使用して信号４６に基づいて予測信号２６を生成する。
【0024】
同様に、復号器２０も、内部に、予測段３６に対応する、予測段３６に対応するように相互接続された構成要素で構成され得る。特に、復号器２０のエントロピー復号器５０は、データストリームから量子化されたスペクトル領域の予測残差信号２４’’をエントロピー復号し得、そうすると、相互接続された、予測段３６のモジュールに関して上述されたような方法で協働する、逆量子化器５２、逆変換器５４、結合器５６、および予測モジュール５８が、図２に示されるように、結合器５６の出力が再構成信号、すなわち画像１２’になるように、予測残差信号２４’’に基づいて再構成信号を回復する。
【0025】
具体的には上述されていないが、符号器１０は、例えば、何らかのレートおよび歪みに関連した基準、すなわち、符号化コストを最適化するようになどの、何らかの最適化方式に従って、例えば、予測モード、動きパラメータなどを含むいくつかの符号化パラメータを設定し得ることが容易に明らかである。例えば、符号器１０および復号器２０ならびに対応するモジュール４４、５８は、それぞれ、イントラ符号化モードやインター符号化モードなどの異なる予測モードをサポートし得る。符号器および復号器がこれらの予測モードタイプを切り替える粒度は、それぞれ、画像１２および画像１２’の符号化セグメントまたは符号化ブロックへの細分化に対応し得る。これらの符号化セグメントの単位において、例えば、画像は、イントラ符号化されるブロックおよびインター符号化されるブロックに細分化され得る。イントラ符号化ブロックは、それぞれのブロックの空間的な、すでに符号化／復号された近傍に基づいて予測される。それぞれのセグメントが、これに従って、近傍のサンプル値を、それぞれの方向性イントラ符号化モードに固有の特定の方向に沿ってそれぞれのイントラ符号化セグメントに外挿することによって埋められる、方向性イントラ符号化モードまたは角度イントラ符号化モードを含む、いくつかのイントラ符号化モードが存在し得、それぞれのイントラ符号化セグメントのために選択され得る。イントラ符号化モードは、例えば、それぞれのイントラ符号化ブロックの予測がそれぞれのイントラ符号化セグメント内のすべてのサンプルにＤＣ値を割り当てるために従うＤＣ符号化モード、および／またはそれぞれのブロックの予測が、近傍のサンプルに基づく二次元線形関数によって定義された平面の傾きおよびオフセットを導出することにより、それぞれのイントラ符号化ブロックのサンプル位置にわたる二次元線形関数によって記述されたサンプル値の空間分布になるように近似または決定されるために従う平面イントラ符号化モードなどの１つまたは複数のさらなるモードも含み得る。これと比較して、インター符号化ブロックは、例えば、時間的に予測され得る。インター符号化ブロックでは、動き情報がデータストリーム内でシグナリングされ得る。動き情報は、それぞれのインター符号化ブロックの予測信号を取得するために以前に符号化／復号された画像がサンプリングされる、画像１２が属する映像の以前に符号化された画像の部分の空間変位を指示するベクトルを含み得る。より複雑な動きモデルも使用され得る。これが意味するのは、量子化されたスペクトル領域の予測残差信号２４’’を表すエントロピー符号化された変換係数レベルなどの、データストリーム１４に含まれる残差信号符号化に加えて、データストリーム１４は、様々なブロックに符号化モードを割り当てるための符号化モードパラメータ、インター符号化ブロックの動きパラメータなどのブロックのうちのいくつかの予測パラメータ、および画像１２および画像１２’それぞれのブロックへの細分化を制御およびシグナリングするパラメータなどの任意選択のさらなるパラメータをその中に符号化している可能性があることである。復号器２０は、ブロックに同じ予測モードを割り当て、同じ予測を行って同じ予測信号を得るために、これらのパラメータを使用して、符号器１０が行ったのと同じ方法で画像を細分化する。
【0026】
図３に、一方の再構成信号、すなわち再構成画像１２’と、他方の、データストリームにおいてシグナリングされる予測残差信号２４’’’’と予測信号２６との組合せとの間の関係を示す。すでに上述したように、この組合せは加算であってもよい。予測信号２６は図３において、網掛けを使用して例示されているイントラ符号化ブロックと、網掛けなしで例示されているインター符号化ブロックとへの画像エリアの細分化として示されている。細分化は、画像エリアのブロックの行および列またはブロックへの規則的な細分化や、四分木細分化などといった画像１２の様々なサイズのリーフブロックへのマルチツリー細分化などの任意の細分化であり得、図３にはそれらの混合が示されており、画像エリアはまず、ツリールートブロックの行および列に細分化され、次いでそれらが、再帰的なマルチツリー細分化に従ってさらに細分化される。この場合もやはり、データストリーム１４は、いくつかのサポートされるイントラ符号化モードのうちの１つをそれぞれのイントラ符号化ブロック８０に割り当てる、イントラ符号化ブロック８０のためのイントラ符号化モードをその中に符号化している可能性がある。インター符号化ブロック８２について、データストリーム１４は、１つまたは複数の動きベクトルを含む動き情報などの動き情報をその中に符号化している可能性がある。詳細を以下に記載する。一般的に言えば、インター符号化ブロック８２は、時間的に符号化されるだけに限定されない。あるいは、インター符号化ブロック８２は、画像１２が属する映像の以前に符号化された画像や、符号器および復号器がそれぞれスケーラブルな符号器および復号器である場合には別の視野または階層的に下位のレイヤの画像など、現在の画像１２自体を越えて以前に符号化された部分から予測された任意のブロックであってもよい。図３の予測残差信号２４’’’’は、画像エリアのブロック８４への細分化としても示されている。これらのブロックは、これらのブロックを符号化ブロック８０および８２と区別するために、変換ブロックとも呼ばれ得る。実質的に、図３は、符号器１０および復号器２０が、ブロックへの、画像１２および画像１２’それぞれの２つの異なる細分化、すなわち、符号化ブロック８０および８２それぞれへの１つの細分化と、ブロック８４へのもう１つの細分化とを使用し得ることを示している。両方の細分化が同じであってもよく、すなわち、各符号化ブロック８０および８２が同時に変換ブロック８４を形成してもよいが、図３は、例えば、ブロック８０および８２の２つのブロック間の任意の境界が２つのブロック８４間の境界に重なる、言い換えると、各ブロック８０／８２が変換ブロック８４のうちの１つと一致するか、または変換ブロック８４のクラスタと一致するように、変換ブロック８４への細分化が符号化ブロック８０／８２への細分化の拡張を形成する事例を示している。しかしながら、細分化は、変換ブロック８４が代替としてブロック８０／８２間のブロック境界を横切ることもできるように互いに独立して決定または選択されてもよい。変換ブロック８４への細分化に関する限り、ブロック８０／８２への細分化に関して提示されるのと同様の記述がそのように当てはまり、すなわち、ブロック８４は、ブロック／画像エリアの行と列とに配置されたブロックへの規則的な細分化の結果、画像エリアの再帰的なマルチツリー細分化の結果、またはそれらの組合せもしくは任意の他の種類のブロック化であってもよい。ちなみに、ブロック８０、８２および８４は、二次形状、長方形または任意の他の形状のものであることに限定されないことに留意されたい。
【0027】
後述する実施形態では、それぞれの実施形態の具体的詳細を説明するためにインター予測ブロック１０４が代表的に使用されている。このブロック１０４は、インター予測ブロック８２のうちの１つであってもよい。後続の図で言及されるその他のブロックはブロック８０および８２のうちのいずれかであってもよい。
【0028】
図３は、予測信号２６と予測残差信号２４’’’’との組合せにより再構成信号１２’が直接得られることを示している。しかしながら、代替の実施形態によれば、画像１２’を結果として得るために複数の予測信号２６が予測残差信号２４’’’’と組み合わされ得ることに留意されたい。
【0029】
図３では、変換セグメント８４は、以下の有意性を有するものとする。変換器２８および逆変換器５４は、その変換をこれらの変換セグメント８４の単位で行う。例えば、多くのコーデックが、すべての変換ブロック８４にある種のＤＳＴまたはＤＣＴを使用する。一部のコーデックは、変換セグメント８４の一部について、予測残差信号が空間領域で直接符号化されるように、変換をスキップすることを可能にする。しかしながら、後述する実施形態によれば、符号器１０および復号器２０は、それらが複数の変換をサポートするように構成される。例えば、符号器１０および復号器２０によってサポートされる変換は以下を含むことができる。
ＤＣＴ－ＩＩ（またはＤＣＴ－ＩＩＩ）、ＤＣＴは離散コサイン変換を表す
ＤＳＴ－ＩＶ、ＤＳＴは離散サイン変換を表す
ＤＣＴ－ＩＶ
ＤＳＴ－ＶＩＩ
恒等変換（ＩＴ）
ＤＣＴ－ＩＩ（またはＤＣＴ－ＩＩＩ）、ＤＣＴは離散コサイン変換を表す
ＤＳＴ－ＩＶ、ＤＳＴは離散サイン変換を表す
ＤＣＴ－ＩＶ
ＤＳＴ－ＶＩＩ
恒等変換（ＩＴ）
【0030】
当然ながら、変換器２８はこれらの変換のすべての順方向変換バージョンをサポートすることになり、復号器２０または逆変換器５４は、それらの対応する逆方向バージョンまたは逆バージョンをサポートすることになる。
逆ＤＣＴ－ＩＩ（または逆ＤＣＴ－ＩＩＩ）
逆ＤＳＴ－ＩＶ
逆ＤＣＴ－ＩＶ
逆ＤＳＴ－ＶＩＩ
恒等変換（ＩＴ）
逆ＤＣＴ－ＩＩ（または逆ＤＣＴ－ＩＩＩ）
逆ＤＳＴ－ＩＶ
逆ＤＣＴ－ＩＶ
逆ＤＳＴ－ＶＩＩ
恒等変換（ＩＴ）
【0031】
以降の説明では、符号器１０および復号器２０でインター予測をどのようにして実施することができるかに関する詳細を示す。上記のイントラ予測モードなど、上述したすべての他のモードを、個別に、または全部、追加的にサポートすることもできる。残差符号化を、空間領域など、異なる方法で行うこともできる。
【0032】
すでに上述したように、図１～図３は、以下で詳述される概念のうちの１つまたは複数を使用してブロックベースの映像符号化を行う符号器の例として提示されている。以下に記載される詳細は、図１の符号器に、または、別のブロックベースの映像符号器に、その別のブロックベースの映像符号器が、例えば、イントラ予測をサポートしないという点において、またはブロック８０および／または８２への細分化が図３に例示されているのと異なる方法で行われるという点において、またはこの符号器が変換予測残差符号化を使用せず、例えば、代わりに直接空間領域で予測残差を符号化するという点においてさえも図１の符号器と異なるように移され得る。同様に、本出願の実施形態による復号器も、以下でさらに概説される任意のインター予測符号化概念を使用してデータストリーム１４からブロックベースの映像復号を行い得るが、例えば、図２の復号器２０とは、イントラ予測をサポートしないという点において、または画像１２’をブロックに、図３に関して説明されたのと異なる方法で細分化するという点において、および／またはデータストリーム１４からの予測残差を変換領域で導出せず、例えば、空間領域で導出するという点において異なり得る。
【0033】
しかしながら、実施形態を説明する前に、タイルに分割された形態の映像を符号化する能力およびタイルを互いから独立して符号化／復号する方法を説明する。さらに、これまで論じなかった、後述する実施形態に従って選択的に使用され得、それにもかかわらず相互のタイル符号化の独立性を維持するさらなる符号化ツールの詳細な説明を記載する。
【0034】
よって、ブロックベースの映像符号器および映像復号器の潜在的な実施態様を説明した後、図４を使用して、タイル独立符号化の概念を示す。タイルベースの独立符号化は、符号器のための複数の符号化設定の１つを表し得るにすぎない。すなわち、符号器は、タイル独立符号化を順守するように設定され得るか、またはタイル独立符号化を順序しないように設定され得る。当然ながら、映像符号器はタイル独立符号化を不可避的に適用することも可能である。
【0035】
タイル独立符号化に従って、映像１１の画像はタイル１００に分割される。図４では、例示的に、映像１１の３つの画像１２ａ、１２ｂおよび１２ｃのみが示されており、これらが、例示的に、それぞれ、６つのタイル１００に分割されるように図示されているが、２つ以上のタイルなど、任意の他の数のタイルへの分割も可能である。さらに、図４は、タイル１００へのタイル分割が、１つの画像内のタイル１００が、各タイル１００がそれぞれの画像の長方形部分であり、タイル１００間の境界が画像１２ａ～１２ｃを通る直線１０２を形成している行と列とに規則的に配置されるような方法でなされることを示しているが、タイルが別の形状を有する代替の解決策も存在することに留意されたい。それぞれの画像をそれぞれ符号化および復号するための、図３に関して説明されたような各画像１２のブロックへの分割がタイル境界１０２に位置合わせされること、ならびに符号化ブロック、予測ブロックおよび／または変換ブロックのいずれもタイル境界１０２を横切らず、むしろ、それぞれの画像のタイル１００のうちの１つに排他的にあること、が可能である。例えば、タイル分割は、画像１２のツリールートブロックへの、すなわち、ブロック１０４が属するものとしても代表的に示されおり、その個々の細分化がデータストリームで復号器にシグナリングされる符号器により再帰的なマルチツリー分割によってブロック８０／８２に個々に細分されるブロックへの分割と位置合わせされるようになされ得る。
【0036】
タイル独立符号化とは、図４のブロック１０４について例示的に示されているように、タイルのそれぞれの部分の符号化が、内部にブロック１０４が位置していない他のタイルから独立した方法でなされることを意味する。この符号化の独立性は、同じ画像の他のタイル、すなわち、ブロック１０４がその一部である同じ画像内の他のタイルだけに関係するものではなく、その画像内の独立性が例示的な矢印１０６を使用して図４に示されおり、この矢印１０６は、ブロック１０４の符号化が同じ画像内の任意の他のタイルに依存しないことを示すために中断されているものとして示されている。符号化の独立性はまた、他の画像に関する符号化依存性にも関し、映像１１のすべての画像１２ａ～１２ｃが同じ方法でタイル１００に分割されている。よって、特定の画像１２ａの各々タイル１００は、すべての他の画像に対応する同じ場所にあるタイルを有する。「タイル」とは、したがって、ブロック１０４を含む図４の画像１２ａのセグメントなどの特定の画像の空間的セグメントのみならず、特定の画像内のこのタイルと同じ場所にある映像のすべての画像のすべての同じ場所にあるタイルからなる映像１１の時空間的セグメントも記述するものである。図４では、この時空間的セグメントが、ブロック１０４を含むタイルに対して破線で示されている。ブロック１０４を符号化するとき、符号器は、したがって、時空間的セグメント１０８の外側のタイルに対する符号化依存性を生じさせないような方法で、ブロック１０４を含む画像１２ａ以外の画像に対する符号化依存性も制限することになる。図４では、これは、ブロック１０４を含むタイルから参照画像１２ｂ内の別のタイルを指し示す中断された矢印１１０で示されている。
【0037】
以下でさらに概説される概念および実施形態は、さもないと、例えば、参照画像の同じ場所にあるタイルを離れるように遠くを指し示す動きベクトルによって引き起こされる、および／またはさもないと、ブロック１０４が属するタイルの境界を越える領域からの参照画像から動き情報予測を導出することによって引き起こされる、異なる画像の異なるタイル間の符号化依存性をどのように回避するかを、符号器および復号器の間でどのように保証するかについての可能性を提示する。
【0038】
しかしながら、本出願の実施形態を説明する前に、本出願の一実施形態によるブロックベースの映像符号器およびブロックベースの映像復号器において実装され得る、異なる画像の異なるタイル間のタイル相互依存性を引き起こしやすく、よって、中断された矢印１１０を使用して図４に示されている制約との矛盾を生じやすい例として、特定の符号化ツールを説明する。
【0039】
典型的な最先端の映像符号化は、符号化効率を高めるためにフレーム間のインター予測を多用する。インター予測制約の符号化では、インター予測プロセスは通常、空間的セグメント境界を順守するように適応される必要があり、これは、（利用可能な動き情報予測子またはＭＶ予測子に関する）ビットレートごとの有意な動き情報予測残差またはＭＶ差の符号化によって達成される。
【0040】
典型的な最先端の映像符号化は、ＭＶ予測子の混合された変形をやはり含む、符号化プロセスの異なる段階におけるいわゆる候補リスト、例えば、マージ候補リストにおいて動きベクトル予測子を収集するという概念に大きく依拠する。
【0041】
そのようなリストに追加される典型的な候補は、時間的動きベクトル予測（ＴＭＶＰ）からの同じ場所にあるブロックのＭＶであり、現在の符号化ブロックの同じ空間的位置に隣接するが、大部分の現在のブロックの参照フレーム内にある右下のブロックである。唯一の例外は、画像内に右下のブロックがないためにいわゆる中央の同じ場所にある候補を導出するために実際の同じ場所にあるブロックが使用される、画像境界にあるブロックおよび（少なくともＨＥＶＣにおいての）ＣＴＵ行の下部境界にあるブロックである。
【0042】
そのような候補の使用が問題になり得る使用事例がある。例えば、タイルが使用され、タイルの部分的復号が行われる場合、それらの可用性が変化し得る。これが起こるのは、符号器で使用されるＴＭＶＰが、現在復号されていない別のタイルに属する可能性があるからである。このプロセスは、同じ場所にある候補のインデックスの後のすべての候補にも影響を及ぼす。したがって、そのようなビットストリームの復号は、符号器／復号器の不一致につながり得る。
【0043】
ＡＶＣやＨＥＶＣなどの映像符号化規格は、整数画素よりも精度が高い高精度の動きベクトルに依拠する。これは、動きベクトルが、整数サンプル位置ではなくサブサンプル位置にある前の画像のサンプルを参照できることを意味する。したがって、映像符号化規格は、補間フィルタによってサブサンプルのサンプリング位置の値を導出する補間プロセスを定義している。ＨＥＶＣの場合には、例えば、ルマ成分に８タップの補間フィルタ（クロマには４タップ）が使用されている。
【0044】
多くの映像符号化仕様で用いられているサブ画素補間プロセスの結果として、同じ方向の整数サンプル位置を指し示する動きベクトルＭＶ１の長さよりも短い長さ（水平または垂直成分）で、非整数サンプル位置を指し示す動きベクトルＭＶ２を使用する場合、ＭＶ１動きベクトルの使用には近傍のタイルのサンプルは不要であるが、サブサンプル補間プロセスのために、（例えば、近傍のタイルの）原点からさらに遠くまで到達するサンプルが必要とされるということが起こり得る。
【0045】
従来、映像符号化は並進のみの動きモデルを用い、すなわち、長方形ブロックが、二次元動きベクトルに従って変位されて、現在のブロックの動き補償予測子が形成される。そのようなモデルは、多くの映像シーケンスによくある回転またはズーム運動を表現することができず、したがって、例えばＪＥＭでアフィン運動と呼ばれるような、従来の並進運動モデルをわずかに拡張する取組みがなされている。図５に示されるように、このアフィン運動モデルでは、ブロック１０４ごとに２つ（または３つ）のいわゆる制御点動きベクトル（ｖ０、ｖ１）が、回転およびズーム運動をモデル化するために使用される。制御点動きベクトルｖ０、ｖ１は、隣接するブロックのＭＶ候補の中から選択される。結果として得られる動き補償予測子は、サブブロックベースの動きベクトル場を計算することによって導出され、長方形サブブロック１１２の従来の並進運動補償に依存する。図５は、そこからそれぞれのサブブロック動きベクトルに従って右上のサブブロック（実線）が予測される結果として得られる予測子またはパッチ１１４（破線）を例示的に示している。
【0046】
動きベクトル予測は、時間的または空間的・時間的相関ブロックから動き情報を導出する技術である。図６に示されるようなＡｌｔｅｒｎａｔｉｖｅ ＴＭＶＰ（ＡＴＭＶＰ）と呼ばれる１つのそのような手順では、時間的ベクトル１１６と呼ばれる現在の画像１２ａ内のブロック１０４のリストからのデフォルトのＭＶ候補（例えば、マージ候補リスト内の第１のマージ候補）が、参照フレーム１２ｂにおける相関ブロック１１８を決定するために使用される。
【0047】
言い換えると、ＣＴＵ内の現在の予測ブロック１０４について、参照画像１２ｂにおいて同じ場所にある予測ブロック１１８が決定される。同じ場所にあるブロック１１８を配置するために、動きベクトルＭＶＴｅｍｐ１１６が、現在の画像１２ａ内の空間的候補の中から選択される。同じ場所にあるブロックは、現在の予測ブロックの位置１２ａに動きベクトルＭＶＴｅｍｐ１１６を加算することによって決定される。
【0048】
現在のブロック１０４のサブブロック１２２ごとに、次いで、相関ブロック１１８のそれぞれのサブブロック１２４の動き情報が、現在のサブブロック１２２のインター予測に使用され、現在のサブブロック１２２のインター予測はまた、関与するフレーム間の時間差のＭＶスケーリングなどの追加手順も組み込む。
【0049】
双方向オプティカルフロー（ＢＩＯ）は、双方向予測のブロックごとの動き補償に加えて行われるサンプルごとの動き精緻化を使用する。図７にその手順を示す。精緻化は、それぞれの画像パッチの水平勾配および垂直勾配に基づくものであるオプティカルフローの定理に基づいて２つの参照フレーム１２ｂ、１２ｃ（Ｒｅｆ０、Ｒｅｆ１）内の画像パッチ（Ａ、Ｂ）間の差を最小化することに基づくものである。ＡおよびＢにおける画像パッチの各々の水平方向および垂直方向の勾配画像、すなわち、画像内のルマ強度の方向変化の尺度が、予測ブロックのサンプルごとの増強オフセットを導出するために計算される。
【0050】
最後に使用されたＭＶの重複のないＦｉＦｏバッファが、ＭＶ候補リストをゼロ動きベクトルよりも有望な候補で満たすために維持される、履歴ベースの動きベクトル予測（ＨＭＶＰ）と呼ばれる、ＶＶＣのテストモデルなどの、現在の最先端の映像コーデックに新しい概念が導入される。最先端のコーデックは、（サブブロックまたはブロックごとの）同じ場所にある候補または空間的候補の後の動きベクトル候補リストにＨＭＶＰ候補を追加する。
【0051】
図１～図３に関して上述した例によるブロックベースの映像符号器および復号器の一般的な機能を説明し、タイル独立符号化の目的、ならびに、その使用が、個々に、タイル独立符号化を特に考慮に入れられないように縮小しやすいか、または不利な方法で考慮に入れられた場合に非常に非効果的になりやすいいくつかの符号化ツールを全体的に説明した。以下では、タイル独立を順守し、しかもなお上記で例示的に示されたような符号化ツールをきわめて効果的に使用することを可能にする実施形態を説明する。
【0052】
図８に、本出願の実施形態によるブロックベースの映像符号器１０およびブロックベースの映像復号器２０を示し、すでに上述したように、図１および図２の参照符号の再利用は、図８の符号器１０および復号器２０が、部分的にそうである場合も、そうでない場合もあるが、図１および図２に関して上述したように解釈されなければならないことを意味しないものとする。符号器１０は映像１１をデータストリーム１４に符号化し、復号器２０はデータストリーム１４から映像１１の再構成を復号する。映像１１の画像１２は、図４に関して説明されたようにタイル１００に分割される。タイル１００間の符号化独立は、図８によれば、映像１１をデータストリーム１４に符号化する際に符号器１０によって考慮に入れられるだけのタスクではない。むしろ、復号器２０も、映像１１の画像１２の内部を通り、近傍のタイル１００を互いに分離するタイル境界１０２を認識する。特に、図４に関してすでに上述したように、タイル１００は、各画像１２が、同じ方法で、１つの画像の各タイルが映像１１の任意の他の画像にもいて同じ場所にあるタイルを有するように、タイル１００に分割されるので、時間の次元においても拡張する。よって、１つの画像１２内のインター予測ブロックを予測するために使用される動き情報は、現在のタイル内に、すなわち、それぞれのインター予測ブロックの同じタイル内にとどまるはずである。言い換えると、そこからそれぞれのインター予測ブロックが予測されることになる、参照画像内のパッチを配置する、現在の画像のそのようなインター予測ブロックの動き情報は、タイル間の依存性を引き起こさないはずである。図８によれば、復号器は、少なくともある程度まで、符号器１０の状況を軽減し、そこから所定のインター予測ブロック１０４が、映像１１の画像１２内の境界１０２の位置に依存するようにデータストリーム１４から予測されることになる、映像の参照画像１２ｂ内のパッチ１３０を配置する、映像１１の現在の画像１２ａの所定のインター予測ブロック１０４の動き情報を導出する。そのようにして導出された動き情報は、例えば、動きベクトル１３２として定義され得るか、または動きベクトル１３２を含み得る。符号器１０は、さらに、この復号器の動作に依拠し得、以下のように動作し得る。依然として、符号器１０は、パッチ１３０が内部にとどまるような方法で現在の画像１２ａの所定のインター予測ブロックの動き情報１３２を決定し、このインター予測ブロック１０４がその内部に位置するタイルの境界１０２を越えない。より正確には、符号器１０は、動き情報１３２を、パッチが、参照画像１２ｂの同じ場所にあるタイル、すなわち、ブロック１０４がその内部に位置するタイルと同じ場所にあるタイルの境界内にあるように決定する。符号器１０は、この動き情報１３２をこのように決定し、この動き情報をブロック１０４のインター予測に使用する。しかしながら、動き情報をデータストリーム１４に符号化する際に、符号器は、復号器４０の機能、より正確には、境界１０２に関する復号器２０の認識を利用する。したがって、符号器１０は、データストリーム１４からの動き情報１３２の導出が、タイル１００間の境界１０２の位置に依存して行われる、すなわち、タイル１００間の境界１０２の位置への依存性を必要とするように、動き情報１３２をデータストリーム１４に符号化する。
【0053】
次に説明する実施形態によれば、復号器２０は、前述のタイル境界認識、すなわち、タイルの境界位置に対するデータストリームからの動き情報の導出の依存性を、所定のインター予測ブロック１０４についての動き情報の信号状態に関するタイル独立性を強制するために使用する。図９を参照されたい。データストリーム１４は、ブロック１０４の動き情報をシグナリングする部分または構文部分１４０を含む。この部分１４０は、よって、ブロック１０４の動き情報のシグナリング状態を決定する。後で、部分１４０が、例えば、動きベクトルの差、すなわち、動きベクトル予測残差と、任意選択で、動き予測子のリストを指し示す動き予測子インデックスとを含み得ることを説明する。動きベクトルが関連する参照画像１２ｂを識別する参照画像インデックスも、任意選択で、部分１４０に含まれ得る。動き情報部分１４０についてどんな説明が厳密になされるにしても、ブロック１０４の動き情報のシグナリング状態が、ブロック１０４がそこから予測されることになる、ブロック１０４が属する同じタイル１００ａ内にある対応するパッチ１３０につながる限りにおいて、このシグナリング状態は、タイル独立性制約と矛盾することにならず、したがって、復号器２０は、この状態をそのままにし、この状態を動き情報の最終状態として、すなわち、パッチ１３０からのブロック１０４のインター予測に使用される状態として使用し得る。図９には２つの例示的なシグナリング状態が示されている。丸で囲んだ１で示される状態は、明確にタイル１００ａの内部にあるパッチ１３０ａにつながる動き情報１３２ａと関連付けられている。丸で囲んだ２で示される他方の状態は、動き情報１３２ｂと関連付けられており、現在のタイル１００ａから近傍のタイル１００ｂへ境界１０２を横切るパッチ１３０ｂにつながる。近傍のタイル１００ｂとオーバーラップする、パッチ１３０ｂのオーバーラップ部分は、図９では網掛けで示されている。パッチ１３０ｂからの予測ブロック１０４は、近傍のタイル１００ｂのサンプルがブロック１０４の予測に使用されるので、タイル間依存性を導入することになる。したがって、復号器２０は、図９の例によれば、部分１４０のシグナリング状態が、パッチが、少なくとも部分的に、タイル１００ａの外側にある図９の状態２のような状態であるか否かをチェックし、そうである場合に、動き情報を、シグナリング状態から、現在のタイル１００ａの境界１０２内にとどまるためにパッチ１３０につながるリダイレクト状態にリダイレクトする。図９の一点鎖線は、リダイレクトされた動き情報１３０ｂ’のリダイレクト状態２’によって配置されたパッチ１３０’ｂを示している。
【0054】
そのようなリダイレクトが行われ得る様々な方法がある。以下で詳細を述べる。特に、以下の説明で明らかになるように、パッチ１３０ａ、１３０ｂおよび１３０’ｂは、異なるサイズのものであってもよい。それらの少なくとも一部は、ブロック１０４と比較して異なるサイズのものであってもよい。これは、例えば、サブ画素動きベクトルを含む対応する動き情報の場合に、例えば、それぞれのパッチで参照画像からブロック１０４を予測するために補間フィルタを使用する必要性によって引き起こされ得る。図９の説明から明らかになるように、上記のリダイレクト１４２により、符号器はデータストリーム１４の内側で動き情報１３０ｂ’をシグナリングする２つの選択肢を有することになり、すなわち、符号器は信号状態２または状態２’を使用し得る。この「自由」はビットレートの低下につながり得る。例えば、予測符号化が動き情報をシグナリングするために使用されると仮定する。ブロック１０４の動き情報のための予測子が状態２を指示した場合に、符号器は、単にこの予測子だけを使用してデータストリーム１４の部分１４０におけるゼロの動き情報予測残差をシグナリングすることが可能になり、それによって状態２をシグナリングし、これは復号器によって状態２’にリダイレクトされることになる。
【0055】
図１０に、図９に関してすでに述べた可能性を示す。復号器は、タイル境界位置上のデータストリームからの動き情報導出の依存性を、動き情報の予測およびブロック１０４のデータストリーム１４の部分１４０における動き情報予測残差信号を使用したその補正の結果である、動き情報のシグナリング状態に関するタイル独立性に対する制約を順守するか、またはこれを強制するために使用し得る。すなわち、ブロック１０４について、符号器および復号器は、現在の画像内のブロック１０４の空間的に近傍のブロックまたは特定の参照画像内のブロック１０４の近くに位置するブロックを符号化／復号するために使用された動き情報に基づくなど、以前に符号化されたブロックを使用して、ベクトルなどの動き情報予測または動き情報予測子１５０を提供することになる。後者は、パッチ１３０を含む参照画像１２ｂまたは動き情報予測に使用される別の画像であってもよい。動きベクトルの差などの動き情報予測残差１５２が、ブロック１０４の部分１４０でシグナリングされる。復号器は、よって、データストリーム１４から動き情報予測残差１５２を復号し、動き情報予測１５０および動き情報予測残差１５２に基づいてブロック１０４に使用されるべき動き情報（動きベクトルなど）を決定する。例えば、動きベクトルの場合に、動きベクトル１５０および１５２の合計は、ブロック１０４の動き情報の信号状態に準ずる、シグナリングされた動きベクトル１５４を指示し、動きベクトル１５４は、ブロック１０４が動きベクトル１５４の足を、例えば、図１０に示されるような左上隅１５８などのブロック１０４の隅などの所定の位置合わせ位置と同じ場所にある参照画像内の位置などの所定の位置１５６に配置することによってそこから予測されることになるフットプリントまたはパッチ１３０を指し示す。ベクトル１５４の頭はその場合に、例えば、ブロック１０４のフットプリントの左上隅を指し示すことになる。パッチ１３０は、前述したように、パッチ１３０からブロック１０４の予測を導出するために使用される補間フィルタリングなどのフィルタリングまたはその他の技術により、純粋なフットプリントと比較して拡大されるか、またはそれ以外に変形され得る。次に説明される実施形態によれば、制約の順守／強制の対象となるのは、この予測的に復号された動き情報１５４である。
【0056】
すなわち、復号器は、パッチ１３０が、ブロック１０４が属するタイル１０８の境界１０２を越えないように、動き情報１５４に対する制約を順守または強制する。図９に関して説明されたように、復号器は、この順守／強制のために不可逆的マッピングを使用する。このマッピングは、可能なシグナリング状態、ここでは図１０の、動き情報予測１５０と動き情報予測残差１５２の可能な組合せを、動き情報１５４の矛盾しない状態にマップする。不可逆的マッピングは、各可能な組合せを最終的な動き情報に、そのような最終的な動き情報に従って配置されたパッチ１３０が現在のタイル１００ａの境界１０２内にとどまるようにマップする。結果として、現在のタイルのタイル境界に対する位置１０４ならびに／または動き情報予測１５０の方向およびサイズに依存して、同じ最終的な動き情報１５４、すなわち、同じ最終状態にマップされる、動き情報予測１５０と動き情報予測残差１５２の可能な組合せ、すなわち、可能なシグナリング状態があることになるが、これらの異なる組合せは、例えば、同じ動き情報予測１５０を共有し、内部で残差１５２が異なる。結果として、符号器は、動き情報予測残差１５２を自由に選択することができる。図１０は、例えば、動き情報予測残差１５２’が、復号器側の制約の順守／強制により、すなわち、上記の不可逆的マッピングのリダイレクト１４２により、それぞれ、事実上同じ動き情報１５４につながり得ることを示している。
【0057】
符号器が、事実上、インター予測を行うためにブロック１０４に適用されるべき同じ動き情報につながる動き情報予測残差の中から任意の動き情報予測残差を自由に選択することができるそのような事例では、符号器１０は、この設定が最低のビットレートにつながるものである可能性が高いので、動き情報予測残差がゼロであるものを使用し得る。
【0058】
図１１に、やはり上記ですでに述べたこと、すなわち、ブロック１０４がそこからインター予測されることになるパッチ１３０であって、特定の動きベクトル１３２などの特定の動き情報に従って配置されているパッチ１３０が、ブロック１０４と比較して異なる形状のものである可能性を示す。通常、パッチ１３０は、動き情報１３２に従って現在の画像内のその位置に対して変位された、参照画像内のブロック１０４の単なるフットプリント１６０よりも大きくなる。特に、パッチ１３０からのブロック１０４の実際の予測を行う際に、復号器および符号器は、パッチ１６０のそれぞれの部分内のサンプル１６４の数学的組合せでブロック１０４の各サンプル１６２を予測し得る。通常、特定のブロックサンプル１６２の数学的組合せに寄与するパッチ１３０の部分は、動き情報１３２に従って変位された、それぞれのサンプル１６２の位置およびその周辺に、すなわち、参照画像１２ｂ内のその変位されたサンプル位置１６２’またはその周辺に配置される。例えば、数学的組合せは、ブロック１０４からのそれぞれのサンプルに対応する部分のサンプルの加重和であってもよい。各サンプル１６２のこの部分は、例えば、動きベクトル１３２がサブ画素動きベクトルである場合には補間フィルタのカーネルによって、したがって、参照画像１２ｂ内のサブ画素サンプル位置に対するブロック１０４のサブ画素変位を求めることによって決定され得る。興味深いことに、例えば、フル画素動きベクトルを含む動き情報１３２の場合には、パッチ１３０が、その場合に、ブロック１０４と同じ大きさになり、各サンプル１６２が、それをパッチ１３０内の１つの対応するサンプル１６４と等しく設定することによって予測されるように、補間フィルタが不要であってもよい。パッチ１３０に対するフットプリント１６０の拡大に対する別の種類または寄与の起源は、代替的または追加的に、以下でより具体的に言及されるＢＩＯツールなどの他のインター予測ツールに由来し得る。特に、ＢＩＯによれば、パッチ１３０から導出される予測子は、その場合には双方向予測的に予測されることになるブロック１０４のただ１つまたは２つの仮説（hypothesis）である可能性がある。この予測子を得るためには、しかしながら、サブ画素動きベクトルの場合の補間ありと、フル画素動きベクトルの場合の補間フィルタなしとで導出された予測子の暫定バージョンが、この暫定バージョンが実際のブロック１０４のサイズに対してすべての方向にｎサンプルずつ拡大されるように決定されることになる（ｎ＞０、１など）。これがなされるのは、この暫定的予測子のブロック１０４のエリアにわたって分布する複数の位置上の局所的輝度勾配を決定し、最終的な双方向予測の予測子を取得するために局所勾配に依存してブロックのエリアにわたって変化するように線形結合によってブロックのエリア内で、両方の仮説、すなわち、参照画像１２ｂから得られた暫定的予測子と別の参照画像から同様に得られた別の暫定的予測子とを組み合わせるためである。図２２を参照して、後者のＢＩＯのパッチ拡大への寄与が無視され得ること、およびパッチ拡大のｎサンプル幅のＢＩＯ拡張寄与（ｎ＞０）がそうではなく境界１０２を横切るパッチ１３０につながることになるか否かに依存して、ＢＩＯツールが代わりに非アクティブ化され得ることを説明する。すなわち、このリダイレクト手順は、ＢＩＯツールを無視して暫定的に行われ、ＢＩＯツールは境界認識しており、符号器によって符号器の代わりに非アクティブ化される。さらに、ＢＩＯツール以外に使用され得る別のモードが、これに従って動き情報が、ブロック１０４の２つの異なる隅でブロック１０４内の動きベクトル場の動きベクトルを定義し、これに基づき、アフィン運動モデルを使用して、ブロック１０４のサブブロックのサブブロック動きベクトルが計算される現在のブロック１０４の２つの動きベクトルを含む、アフィン運動モデルツールである。結果として得られるサブブロックのパッチは、サブブロックのパッチからなる、例えば、図２０に示されるような構成されたパッチを形成すると考えられ得、やはり、タイル独立性の強制は、構成されたパッチが全体として、すなわち、個々のサブブロックパッチのいずれも、境界１０２を横断しないことを強制し得る。それぞれ、図９および図１０に関して説明されたリダイレクトおよび強制手順に関連して、上記で説明された機能は、様々なパッチサイズのパッチ１３０が、条件付きリダイレクトを施されることになる実際にシグナリングされた動き情報のパッチのサイズと、「問題のある」動き情報がリダイレクトまたは再マップされる動き情報設定の両方に関して考慮に入れられることを意味する。すなわち、図９に関して明示的に言及されていないが、特定の動き情報状態のリダイレクトは、パッチサイズの変更につながり得、図９の状態２のようなまだリダイレクトされていない状態は、リダイレクト１４２がもたらす状態、すなわち２’とは異なるパッチサイズを有し得る。
【0059】
前述の不可逆的マッピングまたはリダイレクトがどのように行われるかに関して様々な可能性が存在する。これは、一方の、不可逆的マッピングの入力を形成する際にリダイレクトを受ける状態と、他方の、不可逆的マッピングの出力のリダイレクト状態との、両方の側に当てはまる。図１２ａに、１つの可能性を示す。図１２ａは、一方では現在のタイル１００ａを他方では近傍のタイル１００ｂを分離する境界１０２に対して対応するパッチを示すことによって、まだリダイレクトされていないかまたは不可逆的マッピングを施されていない４つの異なる設定１、２、３および４を図示または例示している。最初の３つの状態１、２および３では、パッチ１３０は、状態４の場合よりも小さい。特に、図１２ａは、状態１、２および３において、パッチ１３０がインター予測ブロックのフットプリント１６０と一致することを示している。状態４で、パッチ１３０は、図１２ａにこの設定４の破線によって示されているフットプリント１６０に対して拡大される。拡大は、例えば、状態４の対応する動きベクトルがサブ画素動きベクトルであり、状態１～３ではフル画素動きベクトルであることによるものである。この拡大により、状態１～３のパッチ１３０は現在のパッチ１００ａ内にあり、境界１０２を横切らないが、状態４の場合のパッチ１３０は、これに対応する動きベクトルは状態２と状態３のフル画素動きベクトルの間にあるが、境界１０２を越えて拡大する。
【0060】
すなわち、いずれにせよ、制約の順守／強制は状態４をリダイレクトしなければならない。いくつかの実施形態によれば、後述するように、状態１、２および３は、対応するパッチが境界１０２を横切らないのでそのまま残される。これが意味するのは、事実上、不可逆的マッピングの値域、すなわち、リダイレクト状態のリザーバまたは領域が、パッチ１３０がインター予測ブロック１０４のフットプリント１６０と比較してそれぞれ拡大される拡張エッジ部分１７２の幅１７０よりもパッチ１３０が現在のタイル１００ａの境界１０２に近づくことを可能にすることである。言い換えると、境界１０２を横切らないパッチ１３０につながるフル画素動きベクトルは、例えば、リダイレクトプロセス１４２不変のままとされる。異なる実施形態では、動き情報のそれらの状態さえもリダイレクトされ、境界１０２を越えて近傍のタイルに拡張せず、フットプリントに対して拡張されず、拡張された場合に境界１０２を横切ることになる関連付けられたパッチは、図１２ａの例では、これらは、状態１、２および３であり、それらでさえも、少なくとも、幅１７０に適応するように境界１０２から距離を置くためにリダイレクトされることになる。状態３のパッチ１３０が、拡張範囲１７０よりも小さい境界１０２からの距離を有するように示されている、図１２ｂを参照されたい。よって、その関連付けられたパッチ１３０またはフットプリント１６０が少なくとも拡張範囲１７１と同じ大きさの距離１７１を有するフル画素状態５にリダイレクトされる。すなわち、ここでは状態３が、対応するパッチ１３０が境界エリア１７２を含まず、それにもかかわらず、少なくとも幅１７０と同じ大きさの距離１７１だけ境界１０２から距離が置かれる状態５にリダイレクトされる。
【0061】
言い換えると、多くの映像符号化仕様で用いられているサブ画素補間プロセスの結果として、最も近いフル画素参照ブロック位置から複数の整数サンプリング位置離れたサンプルが必要とされ得る。動きベクトルＭＶ１はフル画素動きベクトルであり、ＭＶ２はサブ画素動きベクトルであると仮定する。より具体的には、タイル１００ａ内の位置Ｐｏｓｘ，ＰｏｓｙにあるサイズＢＷ×ＢＨのブロック１０４を仮定する。水平成分に注目すると、近傍のタイル１００ｂまたは右側のタイルの使用を回避するために、ＭＶ１は、最大でも、（ＭＶ１ｘ＞０と仮定すると）Ｐｏｓｘ＋ＢＷ－１＋Ｍｖ１ｘが、ブロック１０４が属するタイル１００ａの右端のサンプルと等しいか、または（ＭＶ１ｘ＜０、すなわち、ベクトルが左を指し示すと仮定すると）Ｐｏｓｘ＋Ｍｖ１ｘが、ブロックが属するタイル１００ａの左端のサンプルと等しい大きさとすることができる。しかしながら、ＭＶ２では、近傍のタイル内に到達するのを回避するためにフィルタカーネルサイズからの補間オーバーヘッドを組み込まなければならない。例えば、Ｍｖ２ｘを、ＭＶ２の整数部分とみなすと、ＭＶ２は、最大でも、（ＭＶ２ｘ＞０と仮定すると）Ｐｏｓｘ＋ＢＷ－１＋Ｍｖ２ｘが、ブロックが属するタイルの右端のサンプル－４と等しく、（ＭＶ２ｘ＜０と仮定すると）Ｐｏｓｘ＋Ｍｖ２ｘが、ブロックが属するタイルの左端のサンプル＋３と等しい大きさとすることしかできない。
【0062】
「３」および「－４」は、ここでは、補間フィルタによって生じた幅１７０の例である。しかしながら、他のカーネルサイズも適用され得る。
【0063】
しかしながら、タイル境界上の動き補償予測を効率的に制限することができる手段を確立することが望ましい。この問題に対するいくつかの解決策を以下で説明する。
【0064】
１つの可能性は、符号化画像内の独立した空間領域、すなわち、タイル１００の境界１０２に関して動きベクトルをクリップすることである。さらに、動きベクトルは、動きベクトル解像度に適応するようにクリップされ得る。
【0065】
以下のブロック１０４が与えられたとする：
サイズＢＷｘＢＨ
位置Ｐｏｓｘ、Ｐｏｓｙ
ＴｉｌｅＬｅｆｔ、ＴｉｌｅＴｏｐ、ＴｉｌｅＲｉｇｈｔおよびＴｉｌｅＢｏｔｔｏｍによって定義される境界１０２を有するタイル１００ａに属する
以下を定義する：
ＭＶＸ＞＞ｐｒｅｃｉｓｉｏｎの場合に、ＭＶＸＩｎｔ
ＭＶＹ＞＞ｐｒｅｃｉｓｉｏｎの場合に、ＭＶＹＩｎｔ
ＭＶＸ＆（２ｐｒｅｃｉｓｉｏｎ－１）の場合に、ＭＶＸＦｒａｃ
ＭＶＹ＆（２ｐｒｅｃｉｓｉｏｎ－１）の場合に、ＭＶＹＦｒａｃ
ＭＶＸは、動きベクトルの水平成分であり、ＭＶＹは、動きベクトルの垂直成分であり、ｐｒｅｃｉｓｉｏｎは、動きベクトルの精度を表す。例えば、ＨＥＶＣにおいて、ＭＶの精度は、サンプルの１／４であり、したがってｐｒｅｃｉｓｉｏｎ＝２である。
サイズＢＷｘＢＨ
位置Ｐｏｓｘ、Ｐｏｓｙ
ＴｉｌｅＬｅｆｔ、ＴｉｌｅＴｏｐ、ＴｉｌｅＲｉｇｈｔおよびＴｉｌｅＢｏｔｔｏｍによって定義される境界１０２を有するタイル１００ａに属する
以下を定義する：
ＭＶＸ＞＞ｐｒｅｃｉｓｉｏｎの場合に、ＭＶＸＩｎｔ
ＭＶＹ＞＞ｐｒｅｃｉｓｉｏｎの場合に、ＭＶＹＩｎｔ
ＭＶＸ＆（２ｐｒｅｃｉｓｉｏｎ－１）の場合に、ＭＶＸＦｒａｃ
ＭＶＹ＆（２ｐｒｅｃｉｓｉｏｎ－１）の場合に、ＭＶＹＦｒａｃ
ＭＶＸは、動きベクトルの水平成分であり、ＭＶＹは、動きベクトルの垂直成分であり、ｐｒｅｃｉｓｉｏｎは、動きベクトルの精度を表す。例えば、ＨＥＶＣにおいて、ＭＶの精度は、サンプルの１／４であり、したがってｐｒｅｃｉｓｉｏｎ＝２である。
【0066】
サブ画素部分にゼロを設定した場合に、結果として得られるクリップされたフル画素ベクトルが、厳密にタイル１００ａ内にあるフットプリントまたはパッチになるように、動きベクトルＭＶのフル画素部分をクリップする。
ＭＶＸＩｎｔ＝Ｃｌｉｐ３（ＴｉｌｅＬｅｆｔ－Ｐｏｓｘ，ＴｉｌｅＲｉｇｈｔ－Ｐｏｓｘ－（ＢＷ－１），ＭＶＸＩｎｔ）
ＭＶＹＩｎｔ＝Ｃｌｉｐ３（ＴｉｌｅＴｏｐ－Ｐｏｓｙ，ＴｉｌｅＢｏｔｔｏｍ－Ｐｏｓｙ－（ＢＨ－１），ＭＶＹＩｎｔ）
ＭＶＸＩｎｔ＝Ｃｌｉｐ３（ＴｉｌｅＬｅｆｔ－Ｐｏｓｘ，ＴｉｌｅＲｉｇｈｔ－Ｐｏｓｘ－（ＢＷ－１），ＭＶＸＩｎｔ）
ＭＶＹＩｎｔ＝Ｃｌｉｐ３（ＴｉｌｅＴｏｐ－Ｐｏｓｙ，ＴｉｌｅＢｏｔｔｏｍ－Ｐｏｓｙ－（ＢＨ－１），ＭＶＹＩｎｔ）
【0067】
水平方向に、（クリッピング後の）動きベクトルのフル画素部分が拡張範囲１７０よりも境界１０２に近いことを意味する、（ＨＥＶＣの８タップフィルタを仮定した）ＭＶＸＩｎｔ＜＝ＴｉｌｅＬｅｆｔ－Ｐｏｓｘ＋３またはＭＶＸＩｎｔ＞＝ＴｉｌｅＲｉｇｈｔ－Ｐｏｓｘ－（ＢＷ－１）－４の場合に、
ＭＶＸＦｒａｃは０に設定される。
ＭＶＸＦｒａｃは０に設定される。
【0068】
水平方向に、（クリッピング後の）動きベクトルのフル画素部分が拡張範囲１７０よりも境界１０２に近いことを意味する、（ＨＥＶＣの８タップフィルタを仮定した）ＭＶＹＩｎｔ＜＝ＴｉｌｅＴｏｐ－Ｐｏｓｙ＋３またはＭＶＹＩｎｔ＞＝ＴｉｌｅＢｏｔｔｏｍ－Ｐｏｓｙ－（ＢＨ－１）－４の場合に、
ＭＶＹＦｒａｃは０に設定される。
ＭＶＹＦｒａｃは０に設定される。
【0069】
これは、状態１、２および３のフル画素動きベクトルが、対応するパッチが近傍のタイル１００ｂ内まで拡張しないため、そのままにとどまることが許容される、図１２ａに関して説明された状況に対応する。境界１０２を越えて拡張するパッチ１３０につながるフル画素動きベクトルは、その対応するパッチが境界１０２を横切ることなく境界１０２内にある最も近いフル画素動きベクトルまでクリップされる。その拡大されたパッチ１３０が境界１０２を横切るサブ画素動きベクトルについては、以下の手順が適用される：サブ画素動きベクトルは、そのパッチがタイル１００ａ内にとどまるが、サブ画素動きベクトルよりも小さい最も近いフル画素動きベクトルにマップされる。すなわち、動きベクトルのフル画素部分はそれに対応してクリップされ、サブ画素部分はゼロに設定される。これが意味するのは、サブ画素動きベクトルのフル画素部分、すなわち、サブ画素動きベクトルの切り捨てバージョンが、タイル１００ａを離れるフットプリント１６０につながらない場合には、サブ画素動きベクトルのサブ画素部分は単にゼロに設定されることである。状態４は、したがって、状態２にリダイレクトされる。
【0070】
分数成分をゼロに設定する代わりに、動きベクトルの整数画素部分が、上記のように次のより小さい整数画素位置に均さず、以下のように空間的に最も近い近傍の整数画素位置に丸めることもできる。
前と同様に、サブ画素部分にゼロを設定した場合に、結果として得られるクリップされたフル画素ベクトルが、厳密にタイル１００ａ内にあるフットプリントまたはパッチになるように、動きベクトルＭＶのフル画素部分をクリップする。
ＭＶＸＩｎｔ＝Ｃｌｉｐ３（ＴｉｌｅＬｅｆｔ－Ｐｏｓｘ，ＴｉｌｅＲｉｇｈｔ－Ｐｏｓｘ－（ＢＷ－１），ＭＶＸＩｎｔ）
ＭＶＹＩｎｔ＝Ｃｌｉｐ３（ＴｉｌｅＴｏｐ－Ｐｏｓｙ，ＴｉｌｅＢｏｔｔｏｍ－Ｐｏｓｙ－（ＢＨ－１），ＭＶＹＩｎｔ）
（ＨＥＶＣの８タップフィルタを仮定した）ＭＶＸＩｎｔ＜＝ＴｉｌｅＬｅｆｔ－Ｐｏｓｘ＋３またはＴｉｌｅＲｉｇｈｔ－Ｐｏｓｘ－（ＢＷ－１）＞ＭＶＸＩｎｔ＞＝ＴｉｌｅＲｉｇｈｔ－Ｐｏｓｘ－（ＢＷ－１）－４の場合
ＭＶＸＩｎｔ＝ＭＶＸＩｎｔ＋（ＭＶＸＦｒａｃ＋（１＜＜（ｐｒｅｃｉｓｉｏｎ－１））＞＞ ｐｒｅｃｉｓｉｏｎ）
（ＨＥＶＣの８タップフィルタを仮定した）ＭＶＸＩｎｔ＜＝ＴｉｌｅＬｅｆｔ－Ｐｏｓｘ＋３またはＭＶＸＩｎｔ＞＝ＴｉｌｅＲｉｇｈｔ－Ｐｏｓｘ－（ＢＷ－１）－４の場合
ＭＶＸＦｒａｃは０に設定される。
（ＨＥＶＣの８タップフィルタを仮定した）ＭＶＹＩｎｔ＜＝ＴｉｌｅＴｏｐ－Ｐｏｓｙ＋３またはＴｉｌｅＢｏｔｔｏｍ－Ｐｏｓｙ－（ＢＨ－１）＞ＭＶＹＩｎｔ＞＝ＴｉｌｅＢｏｔｔｏｍ－Ｐｏｓｙ－（ＢＨ－１）－４の場合
ＭＶＹＩｎｔ＝ＭＶＹＩｎｔ＋（ＭＶＹＦｒａｃ＋（１ ＜＜（ｐｒｅｃｉｓｉｏｎ－１））＞＞ ｐｒｅｃｉｓｉｏｎ）
（ＨＥＶＣの８タップフィルタを仮定した）ＭＶＹＩｎｔ＜＝ＴｉｌｅＴｏｐ－Ｐｏｓｙ＋３またはＭＶＹＩｎｔ＞＝ＴｉｌｅＢｏｔｔｏｍ－Ｐｏｓｙ－（ＢＨ－１）－４の場合
ＭＶＹＦｒａｃは０に設定される。
前と同様に、サブ画素部分にゼロを設定した場合に、結果として得られるクリップされたフル画素ベクトルが、厳密にタイル１００ａ内にあるフットプリントまたはパッチになるように、動きベクトルＭＶのフル画素部分をクリップする。
ＭＶＸＩｎｔ＝Ｃｌｉｐ３（ＴｉｌｅＬｅｆｔ－Ｐｏｓｘ，ＴｉｌｅＲｉｇｈｔ－Ｐｏｓｘ－（ＢＷ－１），ＭＶＸＩｎｔ）
ＭＶＹＩｎｔ＝Ｃｌｉｐ３（ＴｉｌｅＴｏｐ－Ｐｏｓｙ，ＴｉｌｅＢｏｔｔｏｍ－Ｐｏｓｙ－（ＢＨ－１），ＭＶＹＩｎｔ）
（ＨＥＶＣの８タップフィルタを仮定した）ＭＶＸＩｎｔ＜＝ＴｉｌｅＬｅｆｔ－Ｐｏｓｘ＋３またはＴｉｌｅＲｉｇｈｔ－Ｐｏｓｘ－（ＢＷ－１）＞ＭＶＸＩｎｔ＞＝ＴｉｌｅＲｉｇｈｔ－Ｐｏｓｘ－（ＢＷ－１）－４の場合
ＭＶＸＩｎｔ＝ＭＶＸＩｎｔ＋（ＭＶＸＦｒａｃ＋（１＜＜（ｐｒｅｃｉｓｉｏｎ－１））＞＞ ｐｒｅｃｉｓｉｏｎ）
（ＨＥＶＣの８タップフィルタを仮定した）ＭＶＸＩｎｔ＜＝ＴｉｌｅＬｅｆｔ－Ｐｏｓｘ＋３またはＭＶＸＩｎｔ＞＝ＴｉｌｅＲｉｇｈｔ－Ｐｏｓｘ－（ＢＷ－１）－４の場合
ＭＶＸＦｒａｃは０に設定される。
（ＨＥＶＣの８タップフィルタを仮定した）ＭＶＹＩｎｔ＜＝ＴｉｌｅＴｏｐ－Ｐｏｓｙ＋３またはＴｉｌｅＢｏｔｔｏｍ－Ｐｏｓｙ－（ＢＨ－１）＞ＭＶＹＩｎｔ＞＝ＴｉｌｅＢｏｔｔｏｍ－Ｐｏｓｙ－（ＢＨ－１）－４の場合
ＭＶＹＩｎｔ＝ＭＶＹＩｎｔ＋（ＭＶＹＦｒａｃ＋（１ ＜＜（ｐｒｅｃｉｓｉｏｎ－１））＞＞ ｐｒｅｃｉｓｉｏｎ）
（ＨＥＶＣの８タップフィルタを仮定した）ＭＶＹＩｎｔ＜＝ＴｉｌｅＴｏｐ－Ｐｏｓｙ＋３またはＭＶＹＩｎｔ＞＝ＴｉｌｅＢｏｔｔｏｍ－Ｐｏｓｙ－（ＢＨ－１）－４の場合
ＭＶＹＦｒａｃは０に設定される。
【0071】
すなわち、前述の手順は以下のように変更される。動きベクトルはタイル１００ａを離れない最も近いフル画素動きベクトルに丸められる。すなわち、フル画素部分は、必要に応じてクリップされ得る。しかしながら、動きベクトルがサブ画素動きベクトルであった場合、サブ画素部分は単にゼロに設定されない。むしろ、最も近いフル画素動きベクトルへの、すなわち、フル画素部分を条件付きでクリップしたことによって初期のサブ画素動きベクトルと異なる動きベクトルに最も近いフル画素動きベクトルへの丸めが行われる。これは、例えば、図１２ａの状態４を状態２の代わりに状態３にマップすること、またはリダイレクトすることにつながる。
【0072】
さらに言い換えると、前述の第１の代替案によれば、そのパッチ１３０が境界１０２の間に拡張する動きベクトルは、フットプリント１６０がタイル１００ａ内にとどまるように動きベクトルのフル画素部分をクリップすることによってフル画素動きベクトルにリダイレクトされ、その場合に、サブ画素はゼロに設定される。第２の代替案として、フル画素部分のクリッピングの後、最も近いフル画素動きベクトルへの丸めが行われる。
【0073】
別のオプションは、制限がより厳しく、動きベクトルの整数部分と分数部分とを、別のタイルのサンプルを組み込んだ最終的に発生するサブサンプル補間が回避されることを保証するような方法ですべて一緒にクリップすることである。この可能性が図１２ｂで参照されている。
【0074】
ＭＶＸ＝Ｃｌｉｐ３（（ＴｉｌｅＬｅｆｔ－Ｐｏｓｘ＋３）＜＜ｐｒｅｃｉｓｉｏｎ，（ＴｉｌｅＲｉｇｈｔ－Ｐｏｓｘ－ＢＷ－１－４）＜＜ｐｒｅｃｉｓｉｏｎ，ＭＶＸ）
ＭＶＹ＝Ｃｌｉｐ３（（ＴｉｌｅＴｏｐ－Ｐｏｓｙ＋３）＜＜ｐｒｅｃｉｓｉｏｎ，（ＴｉｌｅＢｏｔｔｏｍ－Ｐｏｓｙ－ＢＨ－１－４）＜＜ｐｒｅｃｉｓｉｏｎ，ＭＶＹ）
ＭＶＹ＝Ｃｌｉｐ３（（ＴｉｌｅＴｏｐ－Ｐｏｓｙ＋３）＜＜ｐｒｅｃｉｓｉｏｎ，（ＴｉｌｅＢｏｔｔｏｍ－Ｐｏｓｙ－ＢＨ－１－４）＜＜ｐｒｅｃｉｓｉｏｎ，ＭＶＹ）
【0075】
上記の説明で明らかになるように、ＭＶクリッピングは、ＭＶが適用されるブロックサイズに依存する。
【0076】
説明では、その空間解像度が異なり得る色成分の並置を無視した。よって、上記のクリッピング手順は、クロマフォーマットを考慮しておらず、または、ルマサンプルごとにクロマサンプルがあるモード４：４：４のみを考慮している。しかしながら、クロマサンプルとルマサンプルとの関係が異なる以下の２つの追加のクロマフォーマットがある。
４：２：０、クロマが水平および垂直方向にルマサンプルの半分を有する（すなわち、各方向に２つのルマサンプルごとに１つのクロマサンプル）
４：２：２、クロマが水平方向にはサンプルの半分を有するが、垂直方向には同じサンプルを有する（すなわち、垂直方向にはルマサンプルあたり１つのクロマサンプルだが、水平方向には２つのルマあたり１つのクロマサンプル）
４：２：０、クロマが水平および垂直方向にルマサンプルの半分を有する（すなわち、各方向に２つのルマサンプルごとに１つのクロマサンプル）
４：２：２、クロマが水平方向にはサンプルの半分を有するが、垂直方向には同じサンプルを有する（すなわち、垂直方向にはルマサンプルあたり１つのクロマサンプルだが、水平方向には２つのルマあたり１つのクロマサンプル）
【0077】
クロマのサブ画素補間プロセスは４タップフィルタを使用し得るが、輝度フィルタは上記のように８タップフィルタを使用する。上記のように、正確な数は重要ではない。クロマの補間フィルタフィルタカーネルサイズは、ルマのものの半分であるが、代替の実施形態ではこれさえも変更されてもよい。
【0078】
４：２：０の場合では、動きベクトルの整数部分および分数部分の導出は以下のとおりである。
ＭＶＣＸ＞＞（ｐｒｅｃｉｓｉｏｎ＋１）の場合、ＭＶＸＩｎｔ
ＭＶＣＹ＞＞（ｐｒｅｃｉｓｉｏｎ＋１）の場合、ＭＶＹＩｎｔ
ＭＶＣＸ＆（２ｐｒｅｃｉｓｉｏｎ＋１－１）の場合、ＭＶＸＦｒａｃ
ＭＶＣＹ＆（２ｐｒｅｃｉｓｉｏｎ＋１－１）の場合、ＭＶＹＦｒａｃ
ＭＶＣＸ＞＞（ｐｒｅｃｉｓｉｏｎ＋１）の場合、ＭＶＸＩｎｔ
ＭＶＣＹ＞＞（ｐｒｅｃｉｓｉｏｎ＋１）の場合、ＭＶＹＩｎｔ
ＭＶＣＸ＆（２ｐｒｅｃｉｓｉｏｎ＋１－１）の場合、ＭＶＸＦｒａｃ
ＭＶＣＹ＆（２ｐｒｅｃｉｓｉｏｎ＋１－１）の場合、ＭＶＹＦｒａｃ
【0079】
これが意味するのは、整数部分が対応するルマ部分の半分であり、分数部分がより細かい粒度のシグナリングを有することである。例えば、ｐｒｅｃｉｓｉｏｎ＝２であるＨＥＶＣでは、ルマの場合、サンプル間で補間できる４つのサブ画素があり、クロマでは８である。
【0080】
これは、ｘＰｏｓ＋ＭＶＸＩｎｔ＝ＴｉｌｅＬｅｆｔ＋１であり、ＭＶＸＩｎｔが、４：２：０のフォーマットの（上記のようにクロマではなく）ルマとして定義される場合に、これが分数クロマサンプルではなく整数ルマサンプルに入ることにつながる。そのようなサンプルは、サブ画素補間によって、ＴｉｌｅＬｅｆｔを越える１つのクロマサンプルを必要とし、これはタイル独立性を妨げることになる。そのような問題が発生する事例は以下のとおりである：
４：２：０（ＨＥＶＣにおけるＣｈｒｏｍａＴｙｐｅ＝１）
ｘＰｏｓ＋ＭＶＸＩｎｔ＝ＴｉｌｅＬｅｆｔ＋１、ＭＶＸＩｎｔはルマについて定義される
ｘＰｏｓ＋（ＢＷ－１）＋ＭＶＸＩｎｔ＝ＴｉｌｅＲｉｇｈｔ－２、ＭＶＸＩｎｔはルマについて定義される
ｙＰｏｓ＋ＭＶＹＩｎｔ＝ＴｉｌｅＴｏｐ＋１、ＭＶＹＩｎｔはルマについて定義される
ｙＰｏｓ＋（ＢＨ－１）＋ＭＶＹＩｎｔ＝ＴｉｌｅＢｏｔｔｏｍ－２、ＭＶＹＩｎｔはルマについて定義される
４：２：２（ＨＥＶＣにおけるＣｈｒｏｍａＴｙｐｅ＝２）
ｘＰｏｓ＋ＭＶＸＩｎｔ＝ＴｉｌｅＬｅｆｔ＋１、ＭＶＸＩｎｔはルマについて定義される
ｘＰｏｓ＋（ＢＷ－１）＋ＭＶＸＩｎｔ＝ＴｉｌｅＲｉｇｈｔ－２、ＭＶＸＩｎｔはルマについて定義される。
４：２：０（ＨＥＶＣにおけるＣｈｒｏｍａＴｙｐｅ＝１）
ｘＰｏｓ＋ＭＶＸＩｎｔ＝ＴｉｌｅＬｅｆｔ＋１、ＭＶＸＩｎｔはルマについて定義される
ｘＰｏｓ＋（ＢＷ－１）＋ＭＶＸＩｎｔ＝ＴｉｌｅＲｉｇｈｔ－２、ＭＶＸＩｎｔはルマについて定義される
ｙＰｏｓ＋ＭＶＹＩｎｔ＝ＴｉｌｅＴｏｐ＋１、ＭＶＹＩｎｔはルマについて定義される
ｙＰｏｓ＋（ＢＨ－１）＋ＭＶＹＩｎｔ＝ＴｉｌｅＢｏｔｔｏｍ－２、ＭＶＹＩｎｔはルマについて定義される
４：２：２（ＨＥＶＣにおけるＣｈｒｏｍａＴｙｐｅ＝２）
ｘＰｏｓ＋ＭＶＸＩｎｔ＝ＴｉｌｅＬｅｆｔ＋１、ＭＶＸＩｎｔはルマについて定義される
ｘＰｏｓ＋（ＢＷ－１）＋ＭＶＸＩｎｔ＝ＴｉｌｅＲｉｇｈｔ－２、ＭＶＸＩｎｔはルマについて定義される。
【0081】
２つの可能な解決策がある。
ＣｈｒｏｍａＴｙｐｅ（Ｃｔｙｐｅ）に基づいて制限的な方法でクリップする：
ＣｈｒｏｍａＯｆｆｓｅｔＨｏｒ＝２＊（Ｃｔｙｐｅ＝＝１｜｜ Ｃｔｙｐｅ＝＝２）
ＣｈｒｏｍａＯｆｆｓｅｔＶｅｒ＝２＊（Ｃｔｙｐｅ＝＝１）
ＭＶＸＩｎｔ＝Ｃｌｉｐ３（ＴｉｌｅＬｅｆｔ－Ｐｏｓｘ＋ＣｈｒｏｍａＯｆｆｓｅｔＨｏｒ，ＴｉｌｅＲｉｇｈｔ－Ｐｏｓｘ－（ＢＷ－１）－ＣｈｒｏｍａＯｆｆｓｅｔＨｏｒ，ＭＶＸＩｎｔ）
ＭＶＹＩｎｔ＝Ｃｌｉｐ３（ＴｉｌｅＴｏｐ－Ｐｏｓｙ＋ＣｈｒｏｍａＯｆｆｓｅｔＶｅｒ，ＴｉｌｅＢｏｔｔｏｍ－Ｐｏｓｙ－（ＢＨ－１）－ＣｈｒｏｍａＯｆｆｓｅｔＶｅｒ，ＭＶＹＩｎｔ）
ＣｈｒｏｍａＴｙｐｅ（Ｃｔｙｐｅ）に基づいて制限的な方法でクリップする：
ＣｈｒｏｍａＯｆｆｓｅｔＨｏｒ＝２＊（Ｃｔｙｐｅ＝＝１｜｜ Ｃｔｙｐｅ＝＝２）
ＣｈｒｏｍａＯｆｆｓｅｔＶｅｒ＝２＊（Ｃｔｙｐｅ＝＝１）
ＭＶＸＩｎｔ＝Ｃｌｉｐ３（ＴｉｌｅＬｅｆｔ－Ｐｏｓｘ＋ＣｈｒｏｍａＯｆｆｓｅｔＨｏｒ，ＴｉｌｅＲｉｇｈｔ－Ｐｏｓｘ－（ＢＷ－１）－ＣｈｒｏｍａＯｆｆｓｅｔＨｏｒ，ＭＶＸＩｎｔ）
ＭＶＹＩｎｔ＝Ｃｌｉｐ３（ＴｉｌｅＴｏｐ－Ｐｏｓｙ＋ＣｈｒｏｍａＯｆｆｓｅｔＶｅｒ，ＴｉｌｅＢｏｔｔｏｍ－Ｐｏｓｙ－（ＢＨ－１）－ＣｈｒｏｍａＯｆｆｓｅｔＶｅｒ，ＭＶＹＩｎｔ）
【0082】
または、クロマによる追加変更なしで前述の場合と同様にクリップし、ただし以下であるか否かをチェックする：
４：２：０（ＨＥＶＣにおけるＣｈｒｏｍａＴｙｐｅ＝１）
ｘＰｏｓ＋ＭＶＸＩｎｔ＝ＴｉｌｅＬｅｆｔ＋１、ＭＶＸＩｎｔはルマについて定義される
ｘＰｏｓ＋（ＢＷ－１）＋ＭＶＸＩｎｔ＝ＴｉｌｅＲｉｇｈｔ－２、ＭＶＸＩｎｔはルマについて定義される
ｙＰｏｓ＋ＭＶＹＩｎｔ＝ＴｉｌｅＴｏｐ＋１、ＭＶＹＩｎｔはルマについて定義される
ｙＰｏｓ＋（ＢＨ－１）＋ＭＶＹＩｎｔ＝ＴｉｌｅＢｏｔｔｏｍ－２、ＭＶＹＩｎｔはルマについて定義される
４：２：２（ＨＥＶＣにおけるＣｈｒｏｍａＴｙｐｅ＝２）
ｘＰｏｓ＋ＭＶＸＩｎｔ＝ＴｉｌｅＬｅｆｔ＋１、ＭＶＸＩｎｔはルマについて定義される
ｘＰｏｓ＋（ＢＷ－１）＋ＭＶＸＩｎｔ＝ＴｉｌｅＲｉｇｈｔ－２、ＭＶＸＩｎｔはルマについて定義される
４：２：０（ＨＥＶＣにおけるＣｈｒｏｍａＴｙｐｅ＝１）
ｘＰｏｓ＋ＭＶＸＩｎｔ＝ＴｉｌｅＬｅｆｔ＋１、ＭＶＸＩｎｔはルマについて定義される
ｘＰｏｓ＋（ＢＷ－１）＋ＭＶＸＩｎｔ＝ＴｉｌｅＲｉｇｈｔ－２、ＭＶＸＩｎｔはルマについて定義される
ｙＰｏｓ＋ＭＶＹＩｎｔ＝ＴｉｌｅＴｏｐ＋１、ＭＶＹＩｎｔはルマについて定義される
ｙＰｏｓ＋（ＢＨ－１）＋ＭＶＹＩｎｔ＝ＴｉｌｅＢｏｔｔｏｍ－２、ＭＶＹＩｎｔはルマについて定義される
４：２：２（ＨＥＶＣにおけるＣｈｒｏｍａＴｙｐｅ＝２）
ｘＰｏｓ＋ＭＶＸＩｎｔ＝ＴｉｌｅＬｅｆｔ＋１、ＭＶＸＩｎｔはルマについて定義される
ｘＰｏｓ＋（ＢＷ－１）＋ＭＶＸＩｎｔ＝ＴｉｌｅＲｉｇｈｔ－２、ＭＶＸＩｎｔはルマについて定義される
【0083】
また、（１つまたは複数の）禁止された条件が発生しないように（例えば、＋１で、または＋１もしくは－１で最も近い方向に丸める分数部分に依存して）ＭＶＸＩｎｔまたはＭＶＹＩｎｔを変更する。
【0084】
言い換えると、上記の説明は１つの色成分のみに注意を向けており、映像の画像の異なる色成分が異なる空間解像度を有し得る事例を無視したが、タイル独立性制約の強制において異なる空間解像度の異なる色成分の並置が考慮に入れられることがあり得、この記述は、強制が、例えば、最終的なＭＩではなくＭＩ予測子に適用される、以下に記載される変更形態にも当てはまる。率直に言えば、動きベクトルは、色成分のいずれかがパッチがそれに対応して拡大される補間フィルタを必要とする場合には常に、サブ画素動きベクトルとして扱われ得、同様に、リダイレクトが行われる動きベクトルも、現在のタイル１００ａの境界１０２を横切る色成分のいずれかに必要になり得る補間フィルタリングを回避するように選択される。
【0085】
代替の実施形態によれば、制約の順守／強制が最終的にシグナリングされた動きベクトル１５４に適用された上記の実施形態（図１０と比較）は、復号器が同じ概念、すなわち、制約の順守／強制、すなわち、動きベクトルの場合のクリッピングを、最終的な動きベクトルまたは動き情報１５４ではなく予測子１５０に対して適用する限りにおいて変更される。よって、符号器と復号器とはどちらも、すべての動き情報予測子１５０が、ブロック１０４のパッチがそれぞれの動き情報予測子１５０に従って配置される場合、すなわち、動き情報予測残差１５２がゼロであった場合、パッチが現在のタイル１００ａ内にあるという制約を順守することを強制するように、同じく動作する。すべての上記の詳細は、これらの代替の実施形態に移行され得る。
【0086】
しかしながら、符号器１０に関する限り、上記の代替の実施形態は、符号器の異なる状況につながる。すなわち、符号器が、異なる動き情報予測残差のうちの１つをシグナリングすることによって復号器にブロック１０４の同じ動き情報を使用させるためのあいまいさまたは「自由」はなくなる。むしろ、ブロック１０４に使用されるべき動き情報を選択すると、少なくとも特定の動き情報予測子１５０に関して、部分１４０内のシグナリングが一意に決定される。改善点は以下にある。動き情報予測子１５０がタイル独立性制約との矛盾につながることが妨げられるので、そのような動き情報予測子１５０をそのシグナリングが通常、ビットレートに関して、ゼロ動き情報予測残差のシグナリングよりもコスト集約的であるそれぞれの非ゼロ動き情報予測残差１５２によって「リダイレクト」する必要がない。さらに、ブロック１０４に動き情報予測子のリストを確立する場合には、ブロック１０４のそのような動き情報予測子のリストに読み込まれるすべての動き情報予測子がタイル独立性制約と矛盾しないという自動的同期的な強制により、符号器は、いずれにせよ、タイル独立性制約が順守されるような方法で動き情報を選択することを余儀なくされるので、これらの利用可能な動き情報予測子のいずれもがレート歪み最適化に関して最善の動き情報にかなり近い可能性が高まる。
【0087】
すなわち、現在の映像符号化規格では、ＭＶクリッピングが最終的なＭＶで、すなわち、動きベクトルの差が、もしあれば、予測子に追加された後に実行されるが、これは予測に関して行われ、ここで残差を使用したこの予測の補正が追加的に行われる。予測子が（潜在的に境界拡張を有する）画像の外を指しているときに、予測子が境界から本当に遠くを指している場合、動きベクトルの差は、おそらくは、少なくとも、クリッピング後にブロックが画像の境界にあるときには、それがクリップされる方向の成分を含まない。結果として得られる動きベクトルが、画像境界の内側にある参照画像内の位置を指し示した場合にのみ、動きベクトルの差は意味を成すことになる。しかしながら、画像内のブロック参照するためにそのような大きな動きベクトルの差を追加することは、動きベクトルの差を画像境界までクリップさせることと比較してコストがかかりすぎる可能性もある。
【0088】
したがって、一実施形態は、近傍のブロックまたは時間的候補ブロックから使用されるすべてのＭＶ予測子が、ブロックがその内部に含まれるタイルの内側を常に指すように、ブロック位置に依存して予測子をクリップすることを基礎とし、したがって、優れた予測子にシグナリングされるべき残りの動きベクトルの差がより小さくなり、より効率的にシグナリングすることができる。
【0089】
タイル独立性の上記の動きベクトル予測子関連の強制を利用する一実施形態が、図１３に示されている。特に、図１３は、上記で多くの場合可能性として言及されていること、すなわち、動き情報予測子候補１９２のリスト１９０が、特定の規則に従い、特定の順序を使用してブロック１０４のために確立されることを示している。これらの動き情報予測子候補１９２のうちの１つが、次いで、符号器によってブロック１０４のために選択され、選択された動き情報予測子候補１９２の位置をリスト１９０内のそのランクに関して指示するそれぞれのポインタ１９３によって、ブロック１０４のための構文部分１４０内で選択されるようシグナリングされる。リスト１９０の確立は、符号器側と復号器側とで同じ方法で行われ、現在の実施形態によれば、リスト１９０に読み込まれる各動き情報予測子候補１９２に関するタイル独立性の強制を伴う。よって、リスト１９０内のすべての動き情報予測子１９２は、ブロック１０４が属する現在のタイルの境界内に排他的に存在するのではないパッチと関連付けられていない。部分１４０内のさらなる構文要素１９４が、次いで、動きベクトルに関する動き情報予測子候補１９２の場合の動き情報予測残差、すなわち、動きベクトルの差１５２を指示する。
【0090】
図１４に、リスト１９０の各動き情報予測候補１９２にタイル独立性の強制した効果を示す。ブロック１０４について、リスト１９０内の３つの動き情報予測子候補１９２ａ～１９２ｃのパッチ１３０ａ～１３０ｃが示されている。ただし、パッチ１３０ｃは、動き情報予測子候補１９２ｃと関連付けられており、これは、しかしながら、実際にはリダイレクト１４２の結果である。すなわち、符号器および復号器は、実際には、破線と１９２ｃ’とによって指示される、ブロック１０４のための動き情報予測子候補を導出した。この予測子１９２ｃ’は、しかしながら、現在のタイル１００ａの境界１０２内にないパッチ１３０ｃ’につながったはずである。したがって、この動き情報予測子候補１９２ｃ’は、動き情報予測子候補１９２ｃになるようにリダイレクトされている。その効果は以下のとおりである。動き情報予測子候補１９２ｃ’が、大きな歪みの意味に関して、最も効果的な動き情報予測子候補になった可能性は、符号器が非ゼロの動き情報予測子残差を伴う必要性によりかなり低い。したがって、そのような候補１９２ｃ’をリスト１９０に含めると、リスト１９０内の候補位置の無駄にしかならない可能性が最も高い。
むしろ、予測子１９２ａ～１９２ｃのいずれかがポインタ１９３によって選択されてもよく、ほとんどの場合に、わずかな残差１９４のみが、残差ベクトル１５２（図１０と比較）と１９２ｃなどの選択された予測子との組合せによって得られるように、最終的な動きベクトル１５４（図１０と比較）に移行されさえすればよい。
むしろ、予測子１９２ａ～１９２ｃのいずれかがポインタ１９３によって選択されてもよく、ほとんどの場合に、わずかな残差１９４のみが、残差ベクトル１５２（図１０と比較）と１９２ｃなどの選択された予測子との組合せによって得られるように、最終的な動きベクトル１５４（図１０と比較）に移行されさえすればよい。
【0091】
【0092】
動き情報予測子候補リストの構成／確立に関する代替の概念が、次に図１５に関して説明される実施形態の主題である。可能性として図１３に関してすでに上述したように、リスト１９０には、所定の規則に従って以前に符号化／復号されたブロックから導出される動き情報予測子候補を使用して読み込まれ得る。これらの規則は、例えば、対応する以前に符号化／復号されたブロックが配置される方法に関係し得る。これは、例えば、現在のブロック１０４の左側に空間的に近傍のブロックまたは現在のブロック１０４の上に空間的に近傍のブロックであること、であってもよい。それぞれの動き情報予測子候補の導出は、その場合単に、同じ符号化／復号でそれぞれのブロックに使用されたそれぞれの動き情報の採用であり得、すなわち、ブロック１０４のそれぞれの動き情報予測子候補は、それぞれのブロックに使用されたそれぞれの動き情報に等しくなるように設定され得る。別の動き情報予測子候補は、参照画像内のブロックに由来し得る。この場合もやはり、これは、候補１９２のうちの１つが関連する参照画像、または別の画像であってもよい。図１５に、そのような動き情報予測子候補プリミティブ２００を示す。プリミティブ２００は、リスト１９０内のエントリが、読込み順序と呼ばれるある順序２０４に従ってそこから読み込まれる動き情報予測子候補のプールを形成する。この順序２０４に従って、符号器および復号器は、プリミティブ２００を導出し、２０２でそれらの可用性をチェックする。読込み順序は２０４に指示されている。可用性は、例えば、それぞれのプリミティブ２００の対応するブロック、すなわち、その動き情報が同じ予測的符号化／復号に使用されたブロックが、現在のブロック１０４と同じタイル１００ａ内にないために、否定される場合がある。しかしながら、図１５の実施形態によれば、可用性チェック２０２は、追加的または代替的に以下のチェック、すなわち、対応するプリミティブ２００がタイル独立性制約と矛盾するか否かのチェック、を伴うか、または含む。すなわち、それぞれのプリミティブ２００の起源、すなわち、同じ予測的符号化／復号に使用されたその動き情報がプリミティブ２００を形成するために採用されることになる、現在のブロック１０４の左側のブロック、上のブロックまたは参照画像内のある併置（collocated：隣接）されたブロックの可用性がチェックされるのではなく、動きベクトル予測子がそのようなプリミティブ２００で表現されるか否かがチェックされ、すなわち、プリミティブが関連付けられている以前に符号化／復号されたブロックを予測的に符号化／復号するために使用された動き情報から導出され、プリミティブ２００を形成するために採用されることになる動き情報が、現在のタイル１００ａ内に位置するパッチ１３０とその境界を越えずに関連付けられているか否かに関してチェックされることになる。そうでない場合に、それぞれのプリミティブは、利用できないとマークされ、次のプリミティブに進む。図１５は、例えば、第２の候補プリミティブ２００が利用できないこと、およびリスト１９０内の最初の２つの動き情報予測子候補１９２が、それに応じて、順序２０４で第１および第３の候補プリミティブ２００によって形成されることを示している。言い換えると、上記の問題への別の解決策は、動きベクトルリスト構成プロセスのための可用性フラグの導出を変更することである。これを、対象となる独立符号化領域（例えば、現在符号化されている動き制約タイル）の外側にあるサンプルを使用する動きベクトルが、ｃｏｎｓｔｒａｉｎｔＦｌａｇが設定されているものとして利用不可に設定する方法で行うことができる。
【0093】
例えば、以下が、動きベクトル予測子候補リスト、ｍｖｐＬｉｓｔＬＸのための構成プロセスである。
ｉ＝０
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＬＸＡ）｛
ｍｖｐＬｉｓｔＬＸ［ｉ＋＋］＝ｍｖＬＸＡ
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＬＸＢ＆＆（ｍｖＬＸＡ！＝ｍｖＬＸＢ））
ｍｖｐＬｉｓｔＬＸ［ｉ＋＋］＝ｍｖＬＸＢ
｝ｅｌｓｅ ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＬＸＢ）
ｍｖｐＬｉｓｔＬＸ［ｉ＋＋］＝ｍｖＬＸＢ
ｉｆ（ｉ＜２＆＆ａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌ）
ｍｖｐＬｉｓｔＬＸ［ｉ＋＋］＝ｍｖＬＸＣｏｌ
ＨＭＶＰ
ｗｈｉｌｅ（ｉ＜２）｛
ｍｖｐＬｉｓｔＬＸ［ｉ］［０］＝０
ｍｖｐＬｉｓｔＬＸ［ｉ］［１］＝０
ｉ＋＋
｝
ｉ＝０
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＬＸＡ）｛
ｍｖｐＬｉｓｔＬＸ［ｉ＋＋］＝ｍｖＬＸＡ
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＬＸＢ＆＆（ｍｖＬＸＡ！＝ｍｖＬＸＢ））
ｍｖｐＬｉｓｔＬＸ［ｉ＋＋］＝ｍｖＬＸＢ
｝ｅｌｓｅ ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＬＸＢ）
ｍｖｐＬｉｓｔＬＸ［ｉ＋＋］＝ｍｖＬＸＢ
ｉｆ（ｉ＜２＆＆ａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌ）
ｍｖｐＬｉｓｔＬＸ［ｉ＋＋］＝ｍｖＬＸＣｏｌ
ＨＭＶＰ
ｗｈｉｌｅ（ｉ＜２）｛
ｍｖｐＬｉｓｔＬＸ［ｉ］［０］＝０
ｍｖｐＬｉｓｔＬＸ［ｉ］［１］＝０
ｉ＋＋
｝
【0094】
ｍｖＬＸＡおよびｍｖＬＸＢが利用可能であるが、与えられたＭＣＴＳの外側を指している場合、おそらくはより有望な併置されたＭＶ候補またはゼロ動きベクトル候補は、リストがすでに一杯であるためリストに入力されないことが分かる。したがって、タイルなどの空間的セグメント境界に関する参照サンプルの可用性を組み込む方法でＭＶ候補の可用性の導出を制御するビットストリーム内のｃｏｎｓｔｒａｉｎｔＦｌａｇシグナリングを有することが有利である。
【0095】
別の実施形態では、双方向予測の文脈での可用性導出は、可用性状態のより粒度の細かい記述を可能にし、したがって、動きベクトル候補リストに、部分的に利用可能な候補の混合バージョンを読み込むことをさらに可能にし得る。
【0096】
例えば、現在のブロックがその双方向予測された空間的近傍と同様に双方向予測される場合に、上記の概念（タイル内にある参照サンプル位置に依存した可用性マーキング）は、そのＭＶ０が現在のタイルの外側を指す空間的候補が利用不可としてマークされ、したがって、ＭＶ０およびＭＶ１を有する全候補が候補リストに入力されないことにつながる。しかしながら、ＭＶ１は、タイル内の有効な参照である。このＭＶ１を動きベクトル候補リストを介してアクセス可能にするために、ＭＶ１は部分的に利用可能な候補の一時リストに追加される。その一時リスト内の部分的候補の組合せも、最終的ｍｖ候補リストに続いて追加することができる。例えば、空間的候補ＡのＭＶ０を空間的候補ＢのＭＶ１またはゼロ動きベクトルまたはＨＭＶＰ候補成分と混合する。
【0097】
後者の手がかりにより、図１５に示されるプロセスは、ブロック１０４が双方向予測タイプのものである場合には、もう少し洗練されて符号器および復号器によって行われ得ることが明らかになった。この場合には、２つの異なる参照画像の２つの動きベクトルが各候補プリミティブ２００によって伝達される。１つの可能性は、動きベクトルのうちの１つがタイル独立性との矛盾につながる場合に、そのような候補プリミティブ２００を利用不可であるとマークすることであったであろう。その動きベクトルの対は、よって、読込み順序でスキップされ、リスト１９０に追加されない。しかしながら、代替案によれば、タイル独立性チェックは、仮説個別に行われる。すなわち、特定の候補プリミティブ２００について、一方の動きベクトルはタイル独立性との矛盾につながり、他方はつながらないことがあってもよい。その場合に、矛盾しない動きベクトル仮説が、置換動き情報予測子の特定の置換リストに追加され得る。必要な場合には、すなわち、それ以上の候補プリミティブ２００が読込み順序２０４で利用できない場合には、符号器及び復号器は、それらの対または１つのエントリおよび置換リストを、ゼロ動きベクトルなどのデフォルトの動き情報予測子と組み合わせるなど、単一の仮説動き情報予測子および置換リストの中からリスト１９０のための別の１つまたは複数の動き情報予測子候補１９２を形成することができる。
【0098】
図１５の説明を終了するために、前述の図に関して説明された残りの詳細が追加され得ることに留意されたい。例えば、そのような詳細は、ポインタ１９３および残差１９４、ならびにパッチサイズおよびブロック１０４を予測するために最終的にシグナリングされた動き情報の実際の使用に関する詳細に関係し得る。
【0099】
次に説明される実施形態は、特定の参照画像のブロックにその起源を有する動き情報予測候補を扱う。この場合もやはり、この参照画像は、そこから実際のインター予測が行われる画像である必要はない。ただしそうである場合もある。ＭＩ（動き情報）予測に使用される参照画像を、パッチ１３０を含む参照画像と区別するために、以下では前者にアポストロフィが使用される。
【0100】
図１６に、現在の画像１２ａ内の現在のインター予測ブロック１０４、および参照画像１２ｂ’内のその併置された部分、すなわち、変位されていないフットプリント１０４’を示す。時間的動き情報予測子候補（プリミティブ）が、以下の方法で決定される参照画像１２ｂ’内のブロックに使用される動き情報を使用して形成されれば、ＲＤ性能に関して費用効果的であることが判明した。好ましくは、参照画像１２ｂ’内のブロックは、参照画像１２ｂ内の所定の位置２０４’を含む、すなわち、ブロック１０４に対して所定の位置関係を有する現在の画像１２ａ内の特定の位置合わせ位置２０４に対して併置されたサンプル位置を含むブロックである。特に、それは、ブロック１０４の右下のサンプルの対角線上の近傍であるが、ブロック１０４の外側にあるサンプル位置である。位置２０４は、よって、図１６の例では水平および垂直方向に沿ってブロック１０４に対してオフセットされて配置されている。位置２０４’を含む参照画像１２ｂ’のブロックは、図１６において参照符号２０６によって指示されている。その動き情報が、利用可能な場合に時間的動き情報予測子候補（プリミティブ）を導出するか、または直接表すために使用される。しかしながら、可用性は、例えば、画像またはブロック２０６の外側にある位置２０４’および２０４がインター予測ブロックではなく、例えば、イントラ予測ブロックである場合には適用されない場合がある。そのような場合に、すなわち、非可用性の場合には、別の位置合わせ位置２０８が、参照画像１２ｂ内のソースブロックまたは元のブロックを識別するために使用される。この場合、位置合わせ位置２０８は、中心に置かれるなどブロック１０４の内側に配置される。参照画像内の対応する位置が、参照符号２１０で指示されている。位置２１０を含むブロックは参照符号２１２で指示されており、このブロックは、代用により、すなわち、それを使用してこのブロック２１２が予測されたその動き情報を使用して、時間的動き情報予測子候補（プリミティブ）を形成するために使用される。
【0101】
上記の概念が現在の画像１２ａ内のすべてのブロック１０４に使用される場合に生じることになる問題を回避するために、以下の代替の概念が適用される。特に、符号器および復号器は、ブロック１０４が現在のタイル１００ａの所定の側に隣接しているか否かをチェックする。所定の側は、例えば、本例の場合のように現在のタイル１００ａの右側境界および／またはこのタイル１００ａの下側であり、例えば、位置合わせ位置２０４は、水平方向と垂直方向の両方にブロック１０４に対してオフセットされている。よって、ブロック１０４がこれらの側の１つの隣接している場合、符号器および復号器は、時間的動き情報予測子候補（プリミティブ）のソースブロック２０６を識別し、代わりに位置合わせ位置２０８だけを使用するために、位置合わせ位置２０４の使用をスキップする。後者の位置合わせ位置は、現在のブロック１０４があるのと同じタイル１００ａ内にある参照画像１２ｂ内のブロックだけに「当たる」。現在のタイル１００ａの右側または下側に隣接していない、他のすべてのブロックについては、時間的動き情報予測子候補（プリミティブ）導出は、位置合わせ位置２０４の使用を含めて行われ得る。
【0102】
しかしながら、図１６の実施形態に関して多くの変形が実行可能であることに留意されたい。図１６に関して提示した説明からのそのような可能な改変は、例えば、位置合わせ位置２０４および２０８の厳密な位置に関連する。
【0103】
言い換えると、典型的な最先端の映像符号化仕様もまた、符号化プロセスの様々な段階でいわゆる候補リストにおいて動きベクトル予測子を収集する概念大きく依拠する。以下で、インター予測制約符号化のより高い符号化効率を可能にするＭＶ候補リスト構成の文脈における概念を説明する。
【0104】
マージ候補リストは以下のように解釈され得る。
Ｉ＝０
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＡ１）
ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ａ１
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＢ１）
ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｂ１
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＢ０）
ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｂ０
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＡ０）
ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ａ０
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＢ２）
ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｂ２
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＣｏｌ）
ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｃｏｌ
Ｉ＝０
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＡ１）
ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ａ１
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＢ１）
ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｂ１
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＢ０）
ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｂ０
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＡ０）
ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ａ０
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＢ２）
ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｂ２
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＣｏｌ）
ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｃｏｌ
【0105】
ｓｌｉｃｅ＿ｔｙｐｅがＢに等しいとき、多くの映像コーデック仕様において十分な候補がない場合、結合双方向予測マージＭＶ候補のための導出プロセスが、候補リストを埋めるために行われる。
候補は、あるＭＶ候補のＬ０成分と別のＭＶ候補のＬ１成分とを様々な組合せでとることによって組み合わされる。
ゼロ動きベクトルマージ候補は、リストに十分な候補がない場合に追加される。
候補は、あるＭＶ候補のＬ０成分と別のＭＶ候補のＬ１成分とを様々な組合せでとることによって組み合わされる。
ゼロ動きベクトルマージ候補は、リストに十分な候補がない場合に追加される。
【0106】
併置されたＭＶ候補（Ｃｏｌ）を考察するときにインター予測制約の文脈でのマージリストの関連する問題が発生する。（右下ではなく中央に併置された）併置ブロックが利用できない場合に、参照画像内の隣接するタイルをパースしないとＣｏｌ候補が存在するか否かを知ることができない。したがって、マージリストは、すべてのタイルを復号する場合とただ１つのタイルを復号する場合とで異なり、またはタイルが符号化時とは異なる配置で復号される。したがって、符号器側と復号器側とのＭＶ候補リストが一致しない可能性があり、特定のオンのインデックス（ｃｏｌインデックス）からの候補を安全に使用することができない。
【0107】
上記のＭＶ候補リストの不一致の問題を回避する図１６の上記の実施形態は、タイル内の右端ブロックおよび下端ブロックについて、現在のタイルに属さない右下の併置ブロックではなく、現在のタイルに属するＣｏｌ候補としての中央に併置されたブロックを有する。
【0108】
代替の解決策は、読込み順序２０４に関するリスト構成を変更することであろう。特に、図１６に関して説明された概念を使用する場合、例えば、可用性をチェックされた最初のプリミティブ２００など、リスト構成の比較的早期に時間的動き情報予測子候補（プリミティブ）を使用することが可能である（図１５と比較）。符号器側と復号器側とのタイル境界認識により、リストの不一致が発生しないことが保証される。しかしながら、別の可能性は、そのような時間的動き情報予測子候補（プリミティブ）をリスト１９０の最後の方にシフトさせ、組み合わされた空間的動きベクトルなどの組み合わされた空間的動き情報候補を、好ましくは、ブロック２０６に基づき、ブロック２１２に基づく補助的な方法でのみ決定された時間的に併置された候補の前にシフトさせる。上記の疑似コードに関連して、これは、Ｃｏｌが、代用としてのみ主にブロック２０６のＭＩとブロック２１２のＭＩとに基づいて決定された候補であり、現在の最先端のリスト構成の後で完成したリスト１９０の最後に移動されることを意味する。この読込み順序の変更を、タイル境界認識で行うことができる。すなわち、符号器および復号器は、現在のタイルの右側または下側に隣接しているブロック１０４に関してのみ、Ｃｏｌ候補をリスト１９０の最後にシフトさせることによって読込み順序を変更し、その他の読込み順序を他方の方法、すなわち、Ｃｏｌが組み合わされた空間的動き情報候補に先行する方法のままにしておく。
【0109】
当然ながら、動きベクトル候補リストのより統一された作成のために、特定の側に隣接しているブロックのみではなくタイル内のすべてのブロック１０４について上記の読込み順序変更を実行することも実行可能であろう。
【0110】
図１７に、タイル境界認識の読込み順序変更を示す。図１７の左半分には、インター予測ブロック１０４が問題の現在のタイルの側のうちの１つ、すなわち、右側または下側に隣接している事例が示されており、図１７の右側には、ブロック１０４が現在のタイル１００ａのどこか、またはより正確には、現在のタイル１００ａの特定の側から距離を置いたどこかにある事例が示されている。
【0111】
２００ａを使用して、動き情報予測子候補プリミティブが指示されており、これらのプリミティブは、例えば、イントラ符号化タイプである２０６の場合にブロック２１２の動き情報のみを代用として使用して、ブロック２０６の動き情報が好ましくはそれに従って使用される前述の方法で導出される。プリミティブ２００ａの基礎を成すブロックは、２０６または２１２である位置合わせされたブロックとも呼ばれる。別の動き情報予測子候補プリミティブ２００ｂが示されている。この動き情報予測子候補プリミティブ２００ｂは、タイル１００ａの特定の側の反対に面する側、すなわち、現在のブロック１０４の上側および左側で現在のブロック１０４の空間的に隣接している空間的に近傍のブロック２２０の動き情報から導出される。例えば、近傍のブロック２２０の動き情報の平均値または中央値が、動き情報予測子候補プリミティブ２００ｂを形成するために使用される。しかしながら、読込み方向２０４は、どちらの場合にも異なる。ブロック１０４が現在のタイル１００ａの特定の側のうちの１つに隣接している場合には、組み合わされた空間的候補プリミティブ２００ｂが時間的に併置された候補プリミティブ２００ａに先行し、他方の場合、すなわち、ブロック１０４が現在のタイル１００ａの特定の側のいずれにも隣接していない場合には、順序は、時間的に併置された候補プリミティブ２００ａが、それに沿ってポインタ１９３がリスト１９０を指し示すランク順序１９５において、組み合わされた空間的候補プリミティブ２００ｂよりも早くリスト１９０に読み込むために使用されるように変更される。
【0112】
図１７に関して具体的に論じられていない多くの詳細は、プリミティブ２００ａに関連した図１６に関する実施形態などの任意の前述の実施形態から採用され得ることに留意されたい。（１つまたは複数の）プリミティブ２００ｂも別に取得され得る。
【0113】
図１８に、タイル独立符号化を効率的に達成するさらなる可能性を示す。ここでは、それに従って、他の方法で予測された動きベクトル２４０が、符号器および復号器によって、その動き情報、すなわち、ブロック２４２を符号化／復号するために使用される動き情報が、次いで、動き情報予測候補（プリミティブ）を導出するために使用される参照画像１２ｂにおいて所定のブロック２４２を配置または識別するように使用される時間的動き情報予測候補（プリミティブ）を導出するための技術が適用される。動きベクトル２４０は、例えば、空間的に予測され得る。動きベクトル２４０は、図１８で目指すプリミティブに由来するのではなく、リスト１９０内のその他の候補のうちの１つに由来し得る。図１８に関して説明される実施形態によれば、符号器および復号器は、動きベクトル２４０が、ブロック１０４の位置に対して、現在のタイル１００ａの外側を指しているか否かをチェックする。図１８の場合には、予測された動きベクトル２４０がタイル１００ａの外側を指していることが示されている。この動きベクトル２４０は、したがって、ブロック１０４から、より正確には、その所定の位置合わせ位置２４６から開始して、現在のタイル１００ａの境界１０２内にとどまるように、すなわち、タイル１００ａの外側を指さないように、クリッピング操作２４４によってクリップされる。そのようにクリップされた動きベクトル２５０がブロック１０４に対して指し示すブロック２４８は、次いで、単にブロック２４８がそれを使用して予測された動き情報を採用することによるなど、時間的動き情報予測候補（プリミティブ）を導出するための基礎として使用される。
【0114】
別の可能性が図１９に示されている。ここでは、符号器および復号器は、まず、第１の予測された動きベクトル２４０をテストする。これを行うことにより、符号器および復号器は、この第１の予測された動きベクトルがタイル１００ａの外側を指しているか否かをチェックする。そうである場合に、符号器および復号器は、別の予測された動きベクトル２６０を使用して、すなわち、それを使用して、第２の予測された動きベクトル２６０が指し示すブロック２６２が予測された動き情報を採用することによって、時間的動き情報予測候補（プリミティブ）を導出する。図１９では、例えば、第１の予測された動きベクトル２４０は、この動き２４０が指し示すブロック２４２が、参照画像１２ｂにおいて現在のタイル１００ａの外側にあるように、現在のタイル１００ａの外側を指していることが示されている。しかしながら、動きベクトル２６０は、現在のタイル１００ａの外側を指していない。後者の場合に、それぞれの時間的動き情報予測候補（プリミティブ）に、使用不可であるとマークすることができる。
【0115】
言い換えると、ＭＣＴＳなどの独立符号化される空間的セグメントを伴う使用シナリオでは、上記のＡＴＭＶＰ手順は、ＭＣＴＳ間の依存性を回避するように制限される必要がある。
【0116】
サブブロックマージ候補リスト構成では、ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔは、以下のように構成され、最初の候補ＳｂＣｏｌがサブブロック時間的動きベクトル予測子である。
ｉ＝０
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＳｂＣｏｌ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝ＳｂＣｏｌ
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＡ＆＆ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ａ
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＢ＆＆ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｂ
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ１＆＆ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｃｏｎｓｔ１
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ２＆＆ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｃｏｎｓｔ２
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ３＆＆ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｃｏｎｓｔ３
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ４＆＆ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｃｏｎｓｔ４
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ５＆＆ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｃｏｎｓｔ５
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ６＆＆ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｃｏｎｓｔ６
ｉ＝０
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＳｂＣｏｌ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝ＳｂＣｏｌ
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＡ＆＆ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ａ
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＢ＆＆ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｂ
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ１＆＆ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｃｏｎｓｔ１
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ２＆＆ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｃｏｎｓｔ２
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ３＆＆ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｃｏｎｓｔ３
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ４＆＆ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｃｏｎｓｔ４
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ５＆＆ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｃｏｎｓｔ５
ｉｆ（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ６＆＆ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）
ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］＝Ｃｏｎｓｔ６
【0117】
時間的ベクトルから生じる参照フレーム内の相関ブロックが現在のブロックの空間的セグメントに属さないようにすることが有利である。
【0118】
併置された予測ブロックの位置は、以下の方法で配置されるよう制約される。動きベクトルｍｖＴｅｍｐ、すなわち、参照画像において併置サブブロックを配置するために使用される動き情報は、併置されたＣＴＵ境界内に含まれるようにクリップされる。これにより、併置された予測ブロックが、現在の予測ブロックと同じＭＣＴＳ領域に配置されることが保証される。
【0119】
あるいは、上記のクリッピングに対して、空間的候補のｍｖＴｅｍｐが同じ空間的セグメント（タイル）内のサンプル位置を指し示さない場合に、空間的セグメント内に位置する参照ブロックをもたらす候補が見つかるまで、現在のブロックのＭＶ候補リストからの次に利用可能なＭＶ候補が選択される。
【0120】
次に説明される実施形態は、ビットレートを低下させ、または映像を効率的に符号化する別の効果的な符号化ツールを扱う。この概念によれば、ブロック１０４のためのデータストリーム内で伝達される動き情報は、復号器および符号器が、ブロック１０４内のより複雑な動き場を、すなわち、一定の動き場だけでなく、変化する動き場も定義することを可能にする。この動き情報は、例えば、図５に例示的に示されているように、ブロック１０４の２つの異なる隅の動き場の２つの動きベクトルを決定した。復号器および符号器は、よって、動き情報から、ブロック１０４が分割されるサブブロックの各々の動きベクトルを導出する位置にある。図２０には４×４サブブロック３００への規則的な分割が例示的に示されているが、サブブロック３００への分割が規則的である必要はなく、サブブロックの数が１６に制限されることもない。サブブロック３００への細分は、データストリーム内でシグナリングされ得るか、またはデフォルトで設定され得る。よって、各サブブロックは、このサブブロック３００と、それぞれのサブブロック３００がそこから予測されることになる参照画像１２ｂ内の対応するパッチ３０２との間の並進変位を指示する動きベクトルを生成する。
【0121】
タイル独立性との矛盾を回避するために、符号器および復号器は本実施形態に従って以下のように動作する。図２０の２つの動きベクトル３０６ａおよび３０６ｂによって例示的に表されるデータストリームで伝達される動き情報に基づくサブブロック動きベクトル３０４の導出は、符号器および復号器によって同じ方法で行われる。結果として得られるサブブロック動きベクトル３０４は、暫定的状態を想定する。第１の実施形態によれば、復号器は、暫定的なサブブロック動きベクトル３０４の各々に、例えば、図９に関して上述された上記のタイル独立性を強制する。よって、サブブロックごとに、復号器は、対応するサブブロック動きベクトル３０４を、それが現在のタイル１００ａの境界を越えて拡張するそれぞれのサブブロックの対応するパッチ３０２につながるか否かをテストする。そうである場合に、対応するサブブロック動きベクトル３０４はそれに対応して扱われる。各サブブロック３００は、次いで、リダイレクトしている可能性のあるそのサブブロック動きベクトル３０４を使用して予測される。符号器は、サブブロック３００のすべての予測が符号器側と復号器側とで同じになるように、同じことを行う。
【0122】
あるいは、２つの動きベクトル３０６ａおよび３０６ｂは、サブブロック動きベクトル３０４のうちのいずれもタイル依存性につながらないようにリダイレクトされる。よって、このために復号器側のベクトル３０６ａおよび３０６ｂのクリッピングを使用することができる。すなわち、上述のように、復号器は、動きベクトル３０６ａおよび３０６ｂの対を動き情報として、サブブロック３００のパッチ３０２の構成をブロック１０４のパッチとして扱い、構成されたパッチがタイル独立性と矛盾しないことを強制する。同様に、構成されたパッチが別のタイルまで達した場合には上記のように、動きベクトル対３０６ａおよび３０６ｂに対応する動き情報を、候補リストから削除することもできる。または、残差の補正が符号器によって行われ、すなわち、対応するＭＶ差１５２をベクトル３０６ａおよび３０６ｂに追加する。
【0123】
代替案によれば、対応するパッチ３０２が現在のタイル１００ａのタイル境界を越えるサブブロック３００は、例えば、イントラ予測を使用するなど、別の方法で予測される。このイントラ予測は、当然ながら、その対応するサブブロック動きベクトル３０４がタイル独立性との矛盾を生じなかったブロック１０４のその他のサブブロックをインター予測した後に行われてもよい。さらに、これらの矛盾しないサブブロックについてデータストリームで伝達された予測残差さえも、矛盾するサブブロックのイントラ予測を行う前に、符号器側および復号器側で、これらの矛盾しないサブブロックの内部を再構成するためにすでに使用されている可能性もある。
【0124】
ＭＣＴＳなどの独立符号化される空間的セグメントを伴う使用シナリオでは、上記のアフィン運動手順は、ＭＣＴＳ間の依存性を回避するように制限される必要がある。
【0125】
サブブロック動きベクトル場のＭＶが、空間的セグメント境界内にない予測子のサンプル位置につながる場合、サブブロックＭＶは、空間的セグメント境界内のサンプル位置まで個々に切り取られる。
【0126】
加えて、サブブロック動きベクトル場のＭＶが、空間的セグメント境界内にない予測子のサンプル位置につながる場合に、結果として得られる予測子サンプルは廃棄され、新しい予測子サンプルが、例えば、近傍の隣接するすでに復号されたサンプルエリアで導出された角度予測モードを用いて、イントラ予測技術から導出される。このシナリオで使用される空間的セグメントのサンプルは、近傍のブロック、ならびに現在のブロックの周囲のサブブロックに属し得る。
【0127】
さらに代替として、動きベクトル候補は、結果として得られる予測子の位置と、予測子サンプルが空間的セグメントに属するか否かについてチェックされる。これが当てはまらない場合に、結果として得られるサブブロック動きベクトルは、空間的セグメント内のサンプル位置を指し示さない可能性がより高い。したがって、空間的セグメント境界の外側のサンプル位置を指し示す動きベクトル候補を空間的セグメント境界内の位置まで切り取ることが有利である。あるいは、そのようなシナリオではアフィン運動モデルを使用するモードが使用不可とされる。
【0128】
別の概念は、履歴ベースの動き情報予測候補（プリミティブ）構成に関する。履歴ベースの動き情報予測候補は、不一致を引き起こさないように前述の読込み順序２０４の最後に配置され得る。言い換えると、動きベクトル候補リストにＨＭＶＰ候補を追加すると、時間的に併置されたＭＶの可用性が、復号時のタイルレイアウトの変化により符号化後に変化する場合、復号器側の候補リストが符号器側と一致せず、そのような使用シナリオが想定される場合にＣｏｌ後のインデックスを使用できないという、前述したのと同じ問題が導入される。ここでの概念の趣旨は、必要な場合に、Ｃｏｌ候補がＨＭＶＰの後のリストの最後にシフトされる上記と同様である。
【0129】
ＭＶ候補リストを作成するために、上記の概念をタイル内のすべてのブロックに対して実行することができる。
【0130】
読込み順序内の履歴ベースの動き情報予測子候補の配置は、代替として、最も新しいインター予測ブロックの格納された動き情報の履歴リストに現在含まれている動き情報の検査に依存する方法で行われてもよいことに留意されたい。例えば、履歴リストに含まれる動き情報の、中央値、平均値などのいくつかの中心的傾向が、符号器および復号器によって、現在のブロックについて、履歴ベースの動き情報予測子候補が実際にタイル独立性との矛盾につながる可能性がどの程度あるかを検出するために使用され得る。例えば、ある平均に従って、履歴リストに含まれる動き情報が現在のタイルの中心の方を指し示す、または、より一般的に言えば、ブロック１０４の現在位置から、現在のタイル１００ａの境界１０２から十分に離れた位置を指し示す場合、履歴ベースの動き情報予測子候補がタイル独立性との矛盾につながる可能性は十分に低く、したがって、その場合に、履歴ベースの動き情報予測子候補（プリミティブ）は、平均的に、履歴リストが現在のタイル１００ａの境界１０２の近くか、または境界１０２を越える場所を指し示す場合と比較して読込み順序内でより早くに配置され得ると仮定され得る。中心的傾向の尺度に加えて、履歴リストに含まれる動き情報の分散尺度も使用され得る。変形などの分散が大きいほど、履歴ベースの動き情報予測子候補がタイル独立性との矛盾を引き起こし、さらに候補リスト１９０の最後の方に配置されるべきである可能性が高くなり得る。
【0131】
図２１に、最も新しく使用された動き情報、すなわち、最も新しく符号化／復号されたインター予測ブロックの動き情報の集合をバッファする動き情報履歴リスト５０２の中から選択された動き情報予測子候補５００で動き情報予測子候補リスト１９０の読込みを改善する概念を提示する。すなわち、リスト５０２のエントリ５０４の各々が、最も新しく符号化／復号されたインター予測ブロックのうちの１つに使用された動き情報を格納している。履歴リスト５０２におけるバッファは、符号器および復号器によって先入れ先出し方式で行われ得る。履歴リスト５０２の内容またはエントリを最新に保つための別の可能性も存在する。図２１に関して概説される概念は、タイルベースの独立符号化を使用する場合にも、タイルベースの独立符号化を使用しないときにも有用であるため、符号器および復号器は、その動き情報が履歴リスト５０２のエントリ５０４を埋めるために使用され、個々のタイル１００、すなわち、現在の符号化ブロック１０４を検査するときの現在のタイル１００ａに制限され得、またはタイルベースの独立符号化を使用しない場合には画像全体であるインター予測ブロックの収集エリアを制限し得る。さらに、図２１に関して説明される概念は、必ずしも、それに従って履歴ベースの動き情報予測子候補が、動き情報予測子候補リスト１９０内で最後の方に、少なくとも組み合わされた空間的候補などの空間的候補の後にシフトされる、上述した態様での概念で使用されるとは限らない。むしろ、以下で図２１に関して概説される概念は、単に、それを使用して履歴リスト５０２の中から履歴ベースの動き情報予測子候補を選択する５００時点で動き情報予測子候補リスト１９０にすでに読み込まれている動き情報予測子候補１９２があると想定する。最後に、図２１の場合にタイルベースの独立符号化が使用される場合でも、その場合、図２１の概念は、復号器が、ブロック１０４についての最終的にシグナリングされた動き情報に対して、またはリスト１９０に入力された動き情報予測子候補に対してタイル独立性の強制を行う上述した概念のいずれかと組み合わされる場合もあり、または組み合わされない場合もある。図２１の以下の説明では、タイルベースの独立符号化が適用されるが、復号器は、動き情報予測子候補１９２に関してタイル独立性の強制を行わないと仮定する。
【0132】
図２１に示されるように、インター予測ブロック１０４を符号化／復号する時点で、符号器および復号器は、動き情報予測子候補リスト１９０を確立する。図２１は、例示的に、動き情報予測子候補リスト１９０にはすでに、図２１にＡおよびＢとして指示される、２つの動き情報予測子候補１９２が読み込まれていると仮定している。この「２つ」は、当然ながら、単なる例である。特に、それを使用して、別の履歴ベースの予測子候補によるリスト１９０の読込みのための履歴ベースの候補を選択する５００時点でブロック１０４についてリスト１９０にすでに読み込まれている候補１９２の数は、空間的に、他の参照画像におけるいくつかの併置された位置およびその周囲にあるインター予測子ブロックの可用性に依存することを想起されたい。しかしながら、図２１が、例示的に、２つの候補１９２を、履歴リスト５０２の履歴ベースの候補を選択する５００時点でリスト１９０にすでに存在するものとして示していることは、図２１の概念が、少なくとも２つの候補プリミティブが読込み順序において履歴ベースの候補プリミティブに先行する事例に制限されることも、２つ未満の候補１９２が、リスト１９０のための履歴ベースの候補を選択する５００時点でリスト１９０にすでに存在する事例が発生し得ることも意味するものではない。
【0133】
図２１は、履歴ベースの動き情報予測子候補プリミティブを導出する、すなわち、埋められるべき候補リスト１９０内の次の空きエントリ５０６を使用する履歴ベースの動き情報予測子候補を選択する５００時点の状況を示している。特に、図２１は、それによってリスト１９０にこれまで読み込まれた候補１９２によって定義される動き情報、ＡおよびＢと、動きベクトルの形態の、図２１に丸で囲まれた１から丸で囲まれた５として指示されている、履歴リスト５０２のエントリ５０４内の動き情報とを示している。図２１の概念の理解を容易にするために、すべての動きベクトルＡ、Ｂおよび１～５が、例示的に、同じ参照画像１２ｂを参照するものとして指示されているが、これは必ずしもそうとは限らず、各候補１９２およびエントリ５０４の動き情報は、実際には、それぞれの動き情報が参照する参照画像にインデックスを付ける参照画像インデックスを含み得、このインデックスは、それぞれ、候補１９０間およびエントリ５０４間で異なり得ることが、当業者には明らかなはずである。
【0134】
単に履歴リスト５０２内の最も新しく入力された動き情報を選択する代わりに、符号器および復号器は、選択５００を行う時点でリスト１９０にすでに存在する動き情報予測子候補１９２を使用する。図２１の場合、これらは、動き情報予測子候補ＡおよびＢである。特に、選択５００を行うために、符号器および復号器は、それを使用して選択５００の前にリスト１９０にすでに読み込まれている動き情報予測子候補１９２に関して、履歴リスト５０２におけるエントリ５０４ごとの相違を判定する。この相違は、例えば、一方の履歴リスト５０２内のそれぞれの動き情報５０４と、他方のリスト１９０内の（１つまたは複数の）動き情報予測子候補１９２との間の動きベクトルの差に依存し得る。リスト１９０に複数の候補１９２が存在する場合、一方のリスト５０２内のそれぞれの動き情報５０４と他方のリスト１９０内の候補１９２との距離の最小値が、例えば、相違を決定するために使用され得る。差は、両方向矢印を使用してリスト５０２内の動き情報１に関して図２１に例示的に示されている。しかしながら、相違は、参照画像インデックスの差にも依存し得る。選択５００を行う際に相違をどのように使用するかについての異なる可能性が存在する。一般的に言えば、その目的は、リスト５０２の中から選択された動き情報５０４が、それを使用してリスト１９０にこれまで読み込まれた動き情報予測子候補１９２と十分に区別されるような方法で選択５００を行うことである。したがって、依存性は、履歴リスト５０２内の特定の動き情報５０４について選択される可能性が高いほど、リスト１９０にすでに存在する動き情報予測子候補１９２に対するその相違性が高くなるような方法で設計される。例えば、選択５００を、選択が、相違と、それぞれの動き情報５０４が履歴リスト５０２に入力されているそれぞれの動き情報５０４のランクとに依存するような方法で行うことができる。例えば、図２１の矢印５０８は、動き情報５０４がリスト５０２に入力された順序、すなわち、リスト５０２の上位のエントリはリスト５０２の下位のエントリよりも新しく入力されたものであることを指示するものとする。特定の実施形態によれば、例えば、符号器および復号器は、履歴リスト５０２から、その動き情報が、それを使用してリスト１９０にこれまで読み込まれた（１つまたは複数の）動き情報予測子候補１９２と異なる、その動き情報が所定の閾値未満である動き情報エントリ５０４を除外する。このために、符号器および復号器は、例えば、動きベクトルの差および／または参照画像インデックスの差に依存する前述の距離尺度の例を使用し、ある所定の閾値パラメータに対する結果として得られる相違を閾値処理し得る。この手順の結果は、そこから選択５００が次いで、最も新しく入力された動き情報エントリを使用して位置５０６でリスト１９０に入力されるべき動き情報予測子候補を形成することによって行われ得る動き情報エントリのサブセットのみが残るような、リスト５０２からの特定の動き情報エントリ５０４の除外である。ランク順序で、履歴リスト５０２を使用して読み込まれなければならない別の候補位置を有するリスト１９０の場合にはこの手順が繰り返され得る。その場合、前述の閾値パラメータが、リスト５０２内の動き情報エントリのあまり厳しくない除外をもたらすように下げられることがあってもよい。すなわち、より類似した動き情報が、リスト５０２の中からの動き情報エントリのサブセットをもたらすことが認められ、その中から次いで、リスト１９０の次の動き情報予測子候補が、履歴リスト５０２に最も新しく入力された動き情報予測子候補として選択される。当然ながら、それを使用してこれまで候補リスト１９０に読み込まれた（１つまたは複数の）動き情報予測子候補１９２に関して、リスト５０２内の動き情報エントリ５０４の相違に依存する方法で選択５００を行う他の可能性も存在する。
【0135】
実際、図２１の概念は、それら相互の相違が大きいために、符号器が、優れた歪み最適化に関して、このリスト１９０の中ら最適な候補を見つける可能性を高める動き情報予測子候補１９２を収集する入力予測されるブロック１０４の動き情報予測子候補リスト１９０につながる。その場合、符号器は、次いで、特定の予測残差１９４と共にそれぞれのポインタ１９３によって、データストリーム１４においてブロック１０４のリスト１９０の中から選択された候補をシグナリングし得る。
【0136】
当然ながら、前述の可能性は、履歴リスト５０２の中から選択された履歴ベースの動き情報予測子候補に制限されない。むしろ、このプロセスは、可能な動き情報予測子候補の別のリザーバの中から選択を行うためにも使用され得る。例えば、動き情報予測子候補のサブセットが、図２１に関して説明された方法でより大きい動き情報予測子候補セットの中から選択されてもよい。
【0137】
言い換えると、最先端技術は、既存のリスト候補のいずれも、水平成分および垂直成分および参照インデックスにおいて潜在的に追加されるべきＨＭＶＰ候補と一致しないという基準のみで利用可能なＨＭＶＰ候補を追加する手順である。マージ候補リストやサブブロック動きベクトルなどの動きベクトル候補リストに追加されるＨＭＶＰ候補の質を高めるために、各ＨＭＶＰ候補のリスト挿入は、適応的閾値に基づくものである。例えば、動きベクトル候補リストが空間的な近傍Ａですでに埋められており、さらなる候補ＢおよびＣｏｌが、次の空いているリストエントリに、最初の適格なＨＭＶＰ候補を追加する前に利用できないとすると、適格なＨＭＶＰ候補と既存のエントリ（与えられた例ではＡ）との間の差が測定される。閾値が満たされる場合にのみ、それぞれのＨＭＶＰ候補が追加され、そうでない場合、次の適格なＨＭＶＰがテストされ、以下同様である。上記の差分尺度は、ＭＶの水平成分および垂直成分と、参照インデックスとを組み込み得る。一実施形態では、閾値は各ＨＭＶＰ候補に適合され、例えば、閾値が下げられる。
【0138】
最後に、図２２は、コーデックが動き補償双方向予測を改善するための双方向オプティカルフローツールを使用する事例に関する。図２２に、双方向予測的符号化ブロック１０４を示す。一方が参照画像１２ｂ１に関連し、他方が参照画像１２ｂ２に関連する、２つの動きベクトル１５４１および１５４２が、ブロック１０４のデータストリームでシグナリングされる。それぞれの動きベクトル１５４１および１５４２に従って変位された場合の、参照画像１２ｂ１および１２ｂ２内のブロック１０４のフットプリントが、それぞれ、図２２において１６０１および１６０２に指示されている。ＢＩＯツールは、それぞれの参照画像１２ｂ１および１２ｂ２における対応するパッチ１３０１および１３０２から導出される２つの仮説を組み合わせるために、ブロック１０４のエリアを局所的に横切る輝度勾配方向を決定する。これらの輝度勾配方向を使用して、ＢＩＯツールは、ブロック１０４が、それぞれ、２つの参照画像１２ｂ１および１２ｂ２から予測される方法を、ブロック１０４全体にわたって変化する方法で変更する。ＢＩＯツールの結果として、それぞれの動きベクトル１５４１または１５４２がサブ画素動きベクトルである、および／または補間フィルタが必要である、場合のみならず、フル画素ベクトルである場合においても、パッチ１３０１および１３０２がブロック１０４のサイズに対して拡大されることになる。どちらの場合にも、ｎをｎ＞０の整数とする、ｎサンプル幅の拡張だけの追加の拡大により、パッチを拡大する。これが、ＢＩＯツールの動作の結果である。すなわち、局所的輝度勾配を決定できるように、ＢＩＯツールは、パッチ１３０１および１３０２の各々から、図２２において参照符号４３２で指示されている、上記のｎサンプル幅の拡張エッジ部分によってブロック１０４のサイズに対して拡大されるそれぞれの仮説ブロック４０２１および４０２２を導出する。拡大された仮説ブロック４０２１および４０２２を生成するために、パッチ１３０１および１３０２の拡張エッジ部分１７２１および１７２２は、少なくとも、ブロック１０４の幅と比較して対応するｎサンプル幅の拡大４３４に対応し、対応する動きベクトル１５４１および１５４２がサブ画素動きベクトルである場合に、補間フィルタのカーネル範囲に対応する幅だけの拡大４３６にさらに対応する。よって、ｎは、双方向オプティカルフローツールと関連付けられるサンプル幅または拡張に準ずる。図２２では、動きベクトル１５４２は、ＢＩＯツールがパッチ１３０２から仮説ブロック４０２２を補間４３５２によって導出するようにサブ画素ベクトルであったが、動きベクトル１５４１がフル画素動きベクトルである場合には、ＢＩＯツールがサンプルコピー４３５１のみによってブロック４０２１を導出し得る、ことが例示的に想定されている。ＢＩＯツールは、その場合、ブロック１０４の最終的な双方向予測の予測子４３８を取得するために局所勾配に依存してブロックのエリア全体で変化する方法で線形結合４３６によってブロック１０４のエリア１６０１および１６０２内で、両方の仮説、すなわち、参照画像１２ｂ１から得られた仮説予測子４０２１と参照画像１２ｂ２から得られた予測子４０２２とを組み合わせるために、決定された勾配をブロック４０２１および４０２２でそれぞれ使用するために、仮説ボック４０２１および４０２２の局所的輝度勾配を決定する。特に、ブロック１０４の各サンプル４４２について、ブロック４０２１および４０２２内の対応するサンプル４４０１および４４０２が追加され、１／２ずつなどのそれぞれの仮説重みで重み付けされるかまたはその合計が任意選択で１になり得る他の重みで重み付けされ、次いで、それぞれのサンプル４４２を導出するために、ブロック４０２１および４０２２内の対応するサンプル４４０１および４４０２について決定された輝度勾配に依存する定数を追加する。これは、その両方がＢＩＯツールを有する符号器および復号器によって行われる。
【0139】
拡大４３６に関する限り、すなわち、補間による拡大に関する限り、符号器が、動きベクトル１５４１および１５４２をデータストリームに符号化するために使用される動きベクトル予測子に関する上記の復号器のタイル独立性制約の強制の有無にかかわらず、パッチ１３０１および１３０２のいずれも境界１０２を横切らないこと、または、代替として、復号器がそれ自体で最終的な動きベクトル１５４１および１５４２に関するタイル独立性制約の強制を行うことに注意を払う、ということがあってもよい。しかしながら、双方向オプティカルフローツールと関連付けられるサンプル幅ｎ以下の量だけ境界１０２を越えるパッチ１３０１および１３０２の拡張が、依然として可能であろう。しかしながら、符号器と復号器の両方が、追加のｎサンプル幅の拡張４３４により、パッチ１３０１および１３０２のいずれかが、それでもなお境界１０２を横切ることになるか否かをチェックする。これが該当する場合に、映像符号器および映像復号器は、ＢＩＯツールを非アクティブ化する。そうでない場合に、ＢＩＯツールは非アクティブ化されない。したがって、ＢＩＯツールを制御するためのデータストリームにおけるシグナリングは不要である。図２２では、パッチ１３０２が近傍のタイル１００ｂの方に現在のタイル１００ａの境界１０２を横切ることが示されている。したがって、ＢＩＯツールは、ここでは、パッチ１３０２が境界１０２を横切ることを復号器および符号器が認識するため、非アクティブ化される。補足として、図１１に関して上述したように、復号器は、タイル境界認識のＢＩＯツール非アクティブ化が不要になるように、動きベクトル１５４をクリップする際にｎサンプルの拡大４３４に対応することができることを想起されたい。
【0140】
例えば、ＢＩＯが非アクティブ化される場合には、各サンプル４４２、Ｓａｍｐｌｅ（ｘ，ｙ）は、以下のように、仮説ブロック４０２１および４０２２の対応するサンプル４４０１および４４０２、ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］およびｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］、の単純な加重和として導出される。
Ｓａｍｐｌｅ（ｘ，ｙ）＝ｒｏｕｎｄ（０．５＊ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］＋０．５＊ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］）
現在の予測ブロックのすべての（ｘ，ｙ）について。
Ｓａｍｐｌｅ（ｘ，ｙ）＝ｒｏｕｎｄ（０．５＊ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］＋０．５＊ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］）
現在の予測ブロックのすべての（ｘ，ｙ）について。
【0141】
ＢＩＯツールがアクティブ化されると、これは以下のように変化する。
Ｓａｍｐｌｅ（ｘ，ｙ）＝ｒｏｕｎｄ（０．５＊ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］＋０．５＊ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］＋ｂｉｏＥｎｈ（ｘ，ｙ））
現在の予測ブロック１０４のすべての（ｘ，ｙ）について
ｂｉｏＥｎｈ（ｘ，ｙ）は、２つの参照４０２１および４０２２の各々の対応する各参照サンプル４４０１および４４０２の勾配で計算されたオフセットである。
Ｓａｍｐｌｅ（ｘ，ｙ）＝ｒｏｕｎｄ（０．５＊ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］＋０．５＊ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］＋ｂｉｏＥｎｈ（ｘ，ｙ））
現在の予測ブロック１０４のすべての（ｘ，ｙ）について
ｂｉｏＥｎｈ（ｘ，ｙ）は、２つの参照４０２１および４０２２の各々の対応する各参照サンプル４４０１および４４０２の勾配で計算されたオフセットである。
【0142】
あるいは、復号器は、境界パディングを使用して、フットプリント402および402'の周囲432を埋め、それによって、境界102を超えて近傍のタイルに延びるパッチ430および430'になるように拡張される。
【0143】
言い換えると、ＭＣＴＳなどの独立符号化される空間的セグメントを伴う使用シナリオでは、上記のＢＩＯ手順は、ＭＣＴＳ間の依存性を回避するように制限される必要がある。
【0144】
上記の実施形態の一部として、初期の精緻化されていない参照ブロックがそれぞれの画像において空間的セグメントの境界の位置に配置されている場合には、空間的セグメントの外側のサンプルを必要な勾配計算手順に含めるために、ＢＩＯが非アクティブ化される。
【0145】
あるいは、この場合、空間的セグメントの外側は、空間的セグメントの空間的セグメント境界でのサンプル値の反復またはミラーリングや、より高度なパディングモードなどの境界パディング手順によって拡張される。このパディングにより、勾配計算を、近傍の空間的セグメントのサンプルを使用せずに実行することが可能になる。
【0146】
以下の最後の説明は、上記の実施形態および概念に関して行われる。様々な実施形態および概念の説明を通して数回述べたように、それらの実施形態および概念は、特定の映像コーデックにおいて個別または同時に使用および実施され得る。さらに、多くの図において、そこに記載されている動き情報が動きベクトルを含むものとして示されていることは、可能性としてのみ解釈されるものとし、動き情報が動きベクトルを含むことを特に利用しなかった実施形態を制限しないものとする。例えば、図８に関して説明された復号器の側でのタイル境界依存の動き情報導出は、動きベクトルベースの動き情報に制限されない。図９に関して、そこで図示されている動き情報に対する復号器のタイル独立性制約の強制の適用は、動きベクトルベースの種類の動き情報にも、図１０に提示されている動き情報の予測符号化にも制限されないことに留意されたい。図１１にフィードバックすると、パッチをインター予測ブロックのフットプリントよりも大きくさせ得る例が提示されている。様々な図に関して説明された本出願の実施形態は、しかしながら、その状況に特に言及している実施形態を除いて、そのような拡大が、例えば、発生しないコーデックにも関連し得る。例えば、図１２ａおよび図１２ｂの実施形態では、この状況に特に言及した。図１３に関して、タイル独立性制約の強制を動き情報予測または動き情報予測子に適用する概念が提示されている。しかしながら、図１３では、動き情報予測子候補リストの使用／確立に関するこの概念を例示したが、この概念は、インター予測ブロックのための動き情報予測子候補リストを確立しないコーデックにも適用され得ることに留意されたい。すなわち、単に、１つの動き情報予測／予測子が、タイル独立性制約の強制を使用する方法でブロック１０４のために導出されてもよい。しかしながら、以上において、図１３および図１４は、ただ１つの動き情報予測子を参照するように変更され得る実施形態を表している。さらに、前述の図、すなわち特に、図１１、図１２ａおよび図１２ｂに関して説明された強制に関するすべての詳細は、図１３および図１４の実施形態をより詳細に指定および実施するために使用され得ることが上記ですでに説明されている。図１５に関して、それに従って、動き情報予測子候補の可用性がそれらがタイル独立性制約の矛盾を引き起こすか否かに依存して与えられる実施形態／概念が提示されている。この概念は、例えば、特定の動き情報予測子候補（プリミティブ）は、タイル独立性制約の強制を使用して決定され、一部は、それぞれの候補がタイル独立性制約の矛盾を引き起こすか否かに依存して可用性を導出されるという点において、図１３および図１４の実施形態と混合され得ることに留意されたい。さらに、図１５の実施形態は、例えば、図９に関して前述されたような復号器側でのタイル独立性制約の強制の適用と組み合わされ得る。動き情報予測子候補リストに言及しているか、または動き情報予測子候補リストを利用するすべての実施形態において、それに従って、時間的動き情報予測子候補の決定が、現在のブロックが現在のタイルの特定の側に隣接しているか否かに依存する方法で行われ、読込み順序が、現在のブロックが、この時間的動き情報予測子候補に関して現在のタイルの特定の側に隣接しているか否かに依存して変更される、図１６の概念が使用され得る。図１７は、詳細を提供している。この場合もやはり、図１６および図１７のこの概念は、最終状態の動き情報および／または（１つもしくは複数の）予測子に対する復号器側のタイル独立性制約の強制の適用、ならびに図１２および図１４による可用性制御と組み合わされ得る。後者はまた、図１８に従って時間的動き情報予測子候補を導出する概念である。この概念は、図１６および図１７の概念と組合せ可能であると述べたすべての概念と組合せ可能であり、一方では図１６および図１７の概念と組合せ、他方では図１８の概念と組み合わせることさえも実現可能である。図１９は図１８の代替図を表しているので、図１８に関して行われた説明は図１９にも関連する。図１８および図１９は、特に、ブロックにただ１つの動き情報予測子が、すなわち候補リストの確立なしで、決定される場合にも使用され得る。図２０に関して、この概念の基礎を成すモード、すなわち、アフィン運動モデルモードは、例えば、本明細書に記載されている他のすべての実施形態に関して説明されたモード以外の映像コーデックの１つのモードを表し得るか、または映像コーデックの唯一のインター予測モードを表し得ることに留意されたい。言い換えると、ベクトル３０６ａおよび３０６ｂで表された動き情報は、任意の他の実施形態に関して言及された候補リストに入力されたものであるか、またはブロック１０４の唯一の予測子を表してもよい。図２１に関して提示された候補リストに含まれる動き情報の可変性を増加させるための可変性増加概念は、上記のように、その他の実施形態のいずれかと組み合わされ得、特に、履歴ベースの動き情報予測子候補に限定されない。図２１に関して説明されたＢＩＯツールの実施形態に関して、図２０のアフィン運動モデルの実施形態に関して同様の記述がなされている。本明細書に記載されているすべての実施形態に関して、図２１に関して示されているもののように、ブロック１０４に複数の動き情報予測子候補が導出される場合、それらが必ずしも同じ参照画像１２ｂを参照するとは限らず、これは、図２２に概説されているＢ予測ブロックにのみ当てはまるわけではないことに留意されたい。さらに、上記の説明では、主に、近傍のタイル１００ａおよび１００ｂ間の境界、すなわち、画像を通る境界に注目した。しかしながら、上記の詳細は、画像境界と一致するタイル境界、すなわち、画像の外周と隣接しているタイルの境界にも移行され得ることに留意されたい。これらの境界にも、例えば、前述の復号器側のタイル独立性制約の強制が確立され得るか、または可用性制約が適用され得、以下同様である。またさらに、上記のすべての実施形態において、映像コーデックがデータストリームに、その種のタイル独立性制約が映像の符号化に使用されるか否かを指示するフラグを含むことがあってもよい。すなわち、映像コーデックは、復号器に、復号器が特定の制約を適用することになるか否か、および符号器がその符号器側の制約の監視を適用したか否かをシグナリングし得る。
【0147】
いくつかの態様が装置の文脈で説明されているが、これらの態様は、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応する、対応する方法の説明も表していることは明らかである。同様に、方法ステップの文脈で説明された態様も、対応するブロックもしくは項目または対応する装置の特徴を表している。方法ステップの一部または全部が、例えば、マイクロプロセッサ、プログラマブルコンピュータ、または電子回路のようなハードウェア装置によって（またはハードウェア装置を使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのうちの１つまたは複数がそのような装置によって実行され得る。
【0148】
本発明の符号化映像信号またはデータストリームは、それぞれ、デジタル記憶媒体に格納することができ、またはインターネットなどの無線伝送媒体や有線伝送媒体といった伝送媒体で伝送することができる。
【0149】
特定の実施要件に応じて、本発明の実施形態を、ハードウェアまたはソフトウェアで実施することができる。実施態様は、それぞれの方法が行われるようにプログラマブル・コンピュータ・システムと協働する（または協働することができる）、電子的に読み取り可能な制御信号が格納されたデジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、Ｂｌｕ－Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実行することができる。したがって、デジタル記憶媒体はコンピュータ可読であってもよい。
【0150】
本発明によるいくつかの実施形態は、本明細書に記載される方法のうちの１つが行われるように、プログラマブル・コンピュータ・システムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【0151】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で動作すると、方法のうちの１つを行うように動作する。プログラムコードは、例えば、機械可読キャリア上に格納され得る。
【0152】
他の実施形態は、機械可読キャリアに格納された、本明細書に記載される方法のうちの１つを行うためのコンピュータプログラムを含む。
【0153】
言い換えると、本発明の方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で動作するときに本明細書に記載される方法のうちの１つを行うためのプログラムコードを有するコンピュータプログラムである。
【0154】
本発明の方法の別の実施形態は、したがって、本明細書に記載される方法のうちの１つを行うためのコンピュータプログラムが記録されているデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録された媒体は通常、有形および／または非一時的である。
【0155】
本発明の方法の別の実施形態は、したがって、本明細書に記載される方法のうちの１つを行うためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成され得る。
【0156】
別の実施形態は、本明細書に記載される方法のうちの１つを行うように構成または適合された処理手段、例えば、コンピュータ、またはプログラマブル・ロジック・デバイスを含む。
【0157】
別の実施形態は、本明細書に記載される方法のうちの１つを行うためのコンピュータプログラムがインストールされたコンピュータを含む。
【0158】
本発明による別の実施形態は、本明細書に記載される方法のうちの１つを行うためのコンピュータプログラムを受信機に（例えば、電子的または光学的に）転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含み得る。
【0159】
いくつかの実施形態では、プログラマブル・ロジック・デバイス（例えば、フィールド・プログラマブル・ゲート・アレイ）を使用して、本明細書に記載される方法の機能の一部または全部が行われ得る。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイが、本明細書に記載される方法のうちの１つを行うためにマイクロプロセッサと協働し得る。一般に、これらの方法は、好ましくは、任意のハードウェア装置によって行われる。
【0160】
本明細書に記載される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組合せを使用して実施され得る。
【0161】
本明細書に記載される装置、または本明細書に記載される装置の任意の構成要素は、少なくとも部分的に、ハードウェアとして、および／またはソフトウェアとして実施され得る。
【0162】
本明細書に記載される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組合せを使用して行われ得る。
【0163】
本明細書に記載される方法、または本明細書に記載される装置の任意の構成要素は、少なくとも部分的に、ハードウェアによって、および／またはソフトウェアによって実施され得る。
【0164】
上述した実施形態は、本発明の原理の単なる例示である。当業者には本明細書に記載される構成および詳細の改変および変形が明らかになることを理解されたい。したがって、本明細書において実施形態の記述および説明として提示された具体的な詳細によってではなく、差し迫る特許請求の範囲によってのみ限定されることが意図されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12a】
【図12b】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【手続補正書】
【提出日】2023-08-08
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
少なくとも１つのプロセッサとメモリを備える映像復号器であって、
前記メモリは、前記少なくとも１つのプロセッサにより実行されるとき、前記映像復号器に、
現在の画像の現在の予測ブロックについて、前記現在の画像のすでに復号されたブロックおよび前記現在の予測ブロックの位置から、動き情報を使用して参照画像内の併置されたブロックの位置を決定することであって、前記参照画像は前記現在の画像に時間的に先行し、前記動き情報は、動きベクトルＭＶＴｅｍｐの和を含み、前記位置を決定することは前記動き情報をクリッピングすることを含み、その結果、前記参照画像内の前記併置されたブロックが独立して符号化された空間領域に属するように制約される、前記位置を決定することと、
前記併置されたブロックからの動きベクトルを使用して、前記現在の予測ブロックについて、予測された動きベクトルを決定することと、
を行わせる、命令を含む、映像復号器。
前記メモリは、前記少なくとも１つのプロセッサにより実行されるとき、前記映像復号器に、
現在の画像の現在の予測ブロックについて、前記現在の画像のすでに復号されたブロックおよび前記現在の予測ブロックの位置から、動き情報を使用して参照画像内の併置されたブロックの位置を決定することであって、前記参照画像は前記現在の画像に時間的に先行し、前記動き情報は、動きベクトルＭＶＴｅｍｐの和を含み、前記位置を決定することは前記動き情報をクリッピングすることを含み、その結果、前記参照画像内の前記併置されたブロックが独立して符号化された空間領域に属するように制約される、前記位置を決定することと、
前記併置されたブロックからの動きベクトルを使用して、前記現在の予測ブロックについて、予測された動きベクトルを決定することと、
を行わせる、命令を含む、映像復号器。
【請求項2】
前記動き情報は、前記現在の予測ブロックの対応するＣＴＵ境界内に含まれるようにクリップされる、請求項１に記載された映像復号器。
【請求項3】
前記メモリは、さらに、前記少なくとも１つのプロセッサにより実行されるとき、前記映像復号器に、含まれる画像の時間的な差異にしたがい、前記併置されたブロックからの前記動きベクトルをスケーリングさせる、命令を含む、請求項１に記載の映像復号器。
【請求項4】
前記メモリは、さらに、前記少なくとも１つのプロセッサにより実行されるとき、前記映像復号器に、前記参照画像について、データストリームから参照画像インデックスを復号させる、命令を含む、請求項１に記載の映像復号器。
【請求項5】
前記メモリは、さらに、前記少なくとも１つのプロセッサにより実行されるとき、前記映像復号器に、データストリームから動きベクトル予測残差を復号させる、命令を含む、請求項１に記載の映像復号器。
【請求項6】
前記メモリは、さらに、前記少なくとも１つのプロセッサにより実行されるとき、前記映像復号器に、データストリームからのインデックスに基づいて、前記予測された動きベクトルを動きベクトル候補リストから選択された候補として選択する、命令を含む、請求項１に記載の映像復号器。
【請求項7】
前記メモリは、さらに、前記少なくとも１つのプロセッサにより実行されるとき、前記映像復号器に、前記現在の予測ブロックについて、前記データストリームからの動きベクトル予測残差を、動きベクトルを生成する前記選択された候補に追加させる、命令を含む、請求項６に記載の映像復号器。
【請求項8】
現在の画像の現在の予測ブロックについて、前記現在の画像のすでに復号されたブロックおよび前記現在の予測ブロックの位置から、動き情報を使用して参照画像内の併置されたブロックの位置を決定することであって、前記参照画像は前記現在の画像に時間的に先行し、前記動き情報は、動きベクトルＭＶＴｅｍｐの和を含み、前記位置を決定することは前記動き情報をクリッピングすることを含み、その結果、前記参照画像内の前記併置されたブロックが独立して符号化された空間領域に属するように制約される、前記位置を決定することと、
前記併置されたブロックからの動きベクトルを使用することにより、前記現在の予測ブロックについて、予測された動きベクトルを決定することと、を含む、映像復号の方法。
前記併置されたブロックからの動きベクトルを使用することにより、前記現在の予測ブロックについて、予測された動きベクトルを決定することと、を含む、映像復号の方法。
【請求項9】
前記動き情報は、前記現在の予測ブロックの対応するＣＴＵ境界内に含まれるようにクリップされる、請求項８に記載された方法。
【請求項10】
含まれる画像の時間的な差異にしたがい、前記併置されたブロックからの前記動きベクトルをスケーリングすること、をさらに含む、請求項８に記載の方法。
【請求項11】
前記参照画像について、データストリームから参照画像インデックスを復号すること、をさらに含む、請求項８に記載の方法。
【請求項12】
データストリームから動きベクトル予測残差を復号すること、をさらに含む、請求項８に記載の方法。
【請求項13】
データストリームからのインデックスに基づいて、前記予測された動きベクトルを動きベクトル候補リストから選択された候補として選択すること、をさらに含む、請求項８に記載の方法。
【請求項14】
前記現在の予測ブロックについて、前記データストリームからの動きベクトル予測残差を、動きベクトルを生成する前記選択された候補に追加すること、をさらに含む、請求項１３に記載の方法。
【請求項15】
コンピュータプログラム命令を格納した非一時的デジタル記憶媒体であって、コンピュータプログラムがコンピュータにより実行されるとき、前記コンピュータプログラム命令は、
現在の画像の現在の予測ブロックについて、前記現在の画像のすでに復号されたブロックおよび前記現在の予測ブロックの位置から、動き情報を使用して参照画像内の併置されたブロックの位置を決定することであって、前記参照画像は前記現在の画像に時間的に先行し、前記動き情報は、動きベクトルＭＶＴｅｍｐの和を含み、前記位置を決定することは前記動き情報をクリッピングすることを含み、その結果、前記参照画像内の前記併置されたブロックが独立して符号化された空間領域に属するように制約される、前記位置を決定することと、
前記併置されたブロックからの動きベクトルを使用することにより、前記現在の予測ブロックについて、予測された動きベクトルを決定することと、を実行する、非一時的デジタル記憶媒体。
現在の画像の現在の予測ブロックについて、前記現在の画像のすでに復号されたブロックおよび前記現在の予測ブロックの位置から、動き情報を使用して参照画像内の併置されたブロックの位置を決定することであって、前記参照画像は前記現在の画像に時間的に先行し、前記動き情報は、動きベクトルＭＶＴｅｍｐの和を含み、前記位置を決定することは前記動き情報をクリッピングすることを含み、その結果、前記参照画像内の前記併置されたブロックが独立して符号化された空間領域に属するように制約される、前記位置を決定することと、
前記併置されたブロックからの動きベクトルを使用することにより、前記現在の予測ブロックについて、予測された動きベクトルを決定することと、を実行する、非一時的デジタル記憶媒体。
【請求項16】
前記動き情報は、前記現在の予測ブロックの対応するＣＴＵ境界内に含まれるようにクリップされる、請求項１５に記載された非一時的デジタル記憶媒体。
【請求項17】
前記コンピュータプログラムは、含まれる画像の時間的な差異にしたがい、前記併置されたブロックからの前記動きベクトルをスケーリングする命令をさらに含む、請求項１５に記載の非一時的デジタル記憶媒体。
【請求項18】
前記コンピュータプログラムは、データストリームから動きベクトル予測残差を復号する命令、をさらに含む、請求項１５に記載の非一時的デジタル記憶媒体。
【請求項19】
前記コンピュータプログラムは、データストリームからのインデックスに基づいて、前記予測された動きベクトルを動きベクトル候補リストから選択された候補として選択する命令、をさらに含む、請求項１５に記載の非一時的デジタル記憶媒体。
【請求項20】
前記コンピュータプログラムは、前記現在の予測ブロックについて、前記データストリームからの動きベクトル予測残差を、動きベクトルを生成する前記選択された候補に追加する命令、をさらに含む、請求項１９に記載の非一時的デジタル記憶媒体。