IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三星電子株式会社の特許一覧

特開2024-163294動きベクトルの符号化装置及びその方法、及び動きベクトルの復号装置及びその方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024163294
(43)【公開日】2024-11-21
(54)【発明の名称】動きベクトルの符号化装置及びその方法、及び動きベクトルの復号装置及びその方法
(51)【国際特許分類】
   H04N 19/52 20140101AFI20241114BHJP
   H04N 19/513 20140101ALI20241114BHJP
【FI】
H04N19/52
H04N19/513
【審査請求】有
【請求項の数】3
【出願形態】OL
(21)【出願番号】P 2024158162
(22)【出願日】2024-09-12
(62)【分割の表示】P 2022561098の分割
【原出願日】2021-01-27
(31)【優先権主張番号】10-2020-0044297
(32)【優先日】2020-04-10
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2021-0011031
(32)【優先日】2021-01-26
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】129,Samsung-ro,Yeongtong-gu,Suwon-si,Gyeonggi-do,Republic of Korea
(74)【代理人】
【識別番号】110004381
【氏名又は名称】弁理士法人ITOH
(72)【発明者】
【氏名】パク,ミンウ
(72)【発明者】
【氏名】パク,ミンス
(72)【発明者】
【氏名】チェー,グァンピョ
(72)【発明者】
【氏名】チェー,キホ
(72)【発明者】
【氏名】ピョ,インジ
(57)【要約】
【課題】動きベクトルの符号化装置及びその方法、及び動きベクトルの復号装置及びその方法を提供する。
【解決手段】 現在ブロックに隣接した周辺ブロックのうち、ビットストリームから獲得した情報によって選択される第1周辺ブロックの利用可能性を判断する段階と、第1周辺ブロックの利用可能性を示す情報から、第1周辺ブロックが利用可能ではないと識別されるか、あるいは現在ブロックの予測方向と同一予測方向の第1周辺ブロックの参照映像インデックスが、事前に決定された値と同一であるならば、現在ブロックに隣接した、事前に決定された位置の第2周辺ブロックの動きベクトルから、現在ブロックの予測動きベクトルを獲得する段階と、現在ブロックの予測動きベクトルと、差分動きベクトルとを結合し、現在ブロックの動きベクトルを獲得する段階と、を含む、一実施形態による、動きベクトルの復号方法が開示される。
【選択図】図20
【特許請求の範囲】
【請求項1】
映像復号装置による動きベクトルの復号方法において、
現在ブロックの動きベクトル解像度を示す情報をビットストリームから獲得する段階と、
前記現在ブロックの動きベクトル解像度を示す情報を利用し、前記現在ブロックに隣接した複数の周辺ブロックのうち、第1周辺ブロックを選択する段階と、
前記現在ブロックがリスト0内の参照ピクチャを参照し、前記第1周辺ブロックが前記リスト0内の参照ピクチャを参照すれば、前記第1周辺ブロックの動きベクトルを利用し、前記現在ブロックの動きベクトル予測を決定する段階と、
前記現在ブロックが前記リスト0内の参照ピクチャを参照し、前記第1周辺ブロックがリスト1内の参照ピクチャを参照すれば、前記複数の周辺ブロックのうち、第2周辺ブロックの動きベクトルをデフォルト動きベクトルと決定し、前記デフォルト動きベクトルを利用し、現在ブロックの前記動きベクトル予測を決定する段階と、
前記現在ブロックの動きベクトル解像度を示す情報に基づいて前記動きベクトル予測を調節する段階と、
前記現在ブロックの調節された動きベクトル予測を利用し、前記現在ブロックの動きベクトルを決定する段階と、を含む、動きベクトルの復号方法。
【請求項2】
映像符号化装置による動きベクトルの符号化方法において、
現在ブロックの動きベクトル解像度を決定する段階と、
前記現在ブロックの動きベクトル解像度を利用し、前記現在ブロックに隣接した複数の周辺ブロックのうち、第1周辺ブロックを選択する段階と、
前記現在ブロックがリスト0内の参照ピクチャを参照し、前記第1周辺ブロックが前記リスト0内の参照ピクチャを参照すれば、前記第1周辺ブロックの動きベクトルを利用し、前記現在ブロックの動きベクトル予測を決定する段階と、
前記現在ブロックが前記リスト0内の参照ピクチャを参照し、前記第1周辺ブロックがリスト1内の参照ピクチャを参照すれば、前記複数の周辺ブロックのうち、第2周辺ブロックの動きベクトルをデフォルト動きベクトルと決定し、前記デフォルト動きベクトルを利用し、前記現在ブロックの動きベクトル予測を決定する段階と、
前記現在ブロックの動きベクトル解像度に基づいて前記動きベクトル予測を調節する段階と、
前記現在ブロックの動きベクトル解像度を示す情報を含むビットストリームを生成する段階と、を含む、動きベクトルの符号化方法。
【請求項3】
請求項2に記載の動きベクトルの符号化方法によって生成されたビットストリームを伝送する方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像の符号化分野及び復号分野に係り、さらに具体的には、周辺の動きベクトルを利用し、現在動きベクトルを符号化及び復号する装置及びその方法に関する。
【背景技術】
【0002】
映像の符号化及び復号においては、映像をブロックに分割し、インター予測(inter prediction)またはイントラ予測(intra prediction)を介し、それぞれのブロックを予測符号化及び予測復号することができる。
【0003】
該インター予測は、映像間の時間的な重複性を除去し、映像を圧縮する方法であり、動き推定符号化が代表的な例である。該動き推定符号化は、少なくとも1つの参照映像を利用し、現在映像のブロックを予測する。所定の評価関数を利用し、現在ブロックと最も類似した参照ブロックを、所定の検索範囲で検索することができる。該現在ブロックを該参照ブロックとに基づいて予測し、該予測結果として生成された予測ブロックを現在ブロックから減算し、残差ブロックを生成及び符号化する。このとき、該予測をさらに正確に行うために、該参照映像に対して補間を行い、整数画素単位(integer pel unit)より小さい副画素単位(sub pel unit)のピクセルを生成し、副画素単位のピクセルに基づき、インター予測を行うことができる。
【0004】
H.264 AVC(Advanced Video Coding)及びHEVC(High Efficiency Video Coding)のようなコーデックにおいては、現在ブロックの動きベクトルを予測するために、現在ブロックに隣接した、以前に符号化されたブロック、または以前に符号化された映像に含まれたブロックの動きベクトルを利用する。現在ブロックの動きベクトルと、以前に符号化されたブロックの動きベクトルとの差である差分動きベクトル(differential motion vector)は、所定の方式を介し、デコーダ側にシグナリングされる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
一実施形態による、動きベクトルの符号化装置及びその方法、及び動きベクトルの復号装置及びその方法は、現在ブロックの動きベクトルの予測正確性を向上させることを技術的課題とする。
【0006】
また、一実施形態による、動きベクトルの符号化装置及びその方法、及び動きベクトルの復号装置及びその方法は、ビットストリームに含まれる差分動きベクトルの大きさを低減させることを技術的課題とする。
【課題を解決するための手段】
【0007】
一実施形態による動きベクトルの復号方法は、ビットストリームから獲得した情報により、現在ブロックに隣接した周辺ブロックのうち、第1周辺ブロックを選択する段階と、前記第1周辺ブロックの利用可能性を示す情報を利用し、前記第1周辺ブロックが利用可能であると識別され、前記現在ブロックの予測方向と同一予測方向における前記第1周辺ブロックの動きベクトルが存在しなければ、前記現在ブロックに隣接した、事前に決定された位置の第2周辺ブロックの動きベクトルから、前記現在ブロックの予測動きベクトルを獲得する段階と、前記現在ブロックの予測動きベクトルと、差分動きベクトルとを結合し、前記現在ブロックの動きベクトルを獲得する段階と、を含むものでもある。
【発明の効果】
【0008】
一実施形態による動きベクトルの符号化装置及びその方法、及び動きベクトルの復号装置及びその方法は、現在ブロックの動きベクトルの予測正確性を向上させることができる。
【0009】
また、一実施形態による動きベクトルの符号化装置及びその方法、及び動きベクトルの復号装置及びその方法は、ビットストリームに含まれる差分動きベクトルの大きさを低減させることができる。
【0010】
ただし、一実施形態による動きベクトルの符号化装置及びその方法、及び動きベクトルの復号装置及びその方法が達成することができる効果は、以上で言及したところに制限されるものではなく、言及されていない他の効果は、以下の記載から本開示が属する技術分野で当業者に明確に理解されることができるであろう。
【図面の簡単な説明】
【0011】
本明細書で引用される図面をさらに十分に理解するために、各図面の簡単な説明が提供される。
図1】一実施形態による映像復号装置のブロック図である。
図2】一実施形態による映像符号化装置のブロック図である。
図3】一実施形態により、現在符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する図である。
図4】一実施形態により、非正方形の形態である符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する図である。
図5】一実施形態により、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、符号化単位を分割する過程を図示する図である。
図6】一実施形態により、奇数個の符号化単位のうち所定符号化単位を決定するための方法を図示する図である。
図7】一実施形態により、現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する図である。
図8】一実施形態により、所定の順序で符号化単位が処理されえない場合、現在符号化単位が奇数個の符号化単位に分割されるものであることを決定する過程を図示する図である。
図9】一実施形態により、第1符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する図である。
図10】一実施形態により、第1符号化単位が分割されて決定された非正方形状の第2符号化単位が、所定条件を満足する場合、分割されうる形態が制限されることを図示する図である。
図11】一実施形態により、分割形態モード情報が4個の正方形状の符号化単位への分割を示すことができない場合、正方形状の符号化単位を分割する過程を図示する図である。
図12】一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうるところを図示する図である。
図13】一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する図である。
図14】一実施形態により、符号化単位の形態及び大きさによって決定されうる深度、及び符号化単位区分のためのインデックス(PID:part index)を図示する図である。
図15】一実施形態により、ピクチャに含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたところを図示する図である。
図16】一実施形態により、符号化単位が分割されうる形態の組み合わせがピクチャごとに互いに異なる場合、それぞれのピクチャごとに決定されうる符号化単位を図示する図である。
図17】一実施形態により、バイナリ(binary)コードによって表現される分割形態モード情報に基づき、決定されうる符号化単位の多様な形態を図示する図である。
図18】一実施形態により、バイナリコードによって表現される分割形態モード情報に基づいて決定されうる符号化単位の他の形態を図示する図である。
図19】映像符号化システム及び映像復号システムのブロック図を示した図面である。
図20】一実施形態による映像復号装置の構成を図示するブロック図である。
図21A】現在ブロックの左側ブロックが利用可能であるときの周辺ブロックの位置を図示する例示的な図面である。
図21B】現在ブロックの左側ブロックと右側ブロックとが利用可能であるときの周辺ブロックの位置を図示する例示的な図面である。
図21C】現在ブロックの右側ブロックが利用可能であるときの周辺ブロックの位置を図示する図面である。
図22】動きベクトル解像度を示すインデックスと、動きベクトル解像度と、周辺ブロックの位置とのマッピング関係を図示する図である。
図23A】現在ブロックの予測方向と同一予測方向の第1周辺ブロックの参照映像インデックスが、事前に決定された値と同一ではないケースを例示する図である。
図23B】現在ブロックの予測方向と同一予測方向の第1周辺ブロックの参照映像インデックスが、事前に決定された値と同一であるケースを例示する図である。
図23C】現在ブロックの予測方向が双方向であるとき、第1周辺ブロックのリスト0方向の参照映像インデックスと、リスト1方向の参照映像インデックスとのうち、いずれか一つは、事前に決定された値と同一であり、他の一つは、事前に決定された値と同一ではないケースを例示する図である。
図24】一実施形態による、動きベクトルの復号方法を示すフローチャートである。
図25】一実施形態による、映像符号化装置の構成を図示するブロック図である。
図26】一実施形態による、動きベクトルの符号化方法を示すフローチャートである。
図27】一実施形態による、予測動きベクトルの獲得過程について説明するための図である。
図28】一実施形態による、予測動きベクトルの獲得過程について説明するための図である。
【発明を実施するための形態】
【0012】
一実施形態による、動きベクトルの復号方法は、ビットストリームから獲得した情報により、現在ブロックに隣接した周辺ブロックのうち、第1周辺ブロックを選択する段階と、前記第1周辺ブロックの利用可能性を示す情報を利用し、前記第1周辺ブロックが利用可能であると識別され、前記現在ブロックの予測方向と同一予測方向における前記第1周辺ブロックの動きベクトルが存在しなければ、前記現在ブロックに隣接した、事前に決定された位置の第2周辺ブロックの動きベクトルから、前記現在ブロックの予測動きベクトルを獲得する段階と、前記現在ブロックの予測動きベクトルと、差分動きベクトルとを結合し、前記現在ブロックの動きベクトルを獲得する段階と、を含むものでもある。
【0013】
前記現在ブロックの予測方向と同一予測方向の前記第2周辺ブロックの参照映像インデックスが-1であるならば、前記現在ブロックの予測方向と同一予測方向における前記第1周辺ブロックの動きベクトルが存在しないのである。
【0014】
前記第1周辺ブロックの利用可能性は、前記第1周辺ブロックを含むタイルと、前記現在ブロックを含むタイルとが互いに異なっているか否かということ、前記第1周辺ブロックが現在映像の外部に位置するか否かということ、前記第1周辺ブロックがイントラ予測されたか否かということ、及び前記第1周辺ブロックの復元が完了したか否かということのうち少なくとも一つによっても判断される。
【0015】
前記現在ブロックの予測動きベクトルを獲得する段階は、前記第1周辺ブロックの利用可能性を示す情報を利用し、前記第1周辺ブロックが利用可能であると識別され、前記現在ブロックの予測方向と同一予測方向における前記第1周辺ブロックの動きベクトルが存在すれば、前記第1周辺ブロックの動きベクトルから、前記現在ブロックの予測動きベクトルを獲得する段階を含むものでもある。
【0016】
前記ビットストリームから獲得した情報は、複数の動きベクトル解像度のうち、前記現在ブロックの動きベクトル解像度を示す情報を含み、前記複数の動きベクトル解像度は、互いに異なる位置の周辺ブロックにもマッピングされる。
【0017】
前記第2周辺ブロックの位置は、前記現在ブロックの左右側周辺ブロックの利用可能性を示す情報によっても異なる。
【0018】
前記現在ブロックの予測動きベクトルを獲得する段階は、前記第2周辺ブロックの利用可能性を示す情報を利用し、前記第2周辺ブロックが利用可能であると識別され、前記現在ブロックの予測方向と同一予測方向の前記第2周辺ブロックの参照映像インデックスが、前記現在ブロックの参照映像インデックスと同一であるか、あるいは前記現在ブロックの予測方向と同一予測方向における前記第2周辺ブロックの動きベクトルが存在すれば、前記第2周辺ブロックの動きベクトルから、前記現在ブロックの予測動きベクトルを獲得する段階を含むものでもある。
【0019】
前記現在ブロックの予測動きベクトルを獲得する段階は、前記第2周辺ブロックの利用可能性を示す情報を利用し、前記第2周辺ブロックが利用可能ではないと識別されるか、あるいは前記現在ブロックの予測方向と同一予測方向における前記第2周辺ブロックの動きベクトルが存在しなければ、前記現在ブロック以前に復号されたブロックの動きベクトルから、前記現在ブロックの予測動きベクトルを獲得する段階を含むものでもある。
【0020】
前記現在ブロックの予測動きベクトルを獲得する段階は、前記第1周辺ブロックが利用可能ではないと識別されれば、前記第2周辺ブロックの動きベクトルから、前記現在ブロックの予測動きベクトルを獲得する段階を含むものでもある。
【0021】
一実施形態による映像復号装置は、ビットストリームから獲得した情報により、現在ブロックに隣接した周辺ブロックのうち、第1周辺ブロックを選択し、前記第1周辺ブロックの利用可能性を示す情報を利用し、前記第1周辺ブロックが利用可能であると識別され、前記現在ブロックの予測方向と同一予測方向における前記第1周辺ブロックの動きベクトルが存在しなければ、前記現在ブロックに隣接した、事前に決定された位置の第2周辺ブロックの動きベクトルから、前記現在ブロックの予測動きベクトルを獲得する動きベクトル予測部と、前記現在ブロックの予測動きベクトルと、差分動きベクトルとを結合し、前記現在ブロックの動きベクトルを獲得する動きベクトル復元部と、を含むものでもある。
【0022】
一実施形態による、動きベクトルの符号化方法は、現在ブロックに隣接した周辺ブロックのうちから選択された第1周辺ブロックが利用可能であると識別され、前記現在ブロックの予測方向と同一予測方向における前記第1周辺ブロックの動きベクトルが存在しなければ、前記現在ブロックに隣接した、事前に決定された位置の第2周辺ブロックの動きベクトルから、前記現在ブロックの予測動きベクトルを獲得する段階と、前記現在ブロックの動きベクトルと前記予測動きベクトルとの差分動きベクトル、及び前記第1周辺ブロックを示すための情報を含むビットストリームを生成する段階と、を含むものでもある。
【0023】
本開示は、多様な変更を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、それ等について、詳細な説明を介して詳細に説明する。しかしながら、それらは、本開示の実施形態について限定するものではなく、本開示は、さまざまな実施形態の思想及び技術範囲に含まれる全ての変更、均等物ないし代替物を含むものであると理解されなければならない。
【0024】
本実施形態についての説明において、関連公知技術に係わる具体的な説明が、本開示の、要旨を不要に不明確にしてしまうと判断される場合、その詳細な説明を省略する。また、明細書の説明過程で利用される数(例えば、第1、第2など)は、1つの構成要素を、他の構成要素と区分するための識別記号に過ぎない。
【0025】
また、本明細書において、一構成要素が他の構成要素と、「連結される」とするか、あるいは「接続される」として言及されたときには、前述の一構成要素が、前述の他の構成要素と直接連結されるか、あるいは直接接続されもするが、特に反対となる記載が存在しない限り、中間にさらに他の構成要素を媒介させて連結されるか、あるいは接続されうるとも理解されなければならないであろう。
【0026】
また、本明細書において、「~部(ユニット)」、「モジュール」などと表現される構成要素は、2個以上の構成要素が1つの構成要素に合わされるか、あるいは1つの構成要素がさらに細分化された、機能別に2個以上に分化されうる。また、以下で説明する構成要素それぞれは、自体が担当する主機能以外にも、他の構成要素が担当する機能のうち、一部または全部の機能を追加して遂行することもでき、該構成要素それぞれが担当する主機能のうち一部機能が、他の構成要素によって専担されても遂行されうるということは、言うまでもない。
【0027】
また、本明細書において、「映像(image)」または「ピクチャ」は、ビデオの静止映像または動画(ビデオ)を示しうる。
【0028】
また、本明細書において、「サンプル」または「信号」は、映像のサンプリング位置に割り当てられたデータであり、プロセシング対象になるデータを意味する。例えば、空間領域の映像において、画素値、変換領域上の変換係数が、サンプルでもある。そのような少なくとも1つのサンプルを含む単位をブロックと定義することができる。
【0029】
以下においては、図1ないし図19を参照し、一実施形態による、ツリー構造の符号化単位及び変換単位に基づく、映像符号化方法及びその装置、映像復号方法及びその装置が開示される。
【0030】
図1は、一実施形態による映像復号装置100のブロック図を図示する。
【0031】
映像復号装置100は、ビットストリーム獲得部110及び復号部120を含むものでもある。ビットストリーム獲得部110及び復号部120は、少なくとも1つのプロセッサを含むものでもある。また、ビットストリーム獲得部110及び復号部120は、少なくとも1つのプロセッサが遂行する命令語を保存するメモリを含むものでもある。
【0032】
ビットストリーム獲得部110は、ビットストリームを受信することができる。該ビットストリームは、後述される映像符号化装置200が映像を符号化した情報を含む。また、該ビットストリームは、映像符号化装置200から送信されうる。映像符号化装置200及び映像復号装置100は、有線または無線で連結され、ビットストリーム獲得部110は、有線または無線を介し、ビットストリームを受信することができる。ビットストリーム獲得部110は、光学メディア、ハードディスクのような記録媒体からビットストリームを受信することができる。復号部120は、受信されたビットストリームから獲得された情報に基づき、映像を復元することができる。復号部120は、映像を復元するためのシンタックス要素を、ビットストリームから獲得することができる。復号部120は、シンタックス要素に基づき、映像を復元することができる。
【0033】
映像復号装置100の動作について詳細に説明すれば、ビットストリーム獲得部110は、ビットストリームを受信することができる。
【0034】
映像復号装置100は、ビットストリームから、符号化単位の分割形態モードに対応するビンストリングを獲得する動作を遂行することができる。そして、映像復号装置100は、符号化単位の分割規則を決定する動作を遂行することができる。また、映像復号装置100は、分割形態モードに対応するビンストリング、及び前記分割規則のうち少なくとも一つに基づき、符号化単位を複数の符号化単位に分割する動作を遂行することができる。映像復号装置100は、分割規則を決定するために、符号化単位の幅と高さとの比率による、前記符号化単位の大きさの許容可能な第1範囲を決定することができる。映像復号装置100は、分割規則を決定するために、符号化単位の分割形態モードによる、符号化単位の大きさの許容可能な第2範囲を決定することができる。
【0035】
以下においては、本開示の一実施形態により、符号化単位の分割について詳細に説明する。
【0036】
まず、1つのピクチャ(picture)は、1以上のスライス、あるいは1以上のタイルに分割されうる。1つのスライス、あるいは1つのタイルは、1以上の最大符号化単位(CTU:coding tree unit)のシーケンスでもある。一具現例により、1つのスライスは、1以上のタイルを含み、1つのスライスは、1以上の最大符号化単位を含むものでもある。1または複数のタイルを含むスライスがピクチャ内において決定されうる。
【0037】
最大符号化単位(CTU)と対比される概念として、最大符号化ブロック(CTB:coding tree block)がある。最大符号化ブロック(CTB)は、NxN個のサンプルを含むNxNブロックを意味する(Nは、整数である)。各カラー成分は、1以上の最大符号化ブロックに分割されうる。
【0038】
ピクチャが3個のサンプルアレイ(Y,Cr,Cb成分別サンプルアレイ)を有する場合、最大符号化単位(CTU)とは、ルマサンプルの最大符号化ブロック、及びそれに対応するクロマサンプルの2個の最大符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。該ピクチャがモノクロームピクチャである場合、最大符号化単位とは、モノクロームサンプルの最大符号化ブロックと、モノクロームサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。該ピクチャがカラー成分別に分離されるカラープレーンに符号化されるピクチャである場合、最大符号化単位とは、当該ピクチャと、該ピクチャのサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。
【0039】
1つの最大符号化ブロック(CTB)は、MxN個のサンプルを含むMxN符号化ブロック(coding block)に分割されうる(M、Nは、整数である)。
【0040】
ピクチャがY,Cr,Cb成分別サンプルアレイを有する場合、符号化単位(CU:coding unit)とは、ルマサンプルの符号化ブロックと、それに対応するクロマサンプルの2個の符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。該ピクチャがモノクロームピクチャである場合、符号化単位とは、モノクロームサンプルの符号化ブロックと、モノクロームサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。該ピクチャがカラー成分別に分離されるカラープレーンに符号化されるピクチャである場合、符号化単位とは、当該ピクチャと、ピクチャのサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。
【0041】
前述のように、最大符号化ブロックと最大符号化単位は、互いに区別される概念であり、符号化ブロックと符号化単位は、互いに区別される概念である。すなわち、(最大)符号化単位は、当該サンプルを含む(最大)符号化ブロックと、それに対応するシンタックス構造と、を含むデータ構造を意味する。しかしながら、当業者が(最大)符号化単位または(最大)符号化ブロックが、所定個数のサンプルを含む所定サイズのブロックを称するということを理解することができるので、以下、本明細書においては、最大符号化ブロック及び最大符号化単位、または符号化ブロック及び符号化単位を、特別な事情がない限り、区別せずに言及する。
【0042】
映像は、最大符号化単位(CTU)に分割されうる。該最大符号化単位の大きさは、ビットストリームから獲得された情報に基づいても決定される。該最大符号化単位の形態は、同一サイズの正方形を有することができる。しかしながら、それに限定されるものではない。
【0043】
例えば、ビットストリームから、ルマ符号化ブロックの最大サイズに係わる情報が獲得されうる。例えば、ルマ符号化ブロックの最大サイズに係わる情報が示すルマ符号化ブロックの最大サイズは、4x4、8x8、16x16、32x32、64x64、128x128、256x256のうち一つでもある。
【0044】
例えば、ビットストリームから、2分割が可能なルマ符号化ブロックの最大サイズと、ルマブロック大きさ差とに係わる情報が獲得されうる。ルマブロックサイズ差に係わる情報は、ルマ最大符号化単位と、2分割が可能な最大ルマ符号化ブロックとの大きさ差を示しうる。従って、ビットストリームから獲得された2分割が可能なルマ符号化ブロックの最大サイズに係わる情報と、ルマブロックサイズ差に係わる情報と、を結合すれば、ルマ最大符号化単位の大きさが決定されうる。ルマ最大符号化単位の大きさを利用すれば、クロマ最大符号化単位の大きさも決定されうる。例えば、カラーフォーマットにより、Y:Cb:Cr比率が4:2:0であるならば、クロマブロックの大きさは、ルマブロックの大きさの半分でもあり、同様に、クロマ最大符号化単位の大きさは、ルマ最大符号化単位の大きさの半分でもある。
【0045】
一実施形態によれば、バイナリ分割(binary split)が可能なルマ符号化ブロックの最大サイズに係わる情報は、ビットストリームから獲得されるので、バイナリ分割が可能なルマ符号化ブロックの最大サイズは、可変的に決定されうる。それと異なり、ターナリ分割(ternary split)が可能なルマ符号化ブロックの最大サイズは、固定されうる。例えば、Iピクチャにおいて、ターナリ分割が可能なルマ符号化ブロックの最大サイズは、32x32であり、PピクチャまたはBピクチャにおいて、ターナリ分割が可能なルマ符号化ブロックの最大サイズは、64x64でもある。
【0046】
また、最大符号化単位は、ビットストリームから獲得された分割形態モード情報に基づき、符号化単位に階層的に分割されうる。該分割形態モード情報として、クアッド分割(quad split)いかんを示す情報、多分割いかんを示す情報、分割方向情報及び分割タイプ情報のうち少なくとも一つが、ビットストリームから獲得されうる。
【0047】
例えば、クアッド分割いかんを示す情報は、現在符号化単位がクアッド分割(QUAD_SPLIT)されるか否かということ、あるいはクアッド分割されないか否かということを示しうる。
【0048】
現在符号化単位がクアッド分割されないのであるならば、多分割いかんを示す情報は、現在符号化単位がそれ以上分割されないか(NO_SPLIT)、あるいはバイナリ/ターナリ分割されるか否かということを示しうる。
【0049】
現在符号化単位がバイナリ分割されるか、あるいはターナリ分割されれば、分割方向情報は、現在符号化単位が、水平方向または垂直方向のうち一つに分割されることを示す。
【0050】
現在符号化単位が、水平方向または垂直方向に分割されれば、分割タイプ情報は、現在符号化単位を、バイナリ分割またはターナリ分割でもって分割することを示す。
【0051】
分割方向情報及び分割タイプ情報により、現在符号化単位の分割モードが決定されうる。現在符号化単位が水平方向にバイナリ分割される場合の分割モードは、バイナリ水平分割(SPLIT_BT_HOR)、水平方向にターナリ分割される場合の分割モードは、ターナリ水平分割(SPLIT_TT_HOR)、垂直方向にバイナリ分割される場合の分割モードは、バイナリ垂直分割(SPLIT_BT_VER)、そして垂直方向にターナリ分割される場合の分割モードは、ターナリ垂直分割(SPLIT_TT_VER)と決定されうる。
【0052】
映像復号装置100は、ビットストリームから、分割形態モード情報を1つのビンストリングから獲得することができる。映像復号装置100が受信したビットストリームの形態は、Fixed length binary code、Unary code、Truncated unary code、事前に決定されたバイナリコードなどを含むものでもある。該ビンストリングは、情報を二進数の羅列で示したものである。該ビンストリングは、少なくとも1つのビットによっても構成される。映像復号装置100は、分割規則に基づき、該ビンストリングに対応する分割形態モード情報を獲得することができる。映像復号装置100は、1つのビンストリングに基づき、符号化単位をクアッド分割するか否かということ、そのように分割しないか否かということ、あるいは分割方向及び分割タイプを決定することができる。
【0053】
符号化単位は、最大符号化単位より小さいか、あるいはそれと同じでもある。例えば、最大符号化単位も、最大サイズを有する符号化単位であるので、符号化単位の一つである。該最大符号化単位に係わる分割形態モード情報が、分割されないということを示す場合、該最大符号化単位において決定される符号化単位は、該最大符号化単位と同じ大きさを有する。該最大符号化単位に係わる分割形態モード情報が分割されることを示す場合、該最大符号化単位は、符号化単位にも分割される。また、該符号化単位に係わる分割形態モード情報が分割を示す場合、符号化単位は、さらに小サイズの符号化単位に分割されうる。ただし、映像の分割は、それらに限定されるものではなく、該最大符号化単位及び該符号化単位は、区別されないものでもある。該符号化単位の分割については、図3ないし図16において、さらに詳細に説明する。
【0054】
また、符号化単位から、予測のための1以上の予測ブロックが決定されうる。該予測ブロックは、符号化単位と同じであるか、あるいはそれより小さいのである。また、該符号化単位から、変換のための1以上の変換ブロックが決定されうる。該変換ブロックは、符号化単位と同じであるか、あるいはそれより小さいのである。
【0055】
変換ブロックと予測ブロックとの形態及び大きさは、互いに関係ないのである。
【0056】
他の実施形態として、符号化単位が予測ブロックとして、符号化単位を利用して予測が行われうる。また、該符号化単位が変換ブロックとして符号化単位を利用し、変換が行われうる。
【0057】
符号化単位の分割については、図3ないし図16でさらに詳細に説明する。本開示の現在ブロック及び周辺ブロックは、最大符号化単位、符号化単位、予測ブロック及び変換ブロックのうち一つを示しうる。また、該現在ブロックまたは該現在符号化単位は、現在、復号または符号化が進められるブロック、または現在、分割が進められているブロックである。該周辺ブロックは、現在ブロック以前に復元されたブロックでもある。該周辺ブロックは、該現在ブロックから、空間的または時間的に隣接しうる。該周辺ブロックは、現在ブロックの左下側、左側、左上側、上側、右上側、右側、右下側のうち一つに位置しうる。
【0058】
図3は、一実施形態により、映像復号装置100が現在符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
【0059】
ブロック形態は、4Nx4N、4Nx2N、2Nx4N、4NxN、Nx4N、32NxN、Nx32N、16NxN、Nx16N、8NxNまたはNx8Nを含むものでもある。ここで、Nは、正の整数でもある。該ブロック形態情報は、符号化単位の形態、方向、幅と高さとの比率、または大きさのうち少なくとも一つを示す情報である。
【0060】
符号化単位の形態は、正方形(square)及び非正方形(non-square)を含むものでもある。該符号化単位の幅及び高さの大きさが同じである場合(すなわち、符号化単位のブロック形態が4Nx4Nである場合)、映像復号装置100は、該符号化単位のブロック形態情報を正方形と決定することができる。映像復号装置100は、該符号化単位の形態を非正方形と決定することができる。
【0061】
符号化単位の幅及び高さの大きさが異なる場合(すなわち、符号化単位のブロック形態が4Nx2N、2Nx4N、4NxN、Nx4N、32NxN、Nx32N、16NxN、Nx16N、8NxNまたはNx8Nである場合)、映像復号装置100は、該符号化単位のブロック形態情報を非正方形と決定することができる。該符号化単位の形態が非正方形である場合、映像復号装置100は、符号化単位のブロック形態情報において、幅と高さとの比率を、1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、1:32、32:1のうち少なくとも一つに決定することができる。また、該符号化単位の幅の長さ、及び高さの大きさに基づき、映像復号装置100は、符号化単位が水平方向であるか、あるいは垂直方向であるかということを決定することができる。また、該符号化単位の幅の長さ、高さの大きさ、または広さのうち少なくとも一つに基づき、映像復号装置100は、符号化単位の大きさを決定することができる。
【0062】
一実施形態により、映像復号装置100は、ブロック形態情報を利用し、符号化単位の形態を決定することができ、分割形態モード情報を利用し、符号化単位がいかなる形態に分割されるかということを決定することができる。すなわち、映像復号装置100が利用するブロック形態情報がいかなるブロック形態を示すかということにより、分割形態モード情報が示す符号化単位の分割方法が決定されうる。
【0063】
映像復号装置100は、ビットストリームから、分割形態モード情報を獲得することができる。しかしながら、それに限定されるものではなく、映像復号装置100及び映像符号化装置200は、ブロック形態情報に基づき、事前に約束された分割形態モード情報を決定することができる。映像復号装置100は、最大符号化単位または最小符号化単位につき、事前に約束された分割形態モード情報を決定することができる。例えば、映像復号装置100は、最大符号化単位につき、分割形態モード情報をクアッド分割と決定することができる。また、映像復号装置100は、最小符号化単位につき、分割形態モード情報を「分割しない」と決定することができる。具体的には、映像復号装置100は、最大符号化単位の大きさを256x256と決定することができる。映像復号装置100は、事前に約束された分割形態モード情報をクアッド分割と決定することができる。該クアッド分割は、符号化単位の幅及び高さをいずれも二等分する分割形態モードである。映像復号装置100は、分割形態モード情報に基づき、256x256サイズの最大符号化単位から、128x128サイズの符号化単位を獲得することができる。また、映像復号装置100は、最小符号化単位の大きさを4x4と決定することができる。映像復号装置100は、該最小符号化単位につき、「分割しない」を示す分割形態モード情報を獲得することができる。
【0064】
一実施形態により、映像復号装置100は、現在符号化単位が正方形状であることを示すブロック形態情報を利用することができる。例えば、映像復号装置100は、分割形態モード情報により、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、4個の符号化単位に分割するかということを決定することができる。図3を参照すれば、現在符号化単位300のブロック形態情報が正方形状を示す場合、復号部120は、分割されないことを示す分割形態モード情報により、現在符号化単位300と同一サイズを有する符号化単位310aを分割しないか、あるいは所定の分割方法を示す分割形態モード情報に基づいて分割された符号化単位310b,310c,310d,310e,310fを決定することができる。
【0065】
図3を参照すれば、映像復号装置100は、一実施形態により、垂直方向に分割されることを示す分割形態モード情報に基づき、現在符号化単位300を垂直方向に分割した2つの符号化単位310bを決定することができる。映像復号装置100は、水平方向に分割されることを示す分割形態モード情報に基づき、現在符号化単位300を水平方向に分割した2つの符号化単位310cを決定することができる。映像復号装置100は、垂直方向及び水平方向に分割されることを示す分割形態モード情報に基づき、現在符号化単位300を垂直方向及び水平方向に分割した4つの符号化単位310dを決定することができる。映像復号装置100は、一実施形態により、垂直方向にターナリ分割されることを示す分割形態モード情報に基づき、現在符号化単位300を垂直方向に分割した3つの符号化単位310eを決定することができる。映像復号装置100は、水平方向にターナリ分割されることを示す分割形態モード情報に基づき、現在符号化単位300を水平方向に分割した3つの符号化単位310fを決定することができる。ただし、正方形の符号化単位が分割されうる分割形態は、前述の形態に限定して解釈されるものではなく、分割形態モード情報が示しうる多様な形態が含まれるものでもある。正方形の符号化単位が分割される所定の分割形態は、以下において、多様な実施形態を介し、具体的に説明する。
【0066】
図4は、一実施形態により、映像復号装置100が非正方形状である符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
【0067】
一実施形態により、映像復号装置100は、現在符号化単位が非正方形状であることを示すブロック形態情報を利用することができる。映像復号装置100は、分割形態モード情報により、非正方形の現在符号化単位を分割しないか、あるいは所定の方法で分割するかということを決定することができる。図4を参照すれば、現在符号化単位400または450のブロック形態情報が非正方形状を示す場合、映像復号装置100は、分割されないことを示す分割形態モード情報により、現在符号化単位400または450と同一サイズを有する符号化単位410または460を決定するか、あるいは所定の分割方法を示す分割形態モード情報に基づいて分割された符号化単位420a,420b,430a,430b,430c,470a,470b,480a,480b,480cを決定することができる。非正方形の符号化単位が分割される所定の分割方法は、以下において、多様な実施形態を介して具体的に説明する。
【0068】
一実施形態により、映像復号装置100は、分割形態モード情報を利用し、符号化単位が分割される形態を決定することができ、その場合、分割形態モード情報は、符号化単位が分割されて生成される少なくとも1つの符号化単位の個数を示しうる。図4を参照すれば、該分割形態モード情報が、2つの符号化単位に、現在符号化単位400または450が分割されることを示す場合、映像復号装置100は、分割形態モード情報に基づき、現在符号化単位400または450を分割し、現在符号化単位に含まれる2つの符号化単位420a,420b;または470a,470bを決定することができる。
【0069】
一実施形態により、映像復号装置100が分割形態モード情報に基づき、非正方形状の現在符号化単位400または450を分割する場合、映像復号装置100は、非正方形の現在符号化単位400または450の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、映像復号装置100は、現在符号化単位400または450の形態を考慮し、現在符号化単位400または450の長辺を分割する方向に、現在符号化単位400または450を分割し、複数個の符号化単位を決定することができる。
【0070】
一実施形態により、分割形態モード情報が、奇数個のブロックに、符号化単位を分割(ターナリ分割)することを示す場合、映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができる。例えば、該分割形態モード情報が、3個の符号化単位に、現在符号化単位400または450を分割することを示す場合、映像復号装置100は、現在符号化単位400または450を、3個の符号化単位430a,430b,430c,480a,480b,480cに分割することができる。
【0071】
一実施形態により、現在符号化単位400または450の幅と高さとの比率が、4:1または1:4でもある。幅と高さとの比率が4:1である場合、幅の長さが高さの大きさより大きいので、ブロック形態情報は、水平方向でもある。幅と高さとの比率が1:4である場合、幅の長さが高さの大きさより小さいので、ブロック形態情報は、垂直方向でもある。映像復号装置100は、分割形態モード情報に基づき、現在符号化単位を、奇数個のブロックに分割することを決定することができる。また、映像復号装置100は、現在符号化単位400または450のブロック形態情報に基づき、現在符号化単位400または450の分割方向を決定することができる。例えば、現在符号化単位400が垂直方向である場合、映像復号装置100は、現在符号化単位400を水平方向に分割し、符号化単位430a,430b,430cを決定することができる。また、現在符号化単位450)が水平方向である場合、映像復号装置100は、現在符号化単位450を垂直方向に分割し、符号化単位480a,480b,480cを決定することができる。
【0072】
一実施形態により、映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさがいずれも同一ではないのである。例えば、決定された奇数個の符号化単位430a,430b,430c,480a,480b,480cのうち、所定の符号化単位430bまたは480bの大きさは、他の符号化単位430a,430c,480a,480cとは異なる大きさを有しうる。すなわち、現在符号化単位400または450が分割されて決定されうる符号化単位は、複数種類の大きさを有することができ、場合によっては、奇数個の符号化単位430a,430b,430c,480a,480b,480cがそれぞれ互いに異なる大きさを有しうる。
【0073】
一実施形態により、分割形態モード情報が、奇数個のブロックに、符号化単位が分割されることを示す場合、映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができ、さらには、映像復号装置100は、分割して生成される奇数個の符号化単位のうち少なくとも1つの符号化単位につき、所定の制限を置くことができる。図4を参照すれば、映像復号装置100は、現在符号化単位400または450が分割されて生成された3個の符号化単位430a,430b,430c,480a,480b,480cのうち、中央に位置する符号化単位430b,480bに対する復号過程を、他の符号化単位430a,430c,480a,480cと異ならせることができる。例えば、映像復号装置100は、中央に位置する符号化単位430b,480bについては、他の符号化単位430a,430c,480a,480cと異なり、それ以上分割されないように制限するか、あるいは所定の回数ほどのみ分割されるように制限することができる。
【0074】
図5は、一実施形態により、映像復号装置100が、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、符号化単位を分割する過程を図示する。
【0075】
一実施形態により、映像復号装置100は、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、正方形状の第1符号化単位500を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、分割形態モード情報が、水平方向に、第1符号化単位500を分割することを示す場合、映像復号装置100は、第1符号化単位500を水平方向に分割し、第2符号化単位510を決定することができる。一実施形態により、利用される第1符号化単位、第2符号化単位、第3符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、該第1符号化単位を分割すれば、該第2符号化単位が決定され、該第2符号化単位が分割されれば、該第3符号化単位が決定されうる。以下においては、利用される第1符号化単位、第2符号化単位及び第3符号化単位の関係は、前述の特徴によるとも理解される。
【0076】
一実施形態により、映像復号装置100は、決定された第2符号化単位510を、分割形態モード情報に基づき、符号化単位に分割するか、あるいは分割しないと決定することができる。図5を参照すれば、映像復号装置100は、分割形態モード情報に基づき、第1符号化単位500を分割して決定された非正方形状の第2符号化単位510を、少なくとも1つの第3符号化単位520a,520b,520c,520dに分割するか、あるいは第2符号化単位510を分割しないのである。映像復号装置100は、分割形態モード情報を獲得することができ、映像復号装置100は、獲得した分割形態モード情報に基づき、第1符号化単位500を分割し、例えば、多様な形態の複数個の第2符号化単位510を分割することができ、第2符号化単位510は、分割形態モード情報に基づき、第1符号化単位500が分割された方式によって分割されうる。一実施形態により、第1符号化単位500が、第1符号化単位500に係わる分割形態モード情報に基づき、第2符号化単位510に分割された場合、第2符号化単位510も、第2符号化単位510に係わる分割形態モード情報に基づき、例えば、第3符号化単位520a,520b,520c,520dに分割されうる。すなわち、符号化単位は、該符号化単位それぞれに係わる分割形態モード情報に基づき、再帰的に分割されうる。従って、非正方形状の符号化単位において、正方形の符号化単位が決定され、そのような正方形状の符号化単位が再帰的に分割され、非正方形状の符号化単位が決定されうる。
【0077】
図5を参照すれば、非正方形状の第2符号化単位510が分割されて決定される奇数個の第3符号化単位520b,520c,520dにうち、所定の符号化単位(例えば、真ん中に位置する符号化単位、または正方形状の符号化単位)は、再帰的に分割されうる。一実施形態により、奇数個の第3符号化単位520b,520c,520dのうち一つである非正方形状の第3符号化単位520cは、水平方向に分割され、複数個の第4符号化単位に分割されうる。複数個の第4符号化単位530a,530b,530c,530dのうち一つである非正方形状の第4符号化単位530bまたは530dは、さらに複数個の符号化単位に分割されうる。例えば、非正方形状の第4符号化単位530bまたは530dは、奇数個の符号化単位にさらに分割されうる。符号化単位の再帰的分割に利用されうる方法については、多様な実施形態を介して後述する。
【0078】
一実施形態により、映像復号装置100は、分割形態モード情報に基づき、第3符号化単位520a,520b,520c,520dのそれぞれを、符号化単位に分割することができる。また、映像復号装置100は、分割形態モード情報に基づき、第2符号化単位510を分割しないと決定することができる。映像復号装置100は、一実施形態により、非正方形状の第2符号化単位510を、奇数個の第3符号化単位520b,520c,520dに分割することができる。映像復号装置100は、奇数個の第3符号化単位520b,520c,520dのうち、所定の第3符号化単位につき、所定の制限を置くことができる。例えば、映像復号装置100は、奇数個の第3符号化単位520b,520c,520dのうち、真ん中に位置する符号化単位520cについては、それ以上分割されないと制限するか、あるいは設定可能な回数に分割されなければならないと制限することができる。
【0079】
図5を参照すれば、映像復号装置100は、非正方形状の第2符号化単位510に含まれる奇数個の第3符号化単位520b,520c,520dのうち、真ん中に位置する符号化単位520cは、それ以上分割されないか、あるいは所定の分割形態に分割(例えば、4個の符号化単位にだけ分割されるか、あるいは第2符号化単位510が分割された形態に対応する形態に分割される)されると制限するか、あるいは所定の回数ほどにのみ分割(例えばn回だけ分割される(n>0))すると制限することができる。ただし、真ん中に位置した符号化単位520cに対する前記制限は、単なる実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位520cが、他の符号化単位520b,520dと異なるように復号されうる多様な制限を含むと解釈されなければならない。
【0080】
一実施形態により、映像復号装置100は、現在符号化単位を分割するために利用される分割形態モード情報を、現在符号化単位内の所定の位置で獲得することができる。
【0081】
図6は、一実施形態により、映像復号装置100が、奇数個の符号化単位のうち、所定の符号化単位を決定するための方法を図示する。
【0082】
図6を参照すれば、現在符号化単位600,650の分割形態モード情報は、現在符号化単位600,650に含まれる複数個のサンプルのうち、所定位置のサンプル(例えば、真ん中に位置するサンプル640,690)から獲得されうる。ただし、そのような分割形態モード情報のうち少なくとも一つが獲得されうる現在符号化単位600内の所定位置が、図6で図示する真ん中に位置に限定して解釈されるものではなく、該所定位置には、現在符号化単位600内に含まれるものでもある多様な位置(例えば、最上端、最下端、左側、右側、左側上端、左側下端、右側上端または右側下端)が含まれるものでもあると解釈されなければならない。映像復号装置100は、所定位置から獲得される分割形態モード情報を獲得し、現在符号化単位を多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。
【0083】
一実施形態により、映像復号装置100は、現在符号化単位が、所定の個数の符号化単位に分割された場合、そのうち1つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様なものでもあるが、そのような方法に係わる説明は、以下の多様な実施形態を介して後述する。
【0084】
一実施形態により、映像復号装置100は、現在符号化単位を、複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。
【0085】
一実施形態により、映像復号装置100は、奇数個の符号化単位のうち、真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図6を参照すれば、映像復号装置100は、現在符号化単位600または現在符号化単位650を分割し、奇数個の符号化単位620a,620b,620c、または奇数個の符号化単位660a,660b,660cを決定することができる。映像復号装置100は、奇数個の符号化単位620a,620b,620c、または奇数個の符号化単位660a,660b,660cの位置に係わる情報を利用し、真ん中符号化単位620bまたは真ん中符号化単位660bを決定することができる。例えば、映像復号装置100は、符号化単位620a,620b,620cに含まれる所定のサンプルの位置を示す情報に基づき、符号化単位620a,620b,620cの位置を決定することにより、真ん中に位置する符号化単位620bを決定することができる。具体的には、映像復号装置100は、符号化単位620a,620b,620cの左側上端のサンプル630a,630b,630cの位置を示す情報に基づき、符号化単位620a,620b,620cの位置を決定することにより、真ん中に位置する符号化単位620bを決定することができる。
【0086】
一実施形態により、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの位置を示す情報は、符号化単位620a,620b,620cのピクチャ内における位置または座標に係わる情報を含むものでもある。一実施形態により、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの位置を示す情報は、現在符号化単位600に含まれる符号化単位620a,620b,620cの幅または高さを示す情報を含むものでもあり、そのような幅または高さは、符号化単位620a,620b,620cのピクチャ内における座標間の差を示す情報に該当しうる。すなわち、映像復号装置100は、符号化単位620a,620b,620cのピクチャ内における位置または座標に係わる情報を直接利用するか、あるいは座標間の差値に対応する符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位620bを決定することができる。
【0087】
一実施形態により、上端符号化単位620aの左側上端のサンプル630aの位置を示す情報は、(xa,ya)座標を示し、真ん中符号化単位620bの左側上端のサンプル530bの位置を示す情報は、(xb,yb)座標を示し、下端符号化単位620cの左側上端のサンプル630cの位置を示す情報は、(xc,yc)座標を示しうる。映像復号装置100は、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの座標を利用し、真ん中符号化単位620bを決定することができる。例えば、左側上端のサンプル630a,630b,630cの座標を、昇順または降順で整列したとき、真ん中に位置するサンプル630bの座標である(xb,yb)を含む符号化単位620bを、現在符号化単位600が分割されて決定された符号化単位620a,620b,620cのうち、真ん中に位置する符号化単位と決定することができる。ただし、左側上端のサンプル630a,630b,630cの位置を示す座標は、ピクチャ内における絶対的な位置を示す座標を示し、さらには、上端符号化単位620aの左側上端のサンプル630aの位置を基準に、真ん中符号化単位620bの左側上端のサンプル630bの相対的位置を示す情報である(dxb,dyb)座標、下端符号化単位620cの左側上端のサンプル630cの相対的位置を示す情報である(dxc,dyc)座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法によって解釈されなければならない。
【0088】
一実施形態により、映像復号装置100は、現在符号化単位600を、複数個の符号化単位620a,620b,620cに分割することができ、符号化単位620a,620b,620cのうち、所定の基準により、符号化単位を選択することができる。例えば、映像復号装置100は、符号化単位620a,620b,620cにおいて、大きさが異なる符号化単位620bを選択することができる。
【0089】
一実施形態により、映像復号装置100は、上端符号化単位620aの左側上端のサンプル630aの位置を示す情報である(xa,ya)座標、真ん中符号化単位620bの左側上端のサンプル630bの位置を示す情報である(xb,yb)座標、下端符号化単位620cの左側上端のサンプル630cの位置を示す情報である(xc,yc)座標を利用し、符号化単位620a,620b,620cそれぞれの幅または高さを決定することができる。映像復号装置100は、符号化単位620a,620b,620cの位置を示す座標である(xa,ya)、(xb,yb)、(xc,yc)を利用し、符号化単位620a,620b,620cそれぞれの大きさを決定することができる。一実施形態により、映像復号装置100は、上端符号化単位620aの幅を、現在符号化単位600の幅と決定することができる。映像復号装置100は、上端符号化単位620aの高さを、yb-yaと決定することができる。一実施形態により、映像復号装置100は、真ん中符号化単位620bの幅を、現在符号化単位600の幅と決定することができる。映像復号装置100は、真ん中符号化単位620bの高さを、yc-ybと決定することができる。一実施形態により、映像復号装置100は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位620a及び真ん中符号化単位620bの幅及び高さを利用して決定することができる。映像復号装置100は、決定された符号化単位620a,620b,620cの幅及び高さに基づき、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図6を参照すれば、映像復号装置100は、上端符号化単位620a及び下端符号化単位620cの大きさと異なる大きさを有する真ん中符号化単位620bを、所定位置の符号化単位と決定することができる。ただし、前述の映像復号装置100が、他の符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されうる。
【0090】
映像復号装置100は、左側符号化単位660aの左側上端のサンプル670aの位置を示す情報である(xd,yd)座標、真ん中符号化単位660bの左側上端のサンプル670bの位置を示す情報である(xe,ye)座標、右側符号化単位660cの左側上端のサンプル670cの位置を示す情報である(xf,yf)座標を利用し、符号化単位660a,660b,660cそれぞれの幅または高さを決定することができる。映像復号装置100は、符号化単位660a,660b,660cの位置を示す座標である(xd,yd)、(xe,ye)、(xf,yf)を利用し、符号化単位660a,660b,660cそれぞれの大きさを決定することができる。
【0091】
一実施形態により、映像復号装置100は、左側符号化単位660aの幅を、xe-xdと決定することができる。映像復号装置100は、左側符号化単位660aの高さを、現在符号化単位650の高さと決定することができる。一実施形態により、映像復号装置100は、真ん中符号化単位660bの幅を、xf-xeと決定することができる。映像復号装置100は、真ん中符号化単位660bの高さを、現在符号化単位600の高さと決定することができる。一実施形態により、映像復号装置100は、右側符号化単位660cの幅または高さは、現在符号化単位650の幅または高さと、左側符号化単位660a及び真ん中符号化単位660bの幅及び高さと、を利用して決定することができる。映像復号装置100は、決定された符号化単位660a,660b,660cの幅及び高さに基づき、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図6を参照すれば、映像復号装置100は、左側符号化単位660a及び右側符号化単位660cの大きさと異なる大きさを有する真ん中符号化単位660bを、所定位置の符号化単位と決定することができる。ただし、前述の映像復号装置100が、他の符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されうる。
【0092】
ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプルの位置に係わる情報が利用されうるとも解釈される。
【0093】
一実施形態により、映像復号装置100は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち、所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより大きい非正方形状であるならば、映像復号装置100は、水平方向に沿い、所定位置の符号化単位を決定することができる。すなわち、映像復号装置100は、水平方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。現在符号化単位が、高さが幅より大きい非正方形状であるならば、映像復号装置100は、垂直方向に沿い、所定位置の符号化単位を決定することができる。すなわち、映像復号装置100は、垂直方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。
【0094】
一実施形態により、映像復号装置100は、偶数個の符号化単位のうち、所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。映像復号装置100は、現在符号化単位を分割(バイナリ分割)し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図6で説明した奇数個の符号化単位のうち、所定位置(例えば、真ん中位置)の符号化単位を決定する過程に対応する過程でもあるので、省略することにする。
【0095】
一実施形態により、非正方形状の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割過程において、所定位置の符号化単位に係わる所定の情報を利用することができる。例えば、映像復号装置100は、現在符号化単位が複数個に分割された符号化単位のうち、真ん中に位置する符号化単位を決定するために、分割過程において、真ん中符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態モード情報のうち少なくとも一つを利用することができる。
【0096】
図6を参照すれば、映像復号装置100は、分割形態モード情報に基づき、現在符号化単位600を、複数個の符号化単位620a,620b,620cに分割することができ、複数個の符号化単位620a,620b,620cのうち、真ん中に位置する符号化単位620bを決定することができる。さらには、映像復号装置100は、分割形態モード情報が獲得される位置を考慮し、真ん中に位置する符号化単位620bを決定することができる。すなわち、現在符号化単位600の分割形態モード情報は、現在符号化単位600の真ん中に位置するサンプル640から獲得され、前記分割形態モード情報に基づき、現在符号化単位600が、複数個の符号化単位620a,620b,620cに分割された場合、前記サンプル640を含む符号化単位620bを、真ん中に位置する符号化単位と決定することができる。ただし、真ん中に位置する符号化単位と決定するために利用される情報が、分割形態モード情報に限定して解釈されるものではなく、多様な種類の情報が、真ん中に位置する符号化単位を決定する過程において利用されうる。
【0097】
一実施形態により、所定位置の符号化単位を識別するための所定の情報は、決定する符号化単位に含まれる所定のサンプルから獲得されうる。図6を参照すれば、映像復号装置100は、現在符号化単位600が分割されて決定された複数個の符号化単位620a,620b,620cのうち、所定位置の符号化単位(例えば、複数個に分割された符号化単位のうち、真ん中に位置する符号化単位)を決定するために、現在符号化単位600内の所定位置のサンプル(例えば、現在符号化単位600の真ん中に位置するサンプル)から獲得される分割形態モード情報を利用することができる。すなわち、映像復号装置100は、現在符号化単位600のブロック形態を考慮し、前記所定位置のサンプルを決定することができ、映像復号装置100は、現在符号化単位600が分割されて決定される複数個の符号化単位620a,620b,620cにおいて、所定の情報(例えば、分割形態モード情報)が獲得されうるサンプルが含まれた符号化単位620bを決定し、所定の制限を置くことができる。図6を参照すれば、一実施形態により、映像復号装置100は、所定の情報が獲得されうるサンプルとして、現在符号化単位600の真ん中に位置するサンプル640を決定することができ、映像復号装置100は、そのようなサンプル640が含まれる符号化単位620bを、復号過程における所定制限を置くことができる。ただし、所定の情報が獲得されうるサンプルの位置は、前述の位置に限定して解釈されるものではなく、制限を置くために決定する符号化単位620bに含まれる任意位置のサンプルとも解釈される。
【0098】
一実施形態により、所定の情報が獲得されうるサンプルの位置は、現在符号化単位600の形態によって決定されうる。一実施形態により、ブロック形態情報は、現在符号化単位の形態が正方形であるか、あるいは非正方形であるかということを決定することができ、形態により、所定の情報が獲得されうるサンプルの位置を決定することができる。例えば、映像復号装置100は、現在符号化単位の幅に係わる情報、及び高さに係わる情報のうち少なくとも一つを利用し、現在符号化単位の幅及び高くのうち少なくとも一つを半分に分割する境界上に位置するサンプルを、所定の情報が獲得されうるサンプルと決定することができる。他の例を挙げれば、映像復号装置100は、現在符号化単位に係わるブロック形態情報が非正方形状であることを示す場合、現在符号化単位の長辺を半分に分割する境界に隣接するサンプルのうち一つを、所定の情報が獲得されうるサンプルと決定することができる。
【0099】
一実施形態により、映像復号装置100は、現在符号化単位を複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割形態モード情報を利用することができる。一実施形態により、映像復号装置100は、分割形態モード情報を、符号化単位に含まれた所定位置のサンプルから獲得することができ、映像復号装置100は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を利用して分割することができる。すなわち、符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を利用し、再帰的に分割されうる。符号化単位の再帰的分割過程については、図5を介して説明したので、詳細な説明は、省略する。
【0100】
一実施形態により、映像復号装置100は、現在符号化単位を分割し、少なくとも1つの符号化単位を決定することができ、そのような少なくとも1つの符号化単位が復号される順序を、所定のブロック(例えば、現在符号化単位)によって決定することができる。
【0101】
図7は、一実施形態により、映像復号装置100が現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。
【0102】
一実施形態により、映像復号装置100は、分割形態モード情報により、第1符号化単位700を垂直方向に分割し、第2符号化単位710a,710bを決定するか、第1符号化単位700を水平方向に分割し、第2符号化単位730a,730bを決定するか、あるいは第1符号化単位700を垂直方向及び水平方向に分割し、第2符号化単位750a,750b,750c,750dを決定することができる。
【0103】
図7を参照すれば、映像復号装置100は、第1符号化単位700を垂直方向に分割して決定された第2符号化単位710a,710bが、水平方向710cに処理されるように順序を決定することができる。映像復号装置100は、第1符号化単位700を水平方向に分割して決定された第2符号化単位730a,730bの処理順序を、垂直方向730cと決定することができる。映像復号装置100は、第1符号化単位700を垂直方向及び水平方向に分割して決定された第2符号化単位750a,750b,750c,750dを、1行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定の順序(例えば、ラスタースキャン順序(raster scan order)またはzスキャン順序(z scan order)750e)によって決定することができる。
【0104】
一実施形態により、映像復号装置100は、符号化単位を再帰的に分割することができる。図7を参照すれば、映像復号装置100は、第1符号化単位700を分割し、複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dを決定することができ、決定された複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dそれぞれを再帰的に分割することができる。複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dを分割する方法は、第1符号化単位700を分割する方法に対応する方法にもなる。それにより、複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dは、それぞれ独立して、複数個の符号化単位に分割されうる。図7を参照すれば、映像復号装置100は、第1符号化単位700を垂直方向に分割し、第2符号化単位710a,710bを決定することができ、さらには、第2符号化単位710a,710bそれぞれを独立して分割するか、あるいは分割しないと決定することができる。
【0105】
一実施形態により、映像復号装置100は、左側の第2符号化単位710aを水平方向に分割し、第3符号化単位720a,720bに分割することができ、右側の第2符号化単位710bは、分割しないのである。
【0106】
一実施形態により、符号化単位の処理順序は、符号化単位の分割過程に基づいても決定される。言い換えれば、分割された符号化単位の処理順序は、分割される直前の符号化単位の処理順序に基づいても決定される。映像復号装置100は、左側の第2符号化単位710aが分割されて決定された第3符号化単位720a,720bが処理される順序を、右側の第2符号化単位710bと独立して決定することができる。左側の第2符号化単位710aが水平方向に分割され、第3符号化単位720a,720bが決定されたので、第3符号化単位720a,720bは、垂直方向720cに処理されうる。また、左側の第2符号化単位710a及び右側の第2符号化単位710bが処理される順序は、水平方向710cに該当するので、左側の第2符号化単位710aに含まれる第3符号化単位720a,720bが垂直方向720cに処理された後、右側符号化単位710bが処理されうる。前述の内容は、符号化単位が、それぞれ分割前の符号化単位によって処理順序が決定される過程について説明するためのものであるので、前述の実施形態に限定して解釈されるものではなく、多様な形態に分割されて決定される符号化単位が、所定の順序によって独立して処理されうる多様な方法でもって利用されると解釈されなければならない。
【0107】
図8は、一実施形態により、映像復号装置100が所定の順序符号化単位が処理されえない場合、現在符号化単位が奇数個の符号化単位に分割されるものであることを決定する過程を図示する。
【0108】
一実施形態により、映像復号装置100は、獲得された分割形態モード情報に基づき、現在符号化単位が奇数個の符号化単位に分割されることを決定することができる。図8を参照すれば、正方形状の第1符号化単位800が非正方形状の第2符号化単位810a,810bに分割され、第2符号化単位810a,810bは、それぞれ独立して、第3符号化単位820a,820b,820c,820d,820eに分割されうる。一実施形態により、映像復号装置100は、第2符号化単位のうち、左側符号化単位810aは、水平方向に分割され、複数個の第3符号化単位820a,820bを決定することができ、右側符号化単位810bは、奇数個の第3符号化単位820c,820d,820eに分割されうる。
【0109】
一実施形態により、映像復号装置100は、第3符号化単位820a,820b,820c,820d,820eが、所定の順序によって処理されうるか否かということを判断し、奇数個に分割された符号化単位が存在するか否かということを決定することができる。図8を参照すれば、映像復号装置100は、第1符号化単位800を再帰的に分割し、第3符号化単位820a,820b,820c,820d,820eを決定することができる。映像復号装置100は、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、第1符号化単位800、第2符号化単位810a,810bまたは第3符号化単位820a,820b,820c,820d,820eが分割される形態において、奇数個の符号化単位に分割されるか否かということを決定することができる。例えば、第2符号化単位810a,810bにおいて、右側に位置する符号化単位が、奇数個の第3符号化単位820c,820d,820eに分割されうる。第1符号化単位800に含まれる複数個の符号化単位が処理される順序は、所定の順序(例えば、zスキャン順序830)にもなり、映像復号装置100は、右側第2符号化単位810bが奇数個に分割されて決定された第3符号化単位820c,820d,820eが、前記所定の順序によって処理されうる条件を満足するか否かということを判断することができる。
【0110】
一実施形態により、映像復号装置100は、第1符号化単位800に含まれる第3符号化単位820a,820b,820c,820d,820eが所定の順序によって処理されうる条件を満足するか否かということを決定することができ、前記条件は、第3符号化単位820a,820b,820c,820d,820eの境界により、第2符号化単位810a,810bの幅及び高さのうち少なくとも一つが半分に分割されるか否かということと係わる。例えば、非正方形状の左側第2符号化単位810aの高さを半分に分割して決定される第3符号化単位820a,820bは、条件を満足することができる。右側第2符号化単位810bを3個の符号化単位に分割して決定される第3符号化単位820c,820d,820eの境界が、右側第2符号化単位810bの幅または高さを半分に分割することができないので、第3符号化単位820c,820d,820eは、条件を満足することができないと決定されうる。映像復号装置100は、そのような条件不満足の場合、スキャン順序の断絶(disconnection)と判断し、該判断結果に基づき、右側第2符号化単位810bは、奇数個の符号化単位に分割されると決定することができる。一実施形態により、映像復号装置100は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位につき、所定の制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので詳細な説明は、省略する。
【0111】
図9は、一実施形態により、映像復号装置100が第1符号化単位900を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
【0112】
一実施形態により、映像復号装置100は、ビットストリーム獲得部110を介して獲得した分割形態モード情報に基づき、第1符号化単位900を分割することができる。正方形状の第1符号化単位900は、4個の正方形状を有する符号化単位に分割されるか、あるいは非正方形状の複数個の符号化単位に分割されうる。例えば、図9を参照すれば、第1符号化単位900は、正方形であり、分割形態モード情報が、非正方形の符号化単位に分割されることを示す場合、映像復号装置100は、第1符号化単位900を、複数個の非正方形の符号化単位に分割することができる。具体的には、分割形態モード情報が、第1符号化単位900を水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す場合、映像復号装置100は、正方形状の第1符号化単位900を、奇数個の符号化単位として、垂直方向に分割されて決定された第2符号化単位910a,910b,910c、または水平方向に分割されて決定された第2符号化単位920a,920b,920cに分割することができる。
【0113】
一実施形態により、映像復号装置100は、第1符号化単位900に含まれる第2符号化単位910a,910b,910c,920a,920b,920cが、所定の順序によって処理されうる条件を満足するか否かということを決定することができ、前記条件は、第2符号化単位910a,910b,910c,920a,920b,920cの境界沿い、第1符号化単位900の幅及び高さのうち少なくとも一つが半分に分割されるか否かということと係わる。図9を参照すれば、正方形状の第1符号化単位900を垂直方向に分割して決定される第2符号化単位910a,910b,910cの境界が、第1符号化単位900の幅を半分に分割することができないので、第1符号化単位900は、所定の順序によって処理されうる条件を満足することができないと決定されうる。また、正方形状の第1符号化単位900を水平方向に分割して決定される第2符号化単位920a,920b,920cの境界が、第1符号化単位900の高さを半分に分割することができないので、第1符号化単位900は、所定の順序によって処理されうる条件を満足することができないと決定されうる。映像復号装置100は、そのような条件不満足の場合、スキャン順序の断絶(disconnection)と判断し、該判断結果に基づき、第1符号化単位900は、奇数個の符号化単位に分割されると決定することができる。一実施形態により、映像復号装置100は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位につき、所定の制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので詳細な説明は、省略する。
【0114】
一実施形態により、映像復号装置100は、第1符号化単位を分割し、多様な形態の符号化単位を決定することができる。
【0115】
図9を参照すれば、映像復号装置100は、正方形状の第1符号化単位900、非正方形状の第1符号化単位930または950を多様な形態の符号化単位に分割することができる。
【0116】
図10は、一実施形態により、映像復号装置100により、第1符号化単位1000が分割されて決定された非正方形状の第2符号化単位が、所定条件を満足する場合、第2符号化単位が分割されうる形態が制限されることを図示する。
【0117】
一実施形態により、映像復号装置100は、ビットストリーム獲得部110を介して獲得した分割形態モード情報に基づき、正方形状の第1符号化単位1000を、非正方形状の第2符号化単位1010a,1010b,1020a,1020bに分割すると決定することができる。第2符号化単位1010a,1010b,1020a,1020bは、独立して分割されうる。それにより、映像復号装置100は、第2符号化単位1010a,1010b,1020a,1020bそれぞれに係わる分割形態モード情報に基づき、複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、映像復号装置100は、垂直方向に第1符号化単位1000が分割されて決定された非正方形状の左側第2符号化単位1010aを水平方向に分割し、第3符号化単位1012a,1012bを決定することができる。ただし、映像復号装置100は、左側第2符号化単位1010aを水平方向に分割した場合、右側第2符号化単位1010bは、左側第2符号化単位1010aが分割された方向と同一に、水平方向に分割されえないように制限することができる。もし右側第2符号化単位1010bが同一方向に分割され、第3符号化単位1014a,1014bが決定された場合、左側第2符号化単位1010a及び右側第2符号化単位1010bが水平方向にそれぞれ独立して分割されることにより、第3符号化単位1012a,1012b,1014a,1014bが決定されうる。しかしながら、それは、映像復号装置100が分割形態モード情報に基づき、第1符号化単位1000を4個の正方形状の第2符号化単位1030a,1030b,1030c,1030dに分割したところと同一結果であり、それは、映像復号側面において非効率的でもある。
【0118】
一実施形態により、映像復号装置100は、水平方向に第1符号化単位1000が分割されて決定された非正方形状の第2符号化単位1020aまたは1020bを垂直方向に分割し、第3符号化単位1022a,1022b,1024a,1024bを決定することができる。ただし、映像復号装置100は、第2符号化単位のうち一つ(例えば、上端第2符号化単位1020a)を垂直方向に分割した場合、前述の理由により、他の第2符号化単位(例えば、下端符号化単位1020b)は、上端第2符号化単位1020aが分割された方向と同一に、垂直方向に分割されえないように制限することができる。
【0119】
図11は、一実施形態により、分割形態モード情報が4個の正方形状の符号化単位に分割するところを示すことができない場合、映像復号装置100が正方形状の符号化単位を分割する過程を図示する。
【0120】
一実施形態により、映像復号装置100は、分割形態モード情報に基づき、第1符号化単位1100を分割し、第2符号化単位1110a,1110b,1120a,1120bを決定することができる。該分割形態モード情報には、符号化単位が分割されうる多様な形態に係わる情報が含まれるものでもあるが、多様な形態に係わる情報には、正方形状の4個の符号化単位に分割するための情報が含まれえない場合がある。そのような分割形態モード情報によれば、映像復号装置100は、正方形状の第1符号化単位1100を、4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割することができない。分割形態モード情報に基づき、映像復号装置100は、非正方形状の第2符号化単位1110a,1110b,1120a,1120bを決定することができる。
【0121】
一実施形態により、映像復号装置100は、非正方形状の第2符号化単位1110a,1110b,1120a,1120bを、それぞれ独立して分割することができる。再帰的な方法を介し、第2符号化単位1110a,1110b,1120a,1120bそれぞれが所定順に分割され、それは、分割形態モード情報に基づき、第1符号化単位1100が分割される方法に対応する分割方法でもある。
【0122】
例えば、映像復号装置100は、左側第2符号化単位1110aが水平方向に分割され、正方形状の第3符号化単位1112a,1112bを決定することができ、右側第2符号化単位1110bが水平方向に分割され、正方形状の第3符号化単位1114a,1114bを決定することができる。さらには、映像復号装置100は、左側第2符号化単位1110a及び右側第2符号化単位1110bのいずれもが水平方向に分割され、正方形状の第3符号化単位1116a,1116b,1116c,1116dを決定することもできる。そのような場合、第1符号化単位1100が、4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割されたところと同一形態に符号化単位が決定されうる。
【0123】
他の例を挙げれば、映像復号装置100は、上端第2符号化単位1120aが垂直方向に分割され、正方形状の第3符号化単位1122a,1122bを決定することができ、下端第2符号化単位1120bが垂直方向に分割され、正方形状の第3符号化単位1124a,1124bを決定することができる。さらには、映像復号装置100は、上端第2符号化単位1120a及び下端第2符号化単位1120bのいずれもが垂直方向に分割され、正方形状の第3符号化単位1126a,1126b,1126a,1126bを決定することもできる。そのような場合、第1符号化単位1100が、4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割されたところと同一形態に符号化単位が決定されうる。
【0124】
図12は、一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうるところを図示したものである。
【0125】
一実施形態により、映像復号装置100は、分割形態モード情報に基づき、第1符号化単位1200を分割することができる。ブロック形態が正方形であり、分割形態モード情報が、第1符号化単位1200が水平方向及び垂直方向のうち少なくとも1つの方向に分割されることを示す場合、映像復号装置100は、第1符号化単位1200を分割し、例えば、第2符号化単位1210a,1210b,1220a,1220bを決定することができる。図12を参照すれば、第1符号化単位1200が、水平方向または垂直方向だけに分割されて決定された非正方形状の第2符号化単位1210a,1210b,1220a,1220bは、それぞれに係わる分割形態モード情報に基づき、独立して分割されうる。例えば、映像復号装置100は、第1符号化単位1200が垂直方向に分割されて生成された第2符号化単位1210a,1210bを水平方向にそれぞれ分割し、第3符号化単位1216a,1216b,1216c,1216dを決定することができ、第1符号化単位1200が水平方向に分割されて生成された第2符号化単位1220a,1220bを垂直方向にそれぞれ分割し、第3符号化単位1226a,1226b,1226c,1226dを決定することができる。そのような第2符号化単位1210a,1210b,1220a,1220bの分割過程は、図11と係わって説明したので、詳細な説明は、省略する。
【0126】
一実施形態により、映像復号装置100は、所定の順序により、符号化単位を処理することができる。所定の順序による符号化単位の処理に係わる特徴は、図7と係わって説明したので、詳細な説明は、省略する。図12を参照すれば、映像復号装置100は、正方形状の第1符号化単位1200を分割し、4個の正方形状の第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dを決定することができる。一実施形態により、映像復号装置100は、第1符号化単位1200が分割される形態により、第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dの処理順序を決定することができる。
【0127】
一実施形態により、映像復号装置100は、垂直方向に分割されて生成された第2符号化単位1210a,1210bを水平方向にそれぞれ分割し、第3符号化単位1216a,1216b,1216c,1216dを決定することができ、映像復号装置100は、左側第2符号化単位1210aに含まれる第3符号化単位1216a,1216cを垂直方向にまず処理した後、右側第2符号化単位1210bに含まれる第3符号化単位1216b,1216dを垂直方向に処理する順序1217により、第3符号化単位1216a,1216b,1216c,1216dを処理することができる。
【0128】
一実施形態により、映像復号装置100は、水平方向に分割されて生成された第2符号化単位1220a,1220bを垂直方向にそれぞれ分割し、第3符号化単位1226a,1226b,1226c,1226dを決定することができ、映像復号装置100は、上端第2符号化単位1220aに含まれる第3符号化単位1226a,1226bを水平方向にまず処理した後、下端第2符号化単位1220bに含まれる第3符号化単位1226c,1226dを水平方向に処理する順序1227により、第3符号化単位1226a,1226b,1226c,1226dを処理することができる。
【0129】
図12を参照すれば、第2符号化単位1210a,1210b,1220a,1220bがそれぞれ分割され、正方形状の第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dが決定されうる。垂直方向に分割されて決定された第2符号化単位1210a,1210b、及び水平方向に分割されて決定された第2符号化単位1220a,1220bは、互いに異なる形態に分割されたものであるが、その後に決定される第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dによれば、結局、同一形態の符号化単位に、第1符号化単位1200が分割された結果になる。それにより、映像復号装置100は、分割形態モード情報に基づき、異なる過程を介し、再帰的に符号化単位を分割することにより、結果として、同一形態の符号化単位を決定するにしても、同一形態に決定された複数個の符号化単位に対し、互いに異なる順序処理を行うことができる。
【0130】
図13は、一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。
【0131】
一実施形態により、映像復号装置100は、符号化単位の深度を所定の基準によって決定することができる。例えば、該所定の基準は、符号化単位の長辺の長さにもなる。映像復号装置100は、現在符号化単位の長辺の長さが、分割される前の符号化単位の長辺の長さに対し、2(n>0)倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度よりnほど深度が増加されたと決定することができる。以下においては、深度が増加された符号化単位を、下位深度の符号化単位と表現することにする。
【0132】
図13を参照すれば、一実施形態により、正方形状であることを示すブロック形態情報(例えば、該ブロック形態情報は、「0:SQUARE」を示しうる)に基づき、映像復号装置100は、正方形状である第1符号化単位1300を分割し、下位深度の第2符号化単位1302、第3符号化単位1304などを決定することができる。正方形状の第1符号化単位1300の大きさを2Nx2Nとするならば、第1符号化単位1300の幅及び高さを1/2倍に分割して決定された第2符号化単位1302は、NxNの大きさを有しうる。さらには、第2符号化単位1302の幅及び高さを1/2サイズに分割して決定された第3符号化単位1304は、N/2xN/2の大きさを有しうる。その場合、第3符号化単位1304の幅及び高さは、第1符号化単位1300の1/4倍に該当する。第1符号化単位1300の深度がDである場合、第1符号化単位1300の幅及び高さの1/2倍である第2符号化単位1302の深度は、D+1でもあり、第1符号化単位1300の幅及び高さの1/4倍である第3符号化単位1304の深度は、D+2でもある。
【0133】
一実施形態により、非正方形状を示すブロック形態情報(例えば、ブロック形態情報は、高さが幅より大きい非正方形であることを示す「1:NS_VER」、または幅が高さより大きい非正方形であることを示す「2:NS_HOR」を示しうる)に基づき、映像復号装置100は、非正方形状である第1符号化単位1310または1320を分割し、下位深度の第2符号化単位1312または1322、第3符号化単位1314または1324を決定することができる。
【0134】
映像復号装置100は、Nx2Nサイズの第1符号化単位1310の幅及び高さのうち少なくとも一つを分割し、例えば、第2符号化単位1302,1312,1322を決定することができる。すなわち、映像復号装置100は、第1符号化単位1310を水平方向に分割し、NxNサイズの第2符号化単位1302、またはNxN/2サイズの第2符号化単位1322を決定することができ、水平方向及び垂直方向に分割し、N/2xNサイズの第2符号化単位1312を決定することもできる。
【0135】
一実施形態により、映像復号装置100は、2NxNサイズの第1符号化単位1320の幅及び高さのうち少なくとも一つを分割し、例えば、第2符号化単位1302,1312,1322を決定することもできる。すなわち、映像復号装置100は、第1符号化単位1320を垂直方向に分割し、NxNサイズの第2符号化単位1302、またはN/2xNサイズの第2符号化単位1312を決定することができ、水平方向及び垂直方向に分割し、NxN/2サイズの第2符号化単位1322を決定することもできる。
【0136】
一実施形態により、映像復号装置100は、NxNサイズの第2符号化単位1302の幅及び高さのうち少なくとも一つを分割し、例えば、第3符号化単位1304,1314,1324を決定することもできる。すなわち、映像復号装置100は、第2符号化単位1302を垂直方向及び水平方向に分割し、N/2xN/2サイズの第3符号化単位1304を決定するか、N/4xN/2サイズの第3符号化単位1314を決定するか、あるいはN/2xN/4サイズの第3符号化単位1324を決定することができる。
【0137】
一実施形態により、映像復号装置100は、N/2xNサイズの第2符号化単位1312の幅及び高さのうち少なくとも一つを分割し、例えば、第3符号化単位1304,1314,1324を決定することもできる。すなわち、映像復号装置100は、第2符号化単位1312を水平方向に分割し、N/2xN/2サイズの第3符号化単位1304、またはN/2xN/4サイズの第3符号化単位1324を決定するか、あるいは垂直方向及び水平方向に分割し、N/4xN/2サイズの第3符号化単位1314を決定することができる。
【0138】
一実施形態により、映像復号装置100は、NxN/2サイズの第2符号化単位1322の幅及び高さのうち少なくとも一つを分割し、例えば、第3符号化単位1304,1314,1324を決定することもできる。すなわち、映像復号装置100は、第2符号化単位1322を垂直方向に分割し、N/2xN/2サイズの第3符号化単位1304、またはN/4xN/2サイズの第3符号化単位1314を決定するか、あるいは垂直方向及び水平方向に分割し、N/2xN/4サイズの第3符号化単位1324を決定することができる。
【0139】
一実施形態により、映像復号装置100は、例えば、正方形状の符号化単位1300,1302,1304を、水平方向または垂直方向に分割することができる。例えば、2Nx2Nサイズの第1符号化単位1300を垂直方向に分割し、Nx2Nサイズの第1符号化単位1310を決定するか、あるいは水平方向に分割し、2NxNサイズの第1符号化単位1320を決定することができる。一実施形態により、深度が符号化単位の最長辺の長さに基づいて決定される場合、2Nx2Nサイズの第1符号化単位1300が水平方向または垂直方向に分割されて決定される符号化単位の深度は、第1符号化単位1300の深度と同一でもある。
【0140】
一実施形態により、第3符号化単位1314または1324の幅及び高さは、第1符号化単位1310または1320の1/4倍に該当しうる。第1符号化単位1310または1320の深度がDである場合、第1符号化単位1310または1320の幅及び高さの1/2倍である第2符号化単位1312または1322の深度は、D+1でもあり、第1符号化単位1310または1320の幅及び高さの1/4倍である第3符号化単位1314または1324の深度は、D+2でもある。
【0141】
図14は、一実施形態により、符号化単位の形態及び大きさによって決定されうる深度、及び符号化単位区分のためのインデックス(PID:part index)を図示する。
【0142】
一実施形態により、映像復号装置100は、正方形状の第1符号化単位1400を分割し、多様な形態の第2符号化単位を決定することができる。図14を参照すれば、映像復号装置100は、分割形態モード情報により、第1符号化単位1400を垂直方向及び水平方向のうち少なくとも1つの方向に分割し、第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dを決定することができる。すなわち、映像復号装置100は、第1符号化単位1400に係わる分割形態モード情報に基づき、第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dを決定することができる。
【0143】
一実施形態により、正方形状の第1符号化単位1400に係わる分割形態モード情報によって決定される第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dは、長辺の長さに基づき、深度が決定されうる。例えば、正方形状の第1符号化単位1400の一辺の長さと、非正方形状の第2符号化単位1402a,1402b,1404a,1404bの長辺の長さとが同一であるので、第1符号化単位1400と、非正方形状の第2符号化単位1402a,1402b,1404a,1404bとの深度は、Dとして同一であると見ることができる。それに反し、映像復号装置100が分割形態モード情報に基づき、第1符号化単位1400を4個の正方形状の第2符号化単位1406a,1406b,1406c,1406dに分割した場合、正方形状の第2符号化単位1406a,1406b,1406c,1406dの一辺の長さは、第1符号化単位1400の一辺の長さの1/2倍であるので、第2符号化単位1406a,1406b,1406c,1406dの深度は、第1符号化単位1400の深度であるDより1深度下位であるD+1の深度でもある。
【0144】
一実施形態により、映像復号装置100は、高さが幅より大きい形態の第1符号化単位1410を分割形態モード情報によって水平方向に分割し、複数個の第2符号化単位1412a,1412b,1414a,1414b,1414cに分割することができる。一実施形態により、映像復号装置100は、幅が高さより大きい形態の第1符号化単位1420を分割形態モード情報によって垂直方向に分割し、複数個の第2符号化単位1422a,1422b,1424a,1424b,1424cに分割することができる。
【0145】
一実施形態により、非正方形状の第1符号化単位1410または1420に係わる分割形態モード情報によって決定される第2符号化単位1412a,1412b,1414a,1414b,1414c,1422a,1422b,1424a,1424b,1424cは、長辺の長さに基づき、深度が決定されうる。例えば、正方形状の第2符号化単位1412a,1412bの一辺の長さは、高さが幅より大きい非正方形状の第1符号化単位1410の一辺の長さの1/2倍であるので、正方形状の第2符号化単位1412a,1412bの深度は、非正方形状の第1符号化単位1410の深度Dより1深度下位の深度であるD+1である。
【0146】
さらには、映像復号装置100が分割形態モード情報に基づき、非正方形状の第1符号化単位1410を奇数個の第2符号化単位1414a,1414b,1414cに分割することができる。奇数個の第2符号化単位1414a,1414b,1414cは、非正方形状の第2符号化単位1414a,1414c、及び正方形状の第2符号化単位1414bを含むものでもある。その場合、非正方形状の第2符号化単位1414a,1414cの長辺の長さ、及び正方形状の第2符号化単位1414bの一辺の長さは、第1符号化単位1410の一辺の長さの1/2倍であるので、第2符号化単位1414a,1414b,1414cの深度は、第1符号化単位1410の深度であるDより1深度下位であるD+1の深度でもある。映像復号装置100は、第1符号化単位1410と係わる符号化単位の深度を決定する前記方式に対応する方式でもって、幅が高さより大きい非正方形状の第1符号化単位1420と係わる符号化単位の深度を決定することができる。
【0147】
一実施形態により、映像復号装置100は、分割された符号化単位の区分のためのインデックス(PID)決定において、奇数個に分割された符号化単位が互いに同一サイズではない場合、符号化単位間の大きさの比率に基づき、インデックスを決定することができる。図14を参照すれば、奇数個に分割された符号化単位1414a,1414b,1414cのうち、真ん中に位置する符号化単位1414bは、他の符号化単位1414a,1414cと、幅は同一であるが、高さが異なる符号化単位1414a,1414cの高さの2倍でもある。すなわち、その場合の真ん中に位置する符号化単位1414bは、他の符号化単位1414a,1414cの二つを含むものでもある。従って、スキャン順序により、真ん中に位置する符号化単位1414bのインデックス(PID)が1であるならば、その次の順序に位置する符号化単位1414cは、インデックスが2が増加した3でもある。すなわち、インデックス値の不連続性が存在しうる。一実施形態により、映像復号装置100は、そのように分割された符号化単位間の区分のためのインデックスの不連続性の存在いかんに基づき、奇数個に分割された符号化単位が、互いに同一サイズではないか否かということを決定することができる。
【0148】
一実施形態により、映像復号装置100は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックスの値に基づき、特定分割形態に分割されたものであるか否かということを決定することができる。図14を参照すれば、映像復号装置100は、高さが幅より大きい長方形状の第1符号化単位1410を分割し、偶数個の符号化単位1412a,1412bを決定するか、あるいは奇数個の符号化単位1414a,1414b,1414cを決定することができる。映像復号装置100は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス(PID)を利用することができる。一実施形態により、インデックス(PID)は、それぞれの符号化単位の所定位置のサンプル(例えば、左側上端サンプル)から獲得されうる。
【0149】
一実施形態により、映像復号装置100は、符号化単位区分のためのインデックスを利用し、分割されて決定された符号化単位のうち、所定位置の符号化単位を決定することができる。一実施形態により、高さが幅より大きい長方形状の第1符号化単位1410に係わる分割形態モード情報が3個の符号化単位に分割されることを示す場合、映像復号装置100は、第1符号化単位1410を3個の符号化単位1414a,1414b,1414cに分割することができる。映像復号装置100は、3個の符号化単位1414a,1414b,1414cそれぞれに係わるインデックスを割り当てることができる。映像復号装置100は、奇数個に分割された符号化単位のうち、真ん中符号化単位を決定するために、各符号化単位に係わるインデックスを比較することができる。映像復号装置100は、符号化単位のインデックスに基づき、インデックスのうち、真ん中値に該当するインデックスを有する符号化単位1414bを、第1符号化単位1410が分割されて決定された符号化単位における真ん中位置の符号化単位として決定することができる。一実施形態により、映像復号装置100は、分割された符号化単位区分のためのインデックス決定おいて、符号化単位が互いに同一サイズではない場合、符号化単位間の大きさの比率に基づき、インデックスを決定することができる。図14を参照すれば、第1符号化単位1410が分割されて生成された符号化単位1414bは、他の符号化単位1414a,1414cと幅は同一であるが高さが異なる符号化単位1414a,1414cの高さの2倍でもある。その場合の真ん中に位置する符号化単位1414bのインデックス(PID)が1であるならば、その次の順序に位置する符号化単位1414cは、インデックスが2が増加した3でもある。そのような場合のように、均一にインデックスが増加していて、増加幅が異なる場合、映像復号装置100は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる、一実施形態により、分割形態モード情報が、奇数個の符号化単位に分割されることを示す場合、映像復号装置100は、奇数個の符号化単位のうち、所定位置の符号化単位(例えば、真ん中符号化単位)が、他の符号化単位と大きさが異なる形態に現在符号化単位を分割することができる。その場合、映像復号装置100は、符号化単位に係わるインデックス(PID)を利用し、異なる大きさを有する真ん中符号化単位を決定することができる。ただし、前述のインデックス、決定する所定位置の符号化単位の大きさまたは位置は、一実施形態について説明するために特定したものあるので、それに限定して解釈されるものではなく、多様なインデックス、符号化単位の位置及び大きさが利用されうると解釈されなければならない。
【0150】
一実施形態により、映像復号装置100は、符号化単位の再帰的な分割が始まる所定のデータ単位を利用することができる。
【0151】
図15は、一実施形態により、ピクチャに含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたところを図示する。
【0152】
一実施形態により、所定のデータ単位は、符号化単位が分割形態モード情報を利用し、再帰的に分割され始めるデータ単位とも定義される。すなわち、現在ピクチャを分割する複数個の符号化単位が決定される過程において利用される最上位深度の符号化単位に該当しうる。以下においては、説明上の便宜のために、そのような所定のデータ単位を基準データ単位と称することにする。
【0153】
一実施形態により、該基準データ単位は、所定の大きさ及び形態を示しうる。一実施形態により、基準データ単位は、MxNのサンプルを含むものでもある。ここで、M及びNは、互いに同一でもあり、2の乗数によって表現される整数でもある。すなわち、該基準データ単位は、正方形または非正方形状を示し、その後、整数個の符号化単位に分割されうる。
【0154】
一実施形態により、映像復号装置100は、現在ピクチャを、複数個の基準データ単位に分割することができる。一実施形態により、映像復号装置100は、現在ピクチャを分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割形態モード情報を利用して分割することができる。そのような基準データ単位の分割過程は、クアッドツリー(quad-tree)構造を利用した分割過程に対応しうる。
【0155】
一実施形態により、映像復号装置100は、現在ピクチャに含まれる基準データ単位が有しうる最小サイズを事前に決定することができる。それにより、映像復号装置100は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に、分割形態モード情報を利用し、少なくとも1つの符号化単位を決定することができる。
【0156】
図15を参照すれば、映像復号装置100は、正方形状の基準符号化単位1500を利用することができ、または非正方形状の基準符号化単位1502を利用することもできる。一実施形態により、基準符号化単位の形態及び大きさは、少なくとも1つの基準符号化単位を含むものでもある多様なデータ単位(例えば、シーケンス(sequence)、ピクチャ(picture)、スライス(slice)、スライスセグメント(slice segment)、タイル(tile)、タイルグループ(tile group)、最大符号化単位など)によって決定されうる。
【0157】
一実施形態により、映像復号装置100のビットストリーム獲得部110は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを、前述の多様なデータ単位ごとに、ビットストリームから獲得することができる。正方形状の基準符号化単位1500に含まれる少なくとも1つの符号化単位が決定される過程は、図3の現在符号化単位300が分割される過程を介して説明し、非正方形状の基準符号化単位1502に含まれる少なくとも1つの符号化単位が決定される過程は、図4の現在符号化単位400または450が分割される過程を介して説明したので、詳細な説明は、省略する。
【0158】
一実施形態により、映像復号装置100は、所定の条件に基づいて事前に決定される一部データ単位により、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、ビットストリーム獲得部110は、ビットストリームから、前記多様なデータ単位(例えば、シーケンス、ピクチャ、スライス、スライスセグメント、タイル、タイルグループ、最大符号化単位など)のうち、所定の条件(例えば、スライス以下の大きさを有するデータ単位)を満足するデータ単位として、スライス、スライスセグメント、タイル、タイルグループ、最大符号化単位ごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスのみを獲得することができる。映像復号装置100は、インデックスを利用することにより、前記所定の条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。該基準符号化単位の形態に係わる情報、及び該基準符号化単位の大きさに係わる情報を、相対的に小サイズのデータ単位ごとに、ビットストリームから獲得して利用する場合、該ビットストリームの利用効率が望ましいものではないので、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して利用することができる。その場合、基準符号化単位の大きさ及び形態を示すインデックスに対応する基準符号化単位の大きさ及び形態のうち少なくとも一つは、事前に決定されてもいる。すなわち、映像復号装置100は、事前に決定された基準符号化単位の大きさ及び形態のうち少なくとも一つをインデックスによって選択することにおり、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。
【0159】
一実施形態により、映像復号装置100は、1つの最大符号化単位に含まれる少なくとも1つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも1つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を介し、符号化単位が決定されうる。一実施形態により、最大符号化単位の幅及び高さのうち少なくとも一つは、基準符号化単位の幅及び高さのうち少なくとも1つの整数倍に該当しうる。一実施形態により、基準符号化単位の大きさは、最大符号化単位を、クアッドツリー構造によってn回分割した大きさでもある。すなわち、映像復号装置100は、最大符号化単位を、クアッドツリー構造により、n回分割し、基準符号化単位を決定することができ、多様な実施形態により、基準符号化単位を、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づいて分割することができる。
【0160】
一実施形態により、映像復号装置100は、現在符号化単位の形態を示すブロック形態情報、または現在符号化単位を分割する方法を示す分割形態モード情報をビットストリームから獲得して利用することができる。該分割形態モード情報は、多様なデータ単位と係わるビットストリームに含まれるものでもある。例えば、映像復号装置100は、シーケンスパラメータセット(sequence parameter set)、ピクチャパラメータセット(picture parameter set)、ビデオパラメータセット(video parameter set)、スライスヘッダ(slice header)、スライスセグメントヘッダ(slice segment header)、タイルヘッダ(tile header)、タイルグループヘッダ(tile group header)に含まれた分割形態モード情報を利用することができる。さらには、映像復号装置100は、最大符号化単位、基準符号化単位ごとに、ビットストリームから、ブロック形態情報または分割形態モード情報に対応するシンタックス要素を獲得して利用することができる。
【0161】
以下、本開示の一実施形態による、分割規則を決定する方法について詳細に説明する。
【0162】
映像復号装置100は、映像の分割規則を決定することができる。該分割規則は、映像復号装置100と映像符号化装置200との間において事前に決定されてもいる。映像復号装置100は、ビットストリームから獲得された情報に基づき、映像の分割規則を決定することができる。映像復号装置100は、シーケンスパラメータセット、ピクチャパラメータセット、ビデオパラメータセット、スライスヘッダ、スライスセグメントヘッダ、タイルヘッダ、タイルグループヘッダのうち少なくとも一つから獲得された情報に基づき、分割規則を決定することができる。映像復号装置100は、分割規則を、フレーム、スライス、タイル、テンポラルレイヤ(temporal layer)、最大符号化単位または符号化単位によって異なるように決定することができる。
【0163】
映像復号装置100は、符号化単位のブロック形態に基づき、分割規則を決定することができる。該ブロック形態は、符号化単位の大きさ、形態、幅と高さとの比率、方向を含むものでもある。映像符号化装置200及び映像復号装置100は、符号化単位のブロック形態に基づき、分割規則を決定することを事前に決定することができる。しかしながら、それに限定されるものではない。映像復号装置100は、映像符号化装置200から受信されたビットストリームから獲得された情報に基づき、分割規則を決定することができる。
【0164】
符号化単位の形態は、正方形及び非正方形を含むものでもある。符号化単位の幅及び高さの大きさが同じである場合、映像復号装置100は、符号化単位の形態を、正方形と決定することができる。また、符号化単位の幅及び高さの大きさが同じではない場合、映像復号装置100は、符号化単位の形態を非正方形と決定することができる。
【0165】
符号化単位の大きさは、4x4、8x4、4x8、8x8、16x4、16x8、…、256x256の多様な大きさを含むものでもある。符号化単位の大きさは、符号化単位の長辺の長さ、短辺の長さ、または広さによっても分類される。映像復号装置100は、同一グループに分類された符号化単位に、同一分割規則を適用することができる。例えば、映像復号装置100は、同一長辺の長さを有する符号化単位を、同一サイズに分類することができる。また、映像復号装置100は、同一長辺の長さを有する符号化単位につき、同一分割規則を適用することができる。
【0166】
符号化単位の幅と高さとの比率は1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、32:1または1:32などを含むものでもある。また、該符号化単位の方向は、水平方向及び垂直方向を含むものでもある。該水平方向は、符号化単位の幅の長さが高さの大きさより大きい場合を示しうる。該垂直方向は、符号化単位の幅の長さが高さの大きさより小さい場合を示しうる。
【0167】
映像復号装置100は、符号化単位の大きさに基づき、分割規則を適応的に決定することができる。映像復号装置100は、符号化単位の大きさに基づき、許容可能な分割形態モードを異なるように決定することができる。例えば、映像復号装置100は、符号化単位の大きさに基づき、分割が許容されるか否かということを決定することができる。映像復号装置100は、符号化単位の大きさにより、分割方向を決定することができる。映像復号装置100は、符号化単位の大きさにより、許容可能な分割タイプを決定することができる。
【0168】
符号化単位の大きさに基づき、分割規則を決定することは、映像符号化装置200と映像復号装置100との間に事前に決定された分割規則でもある。また、映像復号装置100は、ビットストリームから獲得された情報に基づき、分割規則を決定することができる。
【0169】
映像復号装置100は、符号化単位の位置に基づき、分割規則を適応的に決定することができる。映像復号装置100は、符号化単位が、映像で占める位置に基づき、分割規則を適応的に決定することができる。
【0170】
また、映像復号装置100は、互いに異なる分割経路によって生成された符号化単位が、同一ブロック形態を有さないように、分割規則を決定することができる。ただし、それに限定されるものではなく、互いに異なる分割経路によて生成された符号化単位は、同一ブロック形態を有しうる。互いに異なる分割経路によって生成された符号化単位は、互いに異なる復号処理順序を有しうる。該復号処理順序については、図12と共に説明したので、詳細な説明は、省略する。
【0171】
図16は、一実施形態により、符号化単位が分割されうる形態の組み合わせが、ピクチャごとに互いに異なる場合、それぞれのピクチャごとに決定されうる符号化単位を図示する。
【0172】
図16を参照すれば、映像復号装置100は、ピクチャごとに符号化単位が分割されうる分割形態の組み合わせを、異なるように決定することができる。例えば、映像復号装置100は、映像に含まれる少なくとも1つのピクチャにおいて、4個の符号化単位に分割されうるピクチャ1600、2個または4個の符号化単位に分割されうるピクチャ1610、及び2個、3個または4個の符号化単位に分割されうるピクチャ1620を利用し、映像を復号することができる。映像復号装置100は、ピクチャ1600を、複数個の符号化単位に分割するために、4個の正方形の符号化単位に分割されることを示す分割形態情報のみを利用することができる。映像復号装置100は、ピクチャ1610を分割するために、2個または4個の符号化単位に分割されることを示す分割形態情報のみを利用することができる。映像復号装置100は、ピクチャ1620を分割するために、2個、3個または4個の符号化単位に分割されることを示す分割形態情報のみを利用することができる。前述の分割形態の組み合わせは、映像復号装置100の動作について説明するための実施形態に過ぎないので、説明された分割形態の組み合わせは、前述の実施形態に限定して解釈されるものではなく、所定のデータ単位ごとに、多様な形態の分割形態の組み合わせが利用されうると解釈されなければならない。
【0173】
一実施形態により、映像復号装置100のビットストリーム獲得部110は、分割形態情報の組み合わせを示すインデックスを含むビットストリームを、所定のデータ単位単位(例えば、シーケンス、ピクチャ、スライス、スライスセグメント、タイルまたはタイルグループなど)ごとに獲得することができる。例えば、ビットストリーム獲得部110は、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、タイルヘッダ(またはタイルグループヘッダから、分割形態情報の組み合わせを示すインデックスを獲得することができる。映像復号装置100の映像復号装置100は、獲得したインデックスを利用し、所定のデータ単位ごとに、符号化単位が分割されうる分割形態の組み合わせを決定することができ、それにより、所定のデータ単位ごとに互いに異なる分割形態の組み合わせを利用することができる。
【0174】
図17は、一実施形態により、バイナリ(binary)コードによって表現されうる分割形態モード情報に基づいても決定される符号化単位の多様な形態を図示する。
【0175】
一実施形態により、映像復号装置100は、ビットストリーム獲得部110を介して獲得したブロック形態情報及び分割形態モード情報を利用し、符号化単位を多様な形態に分割することができる。分割されうる符号化単位の形態は、前述の実施形態を介して説明した形態を含む多様な形態に該当しうる。
【0176】
図17を参照すれば、映像復号装置100は、分割形態モード情報に基づき、正方形状の符号化単位を、水平方向及び垂直方向のうち少なくとも1つの方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。
【0177】
一実施形態により、映像復号装置100が、正方形状の符号化単位を、水平方向及び垂直方向に分割し、4個の正方形の符号化単位に分割することができる場合、正方形の符号化単位に係わる分割形態モード情報が示しうる分割形態は、4種でもある。一実施形態により、該分割形態モード情報は、2桁のバイナリコードとしても表現され、それぞれの分割形態ごとに、バイナリコードが割り当てられうる。例えば、符号化単位が分割されない場合、該分割形態モード情報は、(00)bとも表現され、該符号化単位が水平方向及び垂直方向に分割される場合、該分割形態モード情報は、(01)bとも表現され、符号化単位が水平方向に分割される場合、該分割形態モード情報は、(10)bとも表現され、該符号化単位が垂直方向に分割される場合、該分割形態モード情報は、(11)bとも表現される。
【0178】
一実施形態により、映像復号装置100は、非正方形状の符号化単位を、水平方向または垂直方向に分割する場合、分割形態モード情報が示しうる分割形態の種類は、いくつの符号化単位に分割するかというによっても決定される。図17を参照すれば、映像復号装置100は、一実施形態により、非正方形状の符号化単位を3個まで分割することができる。映像復号装置100は、符号化単位を2つの符号化単位に分割することができ、その場合、分割形態モード情報は、(10)bとも表現される。映像復号装置100は、符号化単位を、3つの符号化単位に分割することができ、その場合、分割形態モード情報は、(11)bとも表現される。映像復号装置100は、符号化単位を分割しないと決定することができ、その場合、分割形態モード情報は、(0)bとも表現される。すなわち、映像復号装置100は、分割形態モード情報を示すバイナリコードを利用するために、固定長コーディング(FLC:fixed length coding)ではなく、可変長コーディング(VLC:variable length coding)を利用することができる。
【0179】
一実施形態により、図17を参照すれば、符号化単位が分割されないことを示す分割形態モード情報のバイナリコードは、(0)bとも表現される。もし符号化単位が分割されないことを示す分割形態モード情報のバイナリコードが(00)bに設定された場合であるならば、(01)bに設定された分割形態モード情報がないにもかかわらず、2ビットの分割形態モード情報のバイナリコードをいずれも利用しなければならない。しかしながら、図17で図示されているように、非正方形状の符号化単位に係わる3種の分割形態を利用する場合であるならば、映像復号装置100は、分割形態モード情報として、1ビットのバイナリコード(0)bを利用するにしても、符号化単位が分割されないことを決定することができるので、ビットストリームを効率的に利用することができる。ただし、該分割形態モード情報が示す非正方形状の符号化単位の分割形態は、単に、図17で図示する3種形態だけに限って解釈されるものではなく、前述の実施形態を含む多様な形態に解釈されなければならない。
【0180】
図18は、一実施形態により、バイナリコードによって表現されうる分割形態モード情報に基づいても決定される符号化単位の他の形態を図示する。
【0181】
図18を参照すれば、映像復号装置100は、分割形態モード情報に基づき、正方形状の符号化単位を、水平方向または垂直方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。すなわち、分割形態モード情報は、正方形状の符号化単位が一方向に分割されることを示しうる。そのような場合、正方形状の符号化単位が分割されないことを示す分割形態モード情報のバイナリコードは、(0)bとも表現される。もし符号化単位が分割されないことを示す分割形態モード情報のバイナリコードが(00)bに設定された場合であるならば、(01)bに設定された分割形態モード情報がないにもかかわらず、2ビットの分割形態モード情報のバイナリコードをいずれも利用しなければならない。しかしながら、図18で図示されているように、正方形状の符号化単位に係わる3種の分割形態を利用する場合であるならば、映像復号装置100は、分割形態モード情報として、1ビットのバイナリコード(0)bを利用するにしても、符号化単位が分割されないことを決定することができるので、ビットストリームを効率的に利用することができる。ただし、分割形態モード情報が示す正方形状の符号化単位の分割形態は、単に、図18で図示する3種形態だけに限って解釈されるものではなく、前述の実施形態を含む多様な形態に解釈されなければならない。
【0182】
一実施形態により、ブロック形態情報または分割形態モード情報は、バイナリコードを利用しても表現され、そのような情報が直ちにビットストリームにも生成される。また、バイナリコードによって表現されうるブロック形態情報または分割形態モード情報は、直ちにビットストリームに生成されず、CABAC(context adaptive binary arithmetic coding)で入力されるバイナリコードとしても利用される。
【0183】
一実施形態により、映像復号装置100は、CABACを介し、ブロック形態情報または分割形態モード情報に係わるシンタックスを獲得する過程について説明する。ビットストリーム獲得部110を介し、前記シンタックスに係わるバイナリコードを含むビットストリームを獲得することができる。映像復号装置100は、獲得したビットストリームに含まれるビンストリングを逆二進化し、ブロック形態情報または分割形態モード情報を示すシンタックス要素(syntax element)を検出することができる。一実施形態により、映像復号装置100は、復号されるシンタックス要素に該当するバイナリビンストリングの集合を求め、確率情報を利用し、それぞれのビンを復号することができ、映像復号装置100は、そのような復号されたビンによって構成されるビンストリングが、以前に求めたビンストリングのうち一つと同じになるまで、反復することができる。映像復号装置100は、ビンストリングの逆二進化を行い、シンタックス要素を決定することができる。
【0184】
一実施形態により、映像復号装置100は、適応的二進算術コーディング(adaptive binary arithmetic coding)の復号過程を遂行し、ビンストリングに係わるシンタックスを決定することができ、映像復号装置100は、ビットストリーム獲得部110を介して獲得したビンに係わる確率モデルを更新することができる。図17を参照すれば、映像復号装置100のビットストリーム獲得部110は、一実施形態により、分割形態モード情報を示すバイナリコードを示すビットストリームを獲得することができる。獲得された1ビットまたは2ビットの大きさを有するバイナリコードを利用し、映像復号装置100は、分割形態モード情報に係わるシンタックスを決定することができる。映像復号装置100は、分割形態モード情報に係わるシンタックスを決定するために、2ビットのバイナリコードにおいて、それぞれのビットに係わる確率を更新することができる。すなわち、映像復号装置100は、2ビットのバイナリコードにおいて、最初ビンの値が0または1のうちいずれの値であるかということにより、次のビンを復号するとき、0または1の値を有する確率を更新することができる。
【0185】
一実施形態により、映像復号装置100は、シンタックスを決定する過程において、シンタックスに係わるビンストリングのビンを復号する過程において利用されるビンに係わる確率を更新することができ、映像復号装置100は、前記ビンストリングにおいて、特定ビットにおいては、確率を更新せず、同一確率を有すると決定することができる。
【0186】
図17を参照すれば、非正方形状の符号化単位に係わる分割形態モード情報を示すビンストリングを利用し、シンタックスを決定する過程において、映像復号装置100は、非正方形状の符号化単位を分割しない場合には、0の値を有する1つのビンを利用し、分割形態モード情報に係わるシンタックスを決定することができる。すなわち、ブロック形態情報が、現在符号化単位は、非正方形状であることを示す場合、分割形態モード情報に係わるビンストリングの最初ビンは、非正方形状の符号化単位が分割されない場合、0であり、2個または3個の符号化単位に分割される場合、1でもある。それにより、非正方形の符号化単位に係わる分割形態モード情報のビンストリングの最初ビンが0である確率は、1/3であり、1である確率は、2/3でもある。前述のように、映像復号装置100は、非正方形状の符号化単位が分割されないことを示す分割形態モード情報は、0の値を有する1ビットのビンストリングのみが表現されうるので、映像復号装置100は、分割形態モード情報の最初ビンが1である場合にのみ、2番目ビンが、0であるか、1であるかということを判断し、分割形態モード情報に係わるシンタックスを決定することができる。一実施形態により、映像復号装置100は、分割形態モード情報に係わる最初ビンが1である場合、2番目ビンが0または1である確率は、互いに同一確率であるとして、ビンを復号することができる。
【0187】
一実施形態により、映像復号装置100は、分割形態モード情報に係わるビンストリングのビンを決定する過程において、それぞれのビンに係わる多様な確率を利用することができる。一実施形態により、映像復号装置100は、非正方形ブロックの方向に沿い、分割形態モード情報に係わるビンの確率を異なるように決定することができる。一実施形態により、映像復号装置100は、現在符号化単位の広さ、または長辺の長さにより、分割形態モード情報に係わるビンの確率を異ならせて決定することができる。一実施形態により、映像復号装置100は、現在符号化単位の形態、及び長辺の長さのうち少なくとも一つにより、分割形態モード情報に係わるビンの確率を異ならせて決定することができる。
【0188】
一実施形態により、映像復号装置100は、所定サイズ以上の符号化単位については、分割形態モード情報に係わるビンの確率を、同一であると決定することができる。例えば、符号化単位の長辺の長さを基準に、64サンプル以上の大きさの符号化単位については、分割形態モード情報に係わるビンの確率が同一であると決定することができる。
【0189】
一実施形態により、映像復号装置100は、分割形態モード情報のビンストリングを構成するビンに係わる初期確率は、スライスタイプ(例えば、Iスライス、PスライスまたはBスライス)に基づいても決定される。
【0190】
図19は、映像符号化システム及び映像復号システムのブロック図を示した図面である。
【0191】
映像符号化システム及び映像復号システム1900の符号化器1910は、映像の符号化されたビットストリームを伝送し、復号器1950は、ビットストリームを受信して復号することにより、復元映像を出力する。ここで、復号器1950は、映像復号装置100に類似した構成でもある。
【0192】
符号化器1910において、インター予測符号化部1905は、現在ブロックの予測モードがインター予測モードである場合、現在ピクチャに時間的に隣接する参照ピクチャの参照ブロックを示す現在ブロックの動き情報を生成する。インター予測符号化部1905は、参照ブロックのサンプルを利用し、現在ブロックの予測サンプルを決定することができる。イントラ予測符号化部1910は、現在ブロックに空間的に隣接する隣接サンプルを利用し、現在ブロックの予測サンプルを決定するように、現在ブロックと類似した隣接サンプルが位置する方向、または予測サンプルを決定する方式を示すイントラ予測情報を決定することができる。
【0193】
インター予測符号化部1905は、DPB(Decoded Picture Buffer)1948に保存されている、先に復元されたサンプルのうち、現在ブロックの予測のために利用する参照サンプルを決定することができる。
【0194】
変換部1920は、現在ブロックの原本サンプルから、インター予測符号化部1905またはイントラ予測符号化部1910によって生成された予測サンプルを取り除いたレジデュアルサンプル値について変換を行い、変換係数を出力する。変換部1920から出力された変換係数を、量子化部1925が量子化し、量子化された変換係数を出力する。エントロピー符号化部1930は、量子化された変換係数を、レベル値を含むレジデュアルシンタックス要素に符号化し、ビットストリームの形態に出力することができる。
【0195】
量子化部1925から出力された量子化された変換係数は、逆量子化部1933及び逆変換部1935を介し、逆量子化及び逆変換され、さらにレジデュアルサンプル値が生成されうる。
【0196】
加算器1915において、レジデュアルサンプル値と予測サンプルと値が合わされ、復元サンプル値が出力される。復元後フィルタリング部1940は、復元サンプルにつき、復元後フィルタリングを行い、復元後フィルタリングを介して更新された復元サンプル値は、イントラ予測部1910においても行われるイントラ予測のための参照サンプル値として利用されうる。復元後フィルタリング部1940は、復元サンプル値につき、アダマール変換領域フィルタリングまたはバイラテラルフィルタリングを行うことができる。
【0197】
インループフィルタリング部1945は、復元後フィルタリングを介して更新された復元サンプルにつき、デブロッキングフィルタリング及び適応的ループフィルタリングのうち少なくとも一つを遂行することができる。インループフィルタリング部1945のフィルタリングを介して更新された復元サンプル値は、DPB 1948にも保存され、インター予測部1905で行われるインター予測のための参照サンプル値として利用されうる。
【0198】
復号器1950のエントロピー復号部1955は、受信されたビットストリームに対してエントロピー復号を行い、レベル値を含むレジデュアルシンタックス要素をパージングすることができる。該レジデュアルシンタックス要素から、量子化された変換係数を復元することができる。逆量子化部1960は、量子化された変換係数について逆量子化を行って変換係数を出力し、逆変換部1965は、変換係数について逆変換を行い、レジデュアルサンプル値を出力することができる。
【0199】
復号器1950のインター予測符号化部1970は、エントロピー復号部1955でパージングした現在ブロックの動き情報を利用し、現在ピクチャに時間的に隣接する参照ピクチャを決定し、参照ピクチャ内の参照ブロックを決定することができる。インター予測符号化部1970は、参照ブロックのサンプルを利用し、現在ブロックの予測サンプルを決定することができる。復号器1950のイントラ予測符号化部1975は、エントロピー復号部1955でパージングした現在ブロックの動き情報を利用し、イントラ予測情報を利用し、現在ブロックに空間的に隣接する参照サンプルを決定し、決定された隣接サンプルを利用し、現在ブロックの予測サンプルを決定することができる。
【0200】
インター予測符号化部1970は、DPB(Decoded Picture Buffer)1990に保存されている、先に復元されたサンプルのうち、現在ブロックの予測のために利用する参照サンプルを決定することができる。
【0201】
復号器1950の加算器1995において、レジデュアルサンプル値と予測サンプル値とが合わされ、現在ブロックの復元サンプル値を出力する。復号器1950の復元後フィルタリング部1980は、復元サンプル値につき、アダマール変換領域フィルタリングまたはバイラテラルフィルタリングを行うことができる。復元後フィルタリング部1980のフィルタリングを介して更新された復元サンプル値は、イントラ予測部1975で遂行されるイントラ予測のための参照サンプル値として利用されうる。
【0202】
復号器1950のインループフィルタリング部1985は、復元後フィルタリングを介して更新された復元サンプルについて利用し、デブロッキングフィルタリング及び適応的ループフィルタリングのうち少なくとも一つを遂行することができる。インループフィルタリング部1985のフィルタリングを介して更新された復元サンプル値は、DPB 1990に保存され、インター予測部1970で遂行されるインター予測のための参照サンプル値として利用されうる。
【0203】
前述の多様な実施形態は、映像復号装置100が遂行する映像復号方法と係わる動作について説明したものである。以下においては、そのような映像復号方法につき、逆順の過程に該当する映像符号化方法を遂行する映像符号化装置200の動作について、多様な実施形態を介して説明する。
【0204】
図2は、一実施形態により、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、映像を符号化することができる映像符号化装置200のブロック図を図示する。
【0205】
映像符号化装置200は、符号化部220及びビットストリーム生成部210を含むものでもある。符号化部220は、入力映像を受信し、入力映像を符号化することができる。符号化部220は、入力映像を符号化し、少なくとも1つのシンタックス要素を獲得することができる。がいシンタックス要素は、skip flag、prediction mode、motion vector difference、motion vector prediction method (or index)、transform quantized coefficient、coded block pattern、coded block flag、intra prediction mode、direct flag、merge flag、delta QP、reference index、prediction direction、transform indexのうち少なくとも一つを含むものでもある。符号化部220は、符号化単位の形態、方向、幅と高さとの比率、または大きさのうち少なくとも一つを含むブロック形態情報に基づき、コンテクストモデルを決定することができる。
【0206】
ビットストリーム生成部210は、符号化された入力映像に基づき、ビットストリームを生成することができる。例えば、ビットストリーム生成部210は、コンテクストモデルに基づき、シンタックス要素をエントロピー符号化することにより、ビットストリームを生成することができる。また、映像符号化装置200は、ビットストリームを映像復号装置100に伝送することができる。
【0207】
一実施形態により、映像符号化装置200の符号化部220は、符号化単位の形態を決定することができる。例えば、符号化単位が正方形であるか、あるいは非正方形状を有することができ、そのような形態を示す情報は、ブロック形態情報に含まれるものでもある。
【0208】
一実施形態により、符号化部220は、符号化単位がいかなる形態に分割されるかを決定することができる。符号化部220は、符号化単位に含まれる少なくとも1つの符号化単位の形態を決定することができ、ビットストリーム生成部210は、そのような符号化単位の形態に係わる情報を含む分割形態モード情報を含むビットストリームを生成することができる。
【0209】
一実施形態により、符号化部220は、符号化単位が分割されるか、あるいは分割されないかということを決定することができる。符号化部220が、符号化単位に1つの符号化単位のみが含まれるか、あるいは符号化単位が分割されないと決定する場合、ビットストリーム生成部210は、符号化単位が分割されないことを示す分割形態モード情報を含むビットストリームを生成することができる。また、符号化部220は、符号化単位に含まれる複数個の符号化単位に分割することができ、ビットストリーム生成部210は、符号化単位は、複数個の符号化単位に分割されることを示す分割形態モード情報を含むビットストリームを生成することができる。
【0210】
一実施形態により、符号化単位をいくつの符号化単位に分割するかということを示すか、あるいはどの方向に分割するかということを示す情報が分割形態モード情報に含まれるものでもある。例えば、該分割形態モード情報は、垂直方向及び水平方向のうち少なくとも1つの方向に分割することを示すか、あるいは分割しないということを示しうる。
【0211】
映像符号化装置200は、符号化単位の分割形態モードに基づき、分割形態モードに係わる情報を決定する。映像符号化装置200は、符号化単位の形態、方向、幅と高さとの比率、または大きさのうち少なくとも一つに基づき、コンテクストモデルを決定する。そして、映像符号化装置200は、該コンテクストモデルに基づき、符号化単位を分割するための分割形態モードに係わる情報をビットストリームに生成する。
【0212】
映像符号化装置200は、コンテクストモデルを決定するために、符号化単位の形態、方向、幅と高さとの比率、または大きさのうち少なくとも一つと、コンテクストモデルに係わるインデックスとを対応させるための配列を獲得することができる。映像符号化装置200は、該配列において、符号化単位の形態、方向、幅と高さとの比率、または大きさのうち少なくとも一つに基づき、コンテクストモデルに係わるインデックスを獲得することができる。映像符号化装置200は、該コンテクストモデルに係わるインデックスに基づき、該コンテクストモデルを決定することができる。
【0213】
映像符号化装置200は、該コンテクストモデルを決定するために、符号化単位に隣接した周辺符号化単位の形態、方向、幅と高さとの比率、または大きさのうち少なくとも一つを含むブロック形態情報にさらに基づき、コンテクストモデルを決定することができる。また、該周辺符号化単位は、符号化単位の左下側、左側、左上側、上側、右上側、右側または右下側に位置した符号化単位のうち少なくとも一つを含むものでもある。
【0214】
また、映像符号化装置200は、該コンテクストモデルを決定するために、上側周辺符号化単位の幅の長さ、符号化単位の幅の長さとを比較することができる。また、映像符号化装置200は、左側及び右側の周辺符号化単位の高さの長さ、符号化単位の高さの大きさとを比較することができる。また、映像符号化装置200は、該比較結果に基づき、コンテクストモデルを決定することができる。
【0215】
映像符号化装置200の動作は、図3ないし図19で説明したビデオ復号装置100の動作と類似した内容を含んでいるので、詳細な説明は、省略する。
【0216】
図20は、一実施形態による映像復号装置2000の構成を図示するブロック図である。
【0217】
図20を参照すれば、映像復号装置2000は、ビットストリーム獲得部2010及び予測復号部2030を含む。予測復号部2030は、動きベクトル予測部2032及び動きベクトル復元部2034を含む。
【0218】
図20に図示されたビットストリーム獲得部2010は、図1に図示されたビットストリーム獲得部110に対応し、予測復号部2030は、図1に図示された復号部120に対応しうる。
【0219】
一実施形態による、ビットストリーム獲得部2010及び予測復号部2030は、少なくとも1つのプロセッサとしても具現される。映像復号装置2000は、ビットストリーム獲得部2010及び予測復号部2030の入出力データを保存する1以上のメモリ(図示せず)を含むものでもある。また、映像復号装置2000は、メモリ(図示せず)のデータ入出力を制御するメモリ制御部(図示せず)を含むものでもある。
【0220】
ビットストリーム獲得部2010は、映像の符号化結果に生成されたビットストリームを獲得する。ビットストリーム獲得部2010は、該ビットストリームから、映像復号のためのシンタックス要素を獲得する。該シンタックス要素に該当する二進値は、映像の階層構造により、該ビットストリームに含まれるものでもある。ビットストリーム獲得部2010は、該ビットストリームに含まれた二進値をエントロピーデコーディングし、シンタックス要素を獲得することができる。
【0221】
該ビットストリームは、現在映像内の現在ブロックの予測モードに係わる情報を含むものでもある。該現在ブロックは、復号する現在映像から分割された最大符号化単位、符号化単位または変換単位のブロックを意味しうる。
【0222】
現在ブロックの予測モードは、イントラ予測モードまたはインター予測モードを含むものでもある。前述のように、該インター予測モードは、参照映像内において、現在ブロックの動きベクトルが示す参照ブロックから現在ブロックを復元するモードである。
【0223】
予測復号部2030は、現在ブロックの予測モードにより、イントラ予測またはインター予測を利用し、現在ブロックを復元することができる。
【0224】
該インター予測モードにおいては、現在ブロックを復元するのに動き情報が利用されうる。該現在ブロックの動き情報は、該現在ブロックの予測方向、参照映像インデックス及び動きベクトルを含むものでもある。該現在ブロックの予測方向、参照映像インデックス及び動きベクトルは、ビットストリームに含まれた情報からも確認される。
【0225】
現在ブロックの予測方向は、リスト0方向、リスト1方向及び双方向のうち、いずれか一つでもある。該予測方向がリスト0方向であるというのは、参照映像リスト0に含まれた映像を、リスト0方向の参照映像に利用するということを意味し、予測方向がリスト1方向であるというのは、参照映像リスト1に含まれた映像を、リスト1方向の参照映像に利用するということを意味する。また、予測方向が双方向であるというのは、参照映像リスト0に含まれた映像を、リスト0方向の参照映像に利用し、参照映像リスト1に含まれた映像を、リスト1方向の参照映像に利用するということを意味する。
【0226】
参照映像インデックスは、参照映像リスト0及び/または参照映像リスト1に含まれた映像のうち、ブロックの参照映像に利用される映像を示す。リスト0方向の参照映像インデックスにより、参照映像リスト0に含まれた映像のうち、リスト0方向の参照映像に利用される映像が特定される。また、リスト1方向の参照映像インデックスにより、参照映像リスト1に含まれた映像のうち、リスト1方向の参照映像に利用される映像が特定される。
【0227】
動きベクトルは、参照映像内の参照ブロックの位置を特定する。リスト0方向の動きベクトルとは、リスト0方向の参照映像内の参照ブロックを示す動きベクトルを意味し、リスト1方向の動きベクトルとは、リスト1方向の参照映像内の参照ブロックを示す動きベクトルを意味する。
【0228】
現在ブロックの予測方向がリスト0方向であるならば、現在ブロックの動き情報は、現在ブロックの予測方向がリスト0方向であるという情報、リスト0方向の参照映像インデックス、及びリスト0方向の動きベクトルのうち少なくとも一つを含む。また、現在ブロックがリスト1方向であるならば、現在ブロックの動き情報は、現在ブロックの予測方向がリスト1方向であるという情報、リスト1方向の参照映像インデックス、及びリスト1方向の動きベクトルのうち少なくとも一つを含む。また、現在ブロックが双方向であるならば、現在ブロックの動き情報は、現在ブロックの予測方向が双方向であるという情報、リスト0方向の参照映像インデックス、リスト1方向の参照映像インデックス、リスト0方向の動きベクトル、及びリスト1方向の動きベクトルのうち少なくとも一つを含む。
【0229】
一実施形態において、ビットストリーム獲得部2010は、現在ブロックの予測モードがインター予測モードである場合、ビットストリームから、現在ブロックの予測方向を示す情報、及び現在ブロックの参照映像インデックスを獲得することができる。予測復号部2030は、ビットストリームに含まれた情報から、現在ブロックの差分動きベクトルを獲得し、現在ブロックの予測動きベクトルと、差分動きベクトルとを結合し、現在ブロックの動きベクトルを獲得することができる。
【0230】
予測復号部2030は、現在ブロックの予測方向、参照映像インデックス及び動きベクトルを基に、現在ブロックを復元することができる。
【0231】
以下においては、予測復号部2030が、現在ブロックの予測動きベクトルを獲得する方法について詳細に説明する。
【0232】
一実施形態による動きベクトル予測部2032は、現在ブロックに隣接した周辺ブロックの動きベクトルを利用し、予測動きベクトルを獲得することができる。ここで、該周辺ブロックは、現在ブロックの予測動きベクトルを獲得するのに利用される、事前に決定された位置のブロックであり、現在ブロックと共に現在映像に含まれる。
【0233】
該周辺ブロックは、事前に決定された位置のA0ブロック、A1ブロック、B0ブロック、B1ブロック及びB2ブロックを含むものでもある。
【0234】
動きベクトル予測部2032は、現在ブロックの左側ブロックと右側ブロックとの利用可能性を示す情報を基に、A0ブロック、A1ブロック、B0ブロック、B1ブロック及びB2ブロックの位置を識別することができる。
【0235】
一般的なビデオコーデックにおいて、映像につき、ラスター(raster)スキャン方向の復号が進められるが、その場合、現在ブロックの左側ブロックは、現在ブロック以前に復号が完了されて利用可能であり、現在ブロックの右側ブロックは、復号が完了されておらず、利用可能ではない。
【0236】
本開示においては、映像から分割されたブロックの復号方向を適応的に決定することができる。すなわち、該映像から分割されたブロックを、一括してラスタースキャン方向に沿って復号する代わりに、一部ブロックについては、右側方向から左側方向に復号することにより、コーディング効率を向上させることができる。それにより、現在ブロックの右側ブロックが利用可能であり、現在ブロックの左側ブロックが利用可能ではないか、あるいは現在ブロックの右側ブロックと左側ブロックとがいずれも利用されうる。
【0237】
左側ブロック及び右側ブロックが利用可能であるか否かということは、後述する第1周辺ブロックの利用可能性判断と同一にも判断される。
【0238】
現在ブロックの左右側ブロックの利用可能性によって異なる周辺ブロックの位置について、図21Aないし図21Cを参照して説明する。
【0239】
図21Aは、現在ブロック2100の左側ブロックが利用可能であるときの周辺ブロックの位置を図示する例示的な図面である。
【0240】
現在ブロック2100の左側ブロックが利用可能であるときの周辺ブロックの位置は、HEVC標準で規定している空間的周辺ブロックの位置と同一でもある。
【0241】
図21Aを参照すれば、周辺ブロックは、現在ブロック2100の左側下部コーナーブロックA0、左側下部ブロックA1、右側上部コーナーブロックB0、右側上部ブロックB1及び左側上部コーナーブロックB2を含むものでもある。図21Aに図示されているように、左側下部ブロックA1は、左側下部コーナーブロックA0の上部に位置し、右側上部ブロックB1は、右側上部コーナーブロックB0の左側に位置しうる。
【0242】
図21Bは、現在ブロック2100の左側ブロックと右側ブロックとが利用可能であるときの周辺ブロックの位置を図示する例示的な図面である。
【0243】
図21Bを参照すれば、周辺ブロックは、現在ブロック2100の右側上部コーナーブロックA0、左側下部ブロックA1、左側上部ブロックB0、右側下部ブロックB1及び左側上部コーナーブロックB2を含むものでもある。図21Bに図示されているように、左側上部コーナーブロックB2は、左側上部ブロックB0の左側に位置しうる。
【0244】
図21Cは、現在ブロック2100の右側ブロックが利用可能であるときの周辺ブロックの位置を図示する図面である。
【0245】
図21Cを参照すれば、周辺ブロックは、現在ブロック2100の右側下部コーナーブロックA0、右側下部ブロックA1、左側上部コーナーブロックB0、左側上部ブロックB1及び右側上部コーナーブロックB2を含むものでもある。図21Cに図示されているように、右側下部ブロックA1は、右側下部コーナーブロックA0の上部に位置し、左側上部ブロックB1は、左側上部コーナーブロックB0の右側に位置しうる。
【0246】
図21Aないし図21Cに図示された周辺ブロックの位置は、1つの例示であり、具現はいよって周辺ブロックの位置及び個数は、多様に変更されうる。
【0247】
動きベクトル予測部2032は、現在ブロックの左側ブロックと右側ブロックとの利用可能性を判断し、左右側ブロックの利用可能性を示す情報から、現在ブロックの予測動きベクトルを獲得するのに利用される周辺ブロックの位置を特定することができる。
【0248】
一実施形態において、動きベクトル予測部2032は、ビットストリームから獲得された情報から、周辺ブロックのうち、第1周辺ブロックを選択する。該第1周辺ブロックは、周辺ブロックに該当するA0ブロック、A1ブロック、B0ブロック、B1ブロック及びB2ブロックのうちいずれか一つでもある。
【0249】
一実施形態において、ビットストリームから獲得された情報は、現在ブロックの動きベクトル解像度を示す情報でもある。動きベクトル予測部2032は、事前に決定された複数の動きベクトル解像度(motion vector resolution)のうち、該ビットストリームから獲得された情報により、現在ブロックの動きベクトル解像度を確認し、予測動きベクトルを獲得するための第1周辺ブロックを選択することができる。
【0250】
該動きベクトル解像度は、参照映像(または、補間された参照映像)に含まれた画素のうち、インター予測を介して決定された動きベクトルが示しうる画素位置の精度を意味しうる。該動きベクトル解像度がN画素単位(Nは、有理数である)を有するというのは、動きベクトルがN画素単位の精度を有しうるということを意味する。一例として、1/4画素単位の動きベクトル解像度は、動きベクトルが補間された参照映像において、1/4画素単位(すなわち、副画素単位)の画素を示しうるということを意味し、1画素単位の動きベクトル解像度は、動きベクトルが補間された参照映像において、1画素単位(すなわち、整数画素単位)に対応する画素を示しうるということを意味しうる。さまざまな動きベクトル解像度のうち、現在ブロックの動きベクトルを少数のビット数によって表現することができる動きベクトル解像度が適応的に決定されうる。
【0251】
一実施形態において、ビットストリームから獲得される動きベクトル解像度を示す情報は、さまざまな動きベクトル解像度において、いずれか一つを示しうる、同時に互いに異なる位置の周辺ブロックのうち、いずれか1つの第1周辺ブロックを示しうる。
【0252】
図22は、動きベクトル解像度を示すインデックスと、動きベクトル解像度と、周辺ブロックの位置とのマッピング関係を図示する図面である。
【0253】
図22を参照すれば、インデックス(AMVR index)の値によって動きベクトル解像度及び第1周辺ブロックに該当する周辺ブロックが決定されうることが分かる。例えば、インデックス(AMVR index)が0であるならば、現在ブロックの動きベクトル解像度が1/4画素単位(pel)に選択され、第1周辺ブロックがA1ブロックに選択されうる。また、インデックス(AMVR index)が1であるならば、現在ブロックの動きベクトル解像度が1/2画素単位(pel)に選択され、第1周辺ブロックがB1ブロックに選択されうる。
【0254】
既存HEVC標準においては、さまざまな周辺ブロックが候補リストに含まれ、ビットストリームを介してシグナリングされた情報から選択された候補リスト内の周辺ブロックの動きベクトルが、予測動きベクトルに利用される。しかしながら、本開示においては、ビットストリームから獲得された情報、すなわち、現在ブロックの動きベクトル解像度を示す情報により、現在ブロックの予測動きベクトルを獲得するのに利用される第1周辺ブロックが特定されうる。従って、該候補リストに含まれたいずれか1つの周辺ブロックを示す別途の情報(例えば、HEVCにおけるmvp_l0_flag,mvp_l1_flag)がビットストリームに含まれない。
【0255】
動きベクトル予測部2032は、動きベクトル解像度を示す情報によって選択された第1周辺ブロックの利用可能性を判断する。具体的には、動きベクトル予測部2032は、第1周辺ブロックを含むタイルと、現在ブロックを含むタイルとが互いに異なっているか否かということ、第1周辺ブロックが現在映像の外部に位置するか否かということ、第1周辺ブロックがイントラ予測されたか否かということ、及び第1周辺ブロックの復元が完了したか否かということのうち少なくとも一つにより、第1周辺ブロックの利用可能性を判断する。
【0256】
一例として、動きベクトル予測部2032は、以下の4種条件のうち、いずれか一つでも満足すれば、第1周辺ブロックの利用可能性がないと判断することができる。
【0257】
(条件1)第1周辺ブロックを含むタイルと、現在ブロックを含むタイルとが互いに異なる。
【0258】
(条件2)第1周辺ブロックが現在映像の外部に位置する。
【0259】
(条件3)第1周辺ブロックが復元されない。
【0260】
(条件4)第1周辺ブロックがイントラ予測モードまたはIBC(Intra Block Copy)モードによってコーディングされる。
【0261】
IBCモードは、現在ブロックに対応する予測ブロックを、現在映像内でサーチするモードである。予測ブロックは、現在映像に対する動き予測(motion estimation)を介しても求められる。例えば、現在映像内において、予測ブロックを整数画素単位でサーチし、現在ブロックと、サーチされた予測ブロックとの位置関係がデコーダでシグナリングされうる。
【0262】
一実施形態において、動きベクトル予測部2032は、第1周辺ブロックの利用可能性を示す情報から、第1周辺ブロックの利用可能性があると識別され、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの参照映像インデックスが、事前に決定された値(例えば、-1)と同一でなければ、第1周辺ブロックの動きベクトルが、予測動きベクトルとして利用可能性があると判断することができる。動きベクトル予測部2032は、第1周辺ブロックの動きベクトルが、予測動きベクトルとして利用可能性がある場合、第1周辺ブロックの動きベクトルから、現在ブロックの予測動きベクトルを導き出す。
【0263】
もし第1周辺ブロックの利用可能性を示す情報から、第1周辺ブロックの利用可能性がないと識別されるか、あるいは第1周辺ブロックの利用可能性があると識別されても、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの参照映像インデックスが、事前に決定された値と同一であるならば、第1周辺ブロックの動きベクトルが、予測動きベクトルとして利用可能性がないと決定されうる。その場合、動きベクトル予測部2032は、後述するデフォルト動きベクトルの導き出し手続きにより、デフォルト動きベクトルを獲得し、該デフォルト動きベクトルを利用し、現在ブロックの予測動きベクトルを獲得することができる。
【0264】
現在ブロックの予測方向と同一予測方向の第1周辺ブロックの参照映像インデックスが、事前に決定された値と同一ではないということは、現在ブロックの予測方向と同一予測方向の参照映像を示す第1周辺ブロックの動きベクトルが存在するということを意味しうる。反対に、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの参照映像インデックスが、事前に決定された値と同一であるということは、現在ブロックの予測方向と同一予測方向の参照映像を示す第1周辺ブロックの動きベクトルが存在しないということを意味しうる。
【0265】
第1周辺ブロックの参照映像インデックスは、リスト0方向の参照映像インデックスと、リスト1方向の参照映像インデックスとを含むが、リスト0方向の参照映像インデックスと、リスト1方向の参照映像インデックスとの値は、第1周辺ブロックの予測方向に沿っても決定される。
【0266】
例えば、第1周辺ブロックの予測方向が、リスト0方向であるならば、リスト0方向の参照映像インデックスは、ビットストリームから獲得されたインデックス(例えば、ref_idx_l0)の値に設定され、リスト1方向の参照映像インデックスは、事前に決定された値に設定される。参照映像リストに含まれた映像は、0ないしn(nは、自然数である)のインデックスを有するために、事前に決定された値は、0ないしnとは異なる値、例えば、-1でもある。
【0267】
第1周辺ブロックの予測方向がリスト1方向であるならば、リスト1方向の参照映像インデックスは、ビットストリームから獲得されたインデックス(例えば、ref_idx_l1)の値に設定され、リスト0方向の参照映像インデックスは、事前に決定された値に設定される。
【0268】
第1周辺ブロックの予測方向が双方向であるならば、リスト0方向の参照映像インデックス、及びリスト1方向の参照映像インデックスは、いずれもビットストリームから獲得されたインデックス(例えば、ref_idx_l0、ref_idx_l1)の値に設定される。
【0269】
以下においては、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの参照映像インデックスが、事前に決定された値と同一であるか、あるいは同一ではないケースについて、図23Aないし図23Cを参照して説明する。
【0270】
図23Aは、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの参照映像インデックスが、事前に決定された値と同一ではないケースを例示する図面である。
【0271】
図23Aを参照すれば、現在ブロック2312及び第1周辺ブロック2314の予測方向は、いずれもリスト0方向である。従って、第1周辺ブロック2314の動きベクトルMVは、参照映像リスト0に含まれた参照映像2330内の参照ブロックを示す。第1周辺ブロック2314のリスト0方向の参照映像インデックスは、ビットストリームから獲得した情報によって設定され、第1周辺ブロック2314のリスト1方向の参照映像インデックスは、事前に決定された値に設定される。動きベクトル予測部2032は、現在ブロック2312の予測方向と同一予測方向、すなわち、リスト0方向の第1周辺ブロック2314の参照映像インデックスが、事前に決定された値と同一ではないので、第1周辺ブロック2314の動きベクトルMVを利用し、現在ブロック2312の予測動きベクトルを獲得する。
【0272】
同様に、現在ブロック2312及び第1周辺ブロック2314の予測方向がいずれもリスト1方向である場合、動きベクトル予測部2032は、現在ブロック2312の予測方向と同一予測方向、すなわち、リスト1方向の第1周辺ブロック2314の参照映像インデックスが、事前に決定された値と同一ではないので、第1周辺ブロック2314の動きベクトルMVを利用し、現在ブロック2312の予測動きベクトルを獲得する。
【0273】
図23Bは、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの参照映像インデックスが、事前に決定された値と同一であるケースを例示する図面である。
【0274】
図23Bを参照すれば、現在ブロック2312の予測方向は、リスト1方向であり、第1周辺ブロック2314の予測方向は、リスト0方向である。第1周辺ブロック2314の動きベクトルMVは、参照映像リスト0に含まれた参照映像2330内の参照ブロックを示す。第1周辺ブロック2314のリスト0方向の参照映像インデックスは、ビットストリームから獲得した情報によって設定され、第1周辺ブロック2314のリスト1方向の参照映像インデックスは、事前に決定された値に設定される。動きベクトル予測部2032は、現在ブロック2312の予測方向と同一予測方向、すなわち、リスト1方向の第1周辺ブロック2314の参照映像インデックスが、事前に決定された値と同一であるので、後述するデフォルト動きベクトルを利用し、現在ブロック2312の予測動きベクトルを獲得する。
【0275】
同様に、現在ブロック2312の予測方向がリスト0方向であり、第1周辺ブロック2314の予測方向が、リスト1方向である場合、動きベクトル予測部2032は、現在ブロック2312の予測方向と同一予測方向、すなわち、リスト0方向の第1周辺ブロック2314の参照映像インデックスが、事前に決定された値と同一であるので、デフォルト動きベクトルを利用し、現在ブロック2312の予測動きベクトルを獲得する。
【0276】
図23Cは、現在ブロックの予測方向が双方向であるとき、第1周辺ブロックのリスト0方向の参照映像インデックスと、リスト1方向の参照映像インデックスとのうち、いずれか一つは、事前に決定された値と同一であり、他の一つは、事前に決定された値と同一ではないケースを例示する図面である。
【0277】
図23Cを参照すれば、現在ブロック2312の予測方向は、双方向であり、第1周辺ブロック2314の予測方向は、リスト1方向である。第1周辺ブロック2314の動きベクトルMVは、参照映像リスト1に含まれた参照映像2350内の参照ブロックを示す。第1周辺ブロック2314のリスト0方向の参照映像インデックスは、事前に決定された値に設定され、リスト1方向の参照映像インデックスは、ビットストリームから獲得した情報によって設定される。前述のように、予測方向が双方向であるというのは、リスト0方向とリスト1方向とをいずれも含む。動きベクトル予測部2032は、第1周辺ブロック2314のリスト0方向の参照映像インデックスが、事前に決定された値と同一であるので、デフォルト動きベクトルを利用し、現在ブロック2312のリスト0方向の予測動きベクトルを獲得し、第1周辺ブロック2314のリスト1方向の参照映像インデックスが、事前に決定された値と同一ではないので、第1周辺ブロック2314のリスト1方向の動きベクトルMVを利用し、現在ブロック2312の予測動きベクトルを獲得する。
【0278】
現在ブロック2312の予測方向が双方向であり、第1周辺ブロック2314の予測方向がリスト0方向である場合、動きベクトル予測部2032は、第1周辺ブロック2314のリスト0方向の動きベクトルMVを利用し、現在ブロック2312のリスト0方向の予測動きベクトルを獲得し、デフォルト動きベクトルを利用し、現在ブロック2312のリスト1方向の予測動きベクトルを獲得する。
【0279】
本開示においては、第1周辺ブロックが利用可能であり、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの参照映像インデックスが、事前に決定された値と同一ではない場合、第1周辺ブロックの動きベクトルが、予測動きベクトルとして利用可能性があると判断される。そして、該第1周辺ブロックの動きベクトルから、現在ブロックの予測動きベクトルが獲得される。
【0280】
もし第1周辺ブロックが利用可能でなければならないという条件だけでもって、第1周辺ブロックの動きベクトルが、予測動きベクトルとして利用可能性があると判断される場合、現在ブロックの予測動きベクトルがゼロベクトル、すなわち、(0,0)に設定される可能性がある。言い換えれば、第1周辺ブロックの利用可能性があるが、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの動きベクトルが存在しなければ、第1周辺ブロックの動きベクトルは、現在ブロックの予測動きベクトルに利用されえない。それにより、現在ブロックの予測動きベクトルがゼロベクトルに決定されうるが、それは、結局、差分動きベクトルを表現するのに必要なビット数を増加させる要因になる。
【0281】
本開示においては、第1周辺ブロックが利用可能でなければならないという条件だけではなく、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの動きベクトルが存在しなければならないという条件を共に満足する場合、第1周辺ブロックの動きベクトルを利用し、現在ブロックの予測動きベクトルを獲得するので、差分動きベクトルを表現するのに必要なビット数を減少させることができる。
【0282】
以下においては、第1周辺ブロックの動きベクトルが、予測動きベクトルとして利用可能ではない場合、デフォルト動きベクトルを導き出す過程について説明する。
【0283】
一実施形態において、動きベクトル予測部2032は、第1周辺ブロックの動きベクトルが、予測動きベクトルとして利用可能ではない場合、事前に決定された位置の第2周辺ブロックの動きベクトルを、デフォルト動きベクトルに設定することができる。第2周辺ブロックの個数は、複数個でもあるが、その場合、複数の第2周辺ブロックに対する利用可能性判断を介し、いずれか1つの第2周辺ブロックの動きベクトルを、デフォルト動きベクトルに設定することができる。
【0284】
第2周辺ブロックは、周辺ブロックのうち少なくとも一つに対応しうる。一例として、第2周辺ブロックは、A1ブロックとB1ブロックをと含むものでもある。他の例として、第2周辺ブロックの位置は、前述のA0ブロック、A1ブロック、B0ブロック、B1ブロック及びB2ブロックの位置と異なりうる。
【0285】
第2周辺ブロックが、A1ブロックとB1ブロックとを含む場合、A1ブロックとB1ブロックとの位置は、前述のように、現在ブロックの左側ブロックと右側ブロックとの利用可能性によっても異なる。具体的には、図21Aないし図21Cを参照すれば、現在ブロックの左側ブロックが利用可能であるならば、A1ブロックは、現在ブロックの左側下部に位置し、B1ブロックは、現在ブロックの右側上部に位置しうる。また、現在ブロックの左側ブロックと右側ブロックとがいずれも利用可能であるならば、A1ブロックは、現在ブロックの左側下部に位置し、B1ブロックは、現在ブロックの右側下部に位置しうる。また、現在ブロックの右側ブロックが利用可能であるならば、A1ブロックは、現在ブロックの右側下部に位置し、B1ブロックは、現在ブロックの左側上部に位置しうる。
【0286】
動きベクトル予測部2032は、A1ブロックの利用可能性を判断し、A1ブロックが利用可能であるか否かということを示す情報により、A1ブロックが利用可能であると識別されれば、A1ブロックの動きベクトルを、デフォルト動きベクトルと決定することができる。A1ブロックが利用可能でなければ、動きベクトル予測部2032は、B1ブロックの利用可能性を判断し、B1ブロックが利用可能であるか否かということを示す情報により、B1ブロックが利用可能であると識別されれば、B1ブロックの動きベクトルを、デフォルト動きベクトルと決定することができる。すなわち、動きベクトル予測部2032は、A1ブロック→B1ブロックの順序でもって、A1ブロックとB1ブロックとの動きベクトルが、デフォルト動きベクトルに利用されうるか否かということをチェックすることができる。
【0287】
A1ブロックの利用可能性と、B1ブロックの利用可能性は、前述の第1周辺ブロックの利用可能性を判断するための4個の条件に基づいても遂行される。
【0288】
一実施形態において、動きベクトル予測部2032は、第2周辺ブロックの利用可能性を示す情報から、第2周辺ブロックが利用可能であると識別され、現在ブロックの予測方向と同一予測方向の第2周辺ブロックの参照映像インデックスが、現在ブロックの参照映像インデックスと同一であるか、あるいは現在ブロックの予測方向と同一予測方向の第2周辺ブロックの参照映像インデックスが、事前に決定された値と同一でなければ(すなわち、現在ブロックの予測方向と同一予測方向の第2周辺ブロックの動きベクトルが存在する場合)、第2周辺ブロックの動きベクトルを、デフォルト動きベクトルに設定することができる。
【0289】
動きベクトル予測部2032は、第2周辺ブロックの利用可能性を示す情報から、第2周辺ブロックが利用可能ではないと識別されるか、あるいは現在ブロックの予測方向と同一予測方向の第2周辺ブロックの動きベクトルが存在しなければ、現在ブロック以前に復号されたブロックの動きベクトルを、デフォルト動きベクトルに設定することができる。
【0290】
動きベクトル予測部2032は、第1周辺ブロックの動きベクトルまたはデフォルト動きベクトルを、現在ブロックの予測動きベクトルと決定することができる。
【0291】
第1周辺ブロックの動きベクトルが予測動きベクトルに決定された場合、動きベクトル予測部2032は、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの参照映像インデックスと、現在ブロックの参照映像インデックスとが同一でなければ、現在映像と、現在ブロックの参照映像との距離、及び現在映像と、第1周辺ブロックの参照映像との距離により、現在ブロックの予測動きベクトルをスケーリングすることにより、現在ブロックの予測動きベクトルを更新することができる。
【0292】
一実施形態において、動きベクトル予測部2032は、現在ブロックの予測方向と同一予測方向の第2周辺ブロック(または、デフォルト動きベクトルを獲得するのに利用されたブロックであり、現在ブロック以前に復号されたブロック)の参照映像インデックスと、現在ブロックの参照映像インデックスとが同一であれば、デフォルト動きベクトルを、現在ブロックの予測動きベクトルと決定することができる。また、動きベクトル予測部2032は、現在ブロックの予測方向と同一予測方向の第2周辺ブロック(または、デフォルト動きベクトルを獲得するのに利用されたブロックであり、現在ブロック以前に復号されたブロック)の参照映像インデックスと、現在ブロックの参照映像インデックスとが同一でなければ、現在映像と、現在ブロックの参照映像との距離、及び現在映像と、第2周辺ブロック(または、現在ブロック以前に復号されたブロック)の参照映像との距離により、デフォルト動きベクトルをスケーリングし、スケーリングされたデフォルト動きベクトルを、現在ブロックの予測動きベクトルと決定することができる。
【0293】
現在ブロックの予測動きベクトルを獲得した後、動きベクトル予測部2032は、現在ブロックの動きベクトル解像度が、事前に決定された動きベクトル解像度(例えば、複数の動きベクトル解像度のうち、最小の動きベクトル解像度)と異なっていれば、現在ブロックの予測動きベクトルを調整することができる。該予測動きベクトルを調整する理由は、現在ブロックの動きベクトル解像度と、予測動きベクトルの解像度とを一致させるためである。
【0294】
動きベクトル予測部2032は、最小動きベクトル解像度によって補間された映像内の座標によって表現される予測動きベクトルを、現在ブロックの動きベクトル解像度に調整する(adjust)ために、該予測動きベクトルが示す画素の代わりに、周辺の画素を示すように、予測動きベクトルを調整することができる。
【0295】
一例として、動きベクトル予測部2032は、最小動きベクトル解像度が1/4画素単位であり、現在ブロックの動きベクトル解像度が1画素単位である場合、(19,27)の予測動きベクトルを調整し、予測動きベクトルが(20,28)になるようにすることができる。それは、最小動きベクトル解像度が1/4画素単位である場合、整数画素は、補間された映像において、(4n,4m)の座標を有するためである。
【0296】
一実施形態において、動きベクトル予測部2032は、予測動きベクトルを、現在ブロックの動きベクトル解像度によって調整するとき、調整された予測動きベクトルが、調整される前の予測動きベクトルが示す画素の右側・上端に位置する画素を示すようにすることができる。他の実施形態において、動きベクトル予測部2032は、調整された予測動きベクトルが、調整される前の予測動きベクトルが示す画素の左側・上端に位置する画素、左側・下端に位置する画素、または右側・下端に位置する画素を示すようにすることもできる。
【0297】
一実施形態により、前述の内容を整理すれば、第1周辺ブロックの動きベクトルが、予測動きベクトルとして利用可能であるならば、第1周辺ブロックの動きベクトルが、現在ブロックの予測動きベクトルとして決定される。そして、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの参照映像インデックスが、現在ブロックの参照映像インデックスと同一でなければ、予測動きベクトルは、スケーリングされる。現在ブロックの動きベクトル解像度が、複数の動きベクトル解像度のうち、事前に決定された動きベクトル解像度と同一でなければ、予測動きベクトル、またはスケーリングされた予測動きベクトルは、現在ブロックの動きベクトル解像度によって調整される。
【0298】
また、第1周辺ブロックの動きベクトルが、予測動きベクトルとして利用可能でなければ、デフォルト動きベクトルが導き出される。そして、現在ブロックの予測方向と同一予測方向のブロック(デフォルト動きベクトルを導き出すのに利用されたブロック)の参照映像インデックスが、現在ブロックの参照映像インデックスと同一でなければ、デフォルト動きベクトルは、スケーリングされ、スケーリングデフォルト動きベクトルが、現在ブロックの予測動きベクトルとして決定される。現在ブロックの動きベクトル解像度が、複数の動きベクトル解像度のうち、事前に決定された動きベクトル解像度と同一でなければ、予測動きベクトルは、現在ブロックの動きベクトル解像度によって調整される。
【0299】
動きベクトル復元部2034は、現在ブロックの予測動きベクトルと、ビットストリームから獲得した差分動きベクトルとを結合し、現在ブロックの動きベクトルを獲得する。動きベクトル復元部2034は、現在ブロックの予測動きベクトルと、差分動きベクトルとを加え、現在ブロックの動きベクトルを獲得することができる。
【0300】
予測復号部2030は、現在ブロックの予測方向、参照映像インデックス及び動きベクトルにより、現在ブロックをインター予測し、現在ブロックを復元することができる。
【0301】
図24は、一実施形態による、動きベクトルの復号方法を示すフローチャートである。
【0302】
S2410段階において、映像復号装置2000は、現在ブロックに隣接した周辺ブロックのうち、ビットストリームから獲得した情報によって選択される第1周辺ブロックの利用可能性を判断する。
【0303】
一実施形態において、ビットストリームから獲得した情報は、複数の動きベクトル解像度のうち、現在ブロックの動きベクトル解像度を示す情報を含むものでもある。
【0304】
S2420段階において、映像復号装置2000は、第1周辺ブロックが利用可能であり、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの動きベクトルが存在するか否かということを判断する。
【0305】
S2430段階において、映像復号装置2000は、第1周辺ブロックが利用可能であり、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの動きベクトルが存在する場合、第1周辺ブロックの動きベクトルから、現在ブロックの予測動きベクトルを獲得する。
【0306】
S2440段階において、映像復号装置2000は、第1周辺ブロックが利用可能ではないか、あるいは現在ブロックの予測方向と同一予測方向の第1周辺ブロックの動きベクトルが存在しない場合、第2周辺ブロックの動きベクトルから、現在ブロックの予測動きベクトルを獲得する。
【0307】
前述のように、第2周辺ブロックの利用可能性がなければ、現在ブロック以前に復号されたブロックの動きベクトルから、現在ブロックの予測動きベクトルが獲得されうる。
【0308】
S2450段階において、映像復号装置2000は、現在ブロックの予測動きベクトルと、差分動きベクトルとを結合し、現在ブロックの動きベクトルを獲得する。
【0309】
図25は、一実施形態による、映像符号化装置2500の構成を図示するブロック図である。
【0310】
図25を参照すれば、映像符号化装置2500は、予測符号化部2510及びビットストリーム生成部2530を含む。予測符号化部2510は、動きベクトル予測部2512及び動きベクトル符号化部2514を含むものでもある。
【0311】
予測符号化部2510は、図2の符号化部220に対応し、ビットストリーム生成部2530は、図2のビットストリーム生成部210に対応しうる。
【0312】
一実施形態による、予測符号化部2510及びビットストリーム生成部2530は、少なくとも1つのプロセッサとしても具現される。映像符号化装置2500は、予測符号化部2510及びビットストリーム生成部2530の入出力データを保存する1以上のメモリ(図示せず)を含むものでもある。また、映像符号化装置2500は、メモリ(図示せず)のデータ入出力を制御するメモリ制御部(図示せず)を含むものでもある。
【0313】
予測符号化部2510は、予測モードによって映像を符号化し、ビットストリーム生成部2530は、映像の符号化結果として生成された情報を含むビットストリームを生成する。
【0314】
予測符号化部2510は、現在映像内の現在ブロックの予測モードを決定することができる。現在ブロックの予測モードがインター予測モードに決定されれば、ビットストリーム生成部2530は、現在ブロックの動き情報を示す情報をビットストリームに含める。
【0315】
動きベクトル予測部2512は、インター予測モードによって符号化される現在ブロックの動きベクトルを予測する。
【0316】
一実施形態による動きベクトル予測部2512は、現在ブロックに隣接した周辺ブロックの動きベクトルを利用し、予測動きベクトルを獲得することができる。周辺ブロックの位置については、前述したので、詳細な説明を省略する。
【0317】
一実施形態において、動きベクトル予測部2512は、周辺ブロックのうち、第1周辺ブロックを選択する。該第1周辺ブロックは、周辺ブロックに該当するA0ブロック、A1ブロック、B0ブロック、B1ブロック及びB2ブロックのうちいずれか一つでもある。
【0318】
一実施形態において、動きベクトル予測部2512は、複数の動きベクトル解像度のうち、現在ブロックの動きベクトル解像度にマッピングされた第1周辺ブロックを選択することができる。
【0319】
動きベクトル予測部2512は、第1周辺ブロックの利用可能性を判断する。具体的には、動きベクトル予測部2512は、第1周辺ブロックを含むタイルと、現在ブロックを含むタイルとが互いに異なっているか否かということ、第1周辺ブロックが、現在映像の外部に位置するか否かということ、第1周辺ブロックが、イントラ予測されたか否かということ、及び第1周辺ブロックの復元が完了したか否かということのうち少なくとも一つにより、第1周辺ブロックの利用可能性を判断する。
【0320】
一実施形態において、動きベクトル予測部2512は、第1周辺ブロックの利用可能性を示す情報から、第1周辺ブロックの利用可能性があると識別され、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの参照映像インデックスが、事前に決定された値と同一でなければ(すなわち、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの動きベクトルが存在すれば)、第1周辺ブロックの動きベクトルが、予測動きベクトルとして利用可能性があると判断することができる。事前に決定された値は、例えば、-1でもある。動きベクトル予測部2512は、第1周辺ブロックの動きベクトルが、予測動きベクトルとして利用可能性がある場合、第1周辺ブロックの動きベクトルから、現在ブロックの予測動きベクトルを導き出す。
【0321】
もし第1周辺ブロックの利用可能性を示す情報から、第1周辺ブロックの利用可能性がないと識別されるか、あるいは現在ブロックの予測方向と同一予測方向の第1周辺ブロックの参照映像インデックスが、事前に決定された値と同一であるならば、第1周辺ブロックの動きベクトルが、予測動きベクトルとして利用可能性がないと決定されうる。その場合、動きベクトル予測部2512は、デフォルト動きベクトルを利用し、現在ブロックの予測動きベクトルを獲得することができる。
【0322】
一実施形態において、動きベクトル予測部2512は、第1周辺ブロックの動きベクトルが、予測動きベクトルとして利用可能ではない場合、事前に決定された位置の第2周辺ブロックの動きベクトルを、デフォルト動きベクトルに設定することができる。第2周辺ブロックの個数は、複数個でもあるが、その場合、複数の第2周辺ブロックに対する利用可能性判断を介し、いずれか1つの第2周辺ブロックの動きベクトルを、デフォルト動きベクトルに設定することができる。
【0323】
第2周辺ブロックが、A1ブロックとB1ブロックとを含む場合、動きベクトル予測部2512は、A1ブロックの利用可能性を判断し、A1ブロックが利用可能であるか否かということを示す情報により、A1ブロックが利用可能であると識別されれば、A1ブロックの動きベクトルを、デフォルト動きベクトルと決定することができる。A1ブロックが利用可能でなければ、動きベクトル予測部2512は、B1ブロックの利用可能性を判断し、B1ブロックが利用可能であるか否かということを示す情報により、B1ブロックが利用可能であると識別されれば、B1ブロックの動きベクトルを、デフォルト動きベクトルと決定することができる。すなわち、動きベクトル予測部2512は、A1ブロック→B1ブロックの順序でもって、A1ブロックとB1ブロックとの動きベクトルが、デフォルト動きベクトルに利用されうるか否かということをチェックすることができる。
【0324】
一実施形態において、動きベクトル予測部2512は、第2周辺ブロックの利用可能性を示す情報から、第2周辺ブロックが利用可能であると識別され、現在ブロックの予測方向と同一予測方向の第2周辺ブロックの参照映像インデックスが、現在ブロックの参照映像インデックスと同一であるか、あるいは現在ブロックの予測方向と同一予測方向の第2周辺ブロックの参照映像インデックスが、事前に決定された値と同一でなければ(すなわち、現在ブロックの予測方向と同一予測方向の第2周辺ブロックの動きベクトルが存在すれば)、第2周辺ブロックの動きベクトルを、デフォルト動きベクトルに設定することができる。
【0325】
動きベクトル予測部2512は、第2周辺ブロックの利用可能性を示す情報から、第2周辺ブロックが利用可能ではないと識別されるか、あるいは現在ブロックの予測方向と同一予測方向の第2周辺ブロックの参照映像インデックスが、事前に決定された値と同一であるならば、現在ブロック以前に符号化されたブロックの動きベクトルを、デフォルト動きベクトルに設定することができる。
【0326】
動きベクトル予測部2512は、第1周辺ブロックの動きベクトルまたはデフォルト動きベクトルを、現在ブロックの予測動きベクトルと決定することができる。
【0327】
第1周辺ブロックの動きベクトルが予測動きベクトルに決定された場合、動きベクトル予測部2512は、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの参照映像インデックスと、現在ブロックの参照映像インデックスとが同一でなければ、現在映像と、現在ブロックの参照映像との距離、及び現在映像と、第1周辺ブロックの参照映像との距離により、現在ブロックの予測動きベクトルをスケーリングすることにより、現在ブロックの予測動きベクトルを更新することができる。
【0328】
デフォルト動きベクトルが獲得された場合、一実施形態において、動きベクトル予測部2512は、現在ブロックの予測方向と同一予測方向の第2周辺ブロック(または、デフォルト動きベクトルを獲得するのに利用されたブロックであり、現在ブロック以前に復号されたブロック)の参照映像インデックスと、現在ブロックの参照映像インデックスとが同一であれば、デフォルト動きベクトルを、現在ブロックの予測動きベクトルと決定することができる。動きベクトル予測部2512は、現在ブロックの予測方向と同一予測方向の第2周辺ブロック(または、デフォルト動きベクトルを獲得するのに利用されたブロックであり、現在ブロック以前に復号されたブロック)の参照映像インデックスと、現在ブロックの参照映像インデックスとが同一でなければ、現在映像と、現在ブロックの参照映像との距離、及び現在映像と、第2周辺ブロック(または、現在ブロック以前に復号されたブロック)の参照映像との距離により、デフォルト動きベクトルをスケーリングし、スケーリングされたデフォルト動きベクトルを、現在ブロックの予測動きベクトルと決定することができる。
【0329】
現在ブロックの予測動きベクトルが獲得された後、動きベクトル予測部2512は、現在ブロックの動きベクトル解像度が、事前に決定された動きベクトル解像度(例えば、複数の動きベクトル解像度のうち、最小の動きベクトル解像度)と異なっていれば、現在ブロックの予測動きベクトルを調整することができる。
【0330】
動きベクトル符号化部2514は、現在ブロックの動きベクトルと、予測動きベクトルとの差分動きベクトルを獲得する。動きベクトル符号化部2514は、現在ブロックの動きベクトルから予測動きベクトルを差し引き、差分動きベクトルを獲得することができる。
【0331】
ビットストリーム生成部2530は、現在ブロックの差分動きベクトルを示す情報、及び周辺ブロックのうち、第1周辺ブロックを示す情報を含むビットストリームを生成する。前述のように、第1周辺ブロックを示す情報は、複数の動きベクトル解像度のうち、現在ブロックの動きベクトル解像度を示す情報でもある。
【0332】
図26は、一実施形態による、動きベクトルの符号化方法を示すフローチャートである。
【0333】
S2610段階において、映像符号化装置2500は、現在ブロックに隣接した周辺ブロックのうちから選択された第1周辺ブロックの利用可能性を判断する。一実施形態において、映像符号化装置2500は、現在ブロックの動きベクトル解像度に対応する第1周辺ブロックを選択することができる。
【0334】
S2620段階において、映像符号化装置2500は、第1周辺ブロックが利用可能であり、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの動きベクトルが存在するか否かということを判断する。
【0335】
S2630段階において、映像符号化装置2500第1周辺ブロックが利用可能であり、現在ブロックの予測方向と同一予測方向の第1周辺ブロックの動きベクトルが存在する場合、第1周辺ブロックの動きベクトルから、現在ブロックの予測動きベクトルを獲得する。
【0336】
S2640段階において、映像符号化装置2500は、第1周辺ブロックが利用可能ではないか、あるいは現在ブロックの予測方向と同一予測方向の第1周辺ブロックの動きベクトルが存在しなければ、第2周辺ブロックの動きベクトルから、現在ブロックの予測動きベクトルを獲得する。
【0337】
第2周辺ブロックの利用可能性がなければ、現在ブロック以前に符号化されたブロックの動きベクトルから、現在ブロックの予測動きベクトルが獲得されうる。
【0338】
S2650段階において、映像符号化装置2500は、現在ブロックの動きベクトルと、予測動きベクトルとの差分動きベクトルを獲得し、差分動きベクトルを示す情報と、第1周辺ブロックを示す情報とを含むビットストリームを生成する。第1周辺ブロックを示す情報は、複数の動きベクトル解像度のうち、現在ブロックの動きベクトル解像度を示す情報でもある。
【0339】
図27及び図28は、一実施形態による、予測動きベクトルの獲得過程について説明するための図面である。
【0340】
図27及び図28は、前述の実施形態の一例示を具体的に図示している。図27及び図28において、mvpLX、mvLXに含まれたLXは、現在ブロックの予測方向を示す。すなわち、現在ブロックの予測方向がL0方向であるならば、Xは、0であり、現在ブロックの予測方向がL1方向であるならば、Xは、1である。現在ブロックの予測方向が双方向であるならば、Xは、0と1との値を順次に有しうる。
【0341】
S2710においては、予測動きベクトルの利用可能性を示すフラグ(mvpAvailFlag)が0に設定される。
【0342】
S2720においては、現在ブロックの動きベクトル解像度を示す情報(amvr_idx)により、現在ブロックの予測動きベクトルを獲得するのに利用されるブロックが特定される。amvr_idxが1である場合、B1ブロックが選択される。そして、B1ブロックの利用可能性に対する判断が行われる。B1ブロックの利用可能性の判断は、前述の第1周辺ブロックの利用可能性を判断するための4個の条件によっても行われる。図27には、重複説明の省略のために、amvr_idxが1である場合のプロセスだけ図示されているが、amvr_idxの値により、互いに異なる位置のブロックが選択される。例えば、図22に図示されているように、amvr_idxにマッピングされたブロックが選択されうる。
【0343】
S2730においては、B1ブロックの利用可能性を示す情報(availableB1)から、B1ブロックが利用可能であると識別され、現在ブロックの予測方向と同一予測方向のB1ブロックの参照映像インデックス(RefIdxLX)が-1と同一でなければ、予測動きベクトルの利用可能性を示すフラグ(mvpAvailFlag)が1に設定され、B1ブロックの動きベクトルが、予測動きベクトル(mvpLX)に設定される。
【0344】
S2740において、現在ブロックの参照映像インデックス(refIdxLX)と、B1ブロックの参照映像インデックス(RefIdxLX[xNbB1][yNbB1])とが同一でなければ、現在映像(current picture)と、B1ブロックの参照映像(RefPicListX[RefIdxLX[xNbB1][yNbB1]])との距離(currPocDiffLX)と、現在映像(current picture)と現在ブロックの参照映像(RefPicListX[refIdxLX])との距離(targetPocDiffLX)との比率(distScaleFactorLX)により、予測動きベクトル(mvpLX)がスケーリングされる。
【0345】
S2750においては、amvr_idxが0ではない場合、すなわち、現在ブロックの動きベクトル解像度が、事前に決定された動きベクトル解像度(例えば、最小動きベクトル解像度)と異なれば、予測動きベクトル(mvpLX)の調整が行われる。amvr_idxが0である場合、すなわち、A1ブロックの動きベクトルから予測動きベクトルが獲得された場合には、予測動きベクトルの調整過程が遂行されない。
【0346】
次に、図28を参照すれば、S2810において、予測動きベクトルの利用可能性を示すフラグ(mvpAvailFlag)が0である場合、すなわち、B1ブロックの利用可能性を示す情報(availableB1)からB1ブロックが利用可能ではないと識別されるか、あるいは現在ブロックの予測方向と同一予測方向のB1ブロックの参照映像インデックス(RefIdxLX[xNbB1][yNbB1])が-1と同一であるならば、S2820ないしS2890のデフォルト動きベクトルの導き出し手続きが遂行される。
【0347】
S2820においては、A1ブロック及びB1ブロックの利用可能性がそれぞれ判断される。A1ブロック及びB1ブロックの利用可能性の判断は、前述の第1周辺ブロックの利用可能性を判断するための4個の条件によっても行われる。
【0348】
S2830においては、デフォルト動きベクトル(DefaultMvLX)のx軸成分及びy軸成分がいずれも0に設定される。
【0349】
S2840において、A1ブロックの利用可能性を示す情報(availableA1)から、A1ブロックが利用可能であると識別され、現在ブロックの参照映像インデックス(refIdxLX)と、A1ブロックの参照映像インデックス(RefIdxLX[xNbA1][yNbA1])とが同一であれば、A1ブロックの動きベクトルが、デフォルト動きベクトルに設定される。
【0350】
S2850においては、S2840に記載された条件を満足せず、B1ブロックの利用可能性を示す情報(availableB1)から、B1ブロックが利用可能であると識別され、現在ブロックの参照映像インデックス(refIdxLX)と、B1ブロックの参照映像インデックス(RefIdxLX[xNbB1][yNbB1])とが同一であれば、B1ブロックの動きベクトルが、デフォルト動きベクトルに設定される。
【0351】
S2860においては、S2850に記載された条件を満足せず、A1ブロックの利用可能性を示す情報(availableA1)から、A1ブロックが利用可能であると識別され、A1ブロックの参照映像インデックス(RefIdxLX[xNbA1][yNbA1])が-1と同一でなければ、A1ブロックの動きベクトルが、デフォルト動きベクトルに設定される。
【0352】
S2870においては、S2860に記載された条件を満足せず、B1ブロックの利用可能性を示す情報(availableB1)から、B1ブロックが利用可能であると識別され、B1ブロックの参照映像インデックス(RefIdxLX[xNbB1][yNbB1])が-1と同一でなければ、B1ブロックの動きベクトルが、デフォルト動きベクトルに設定される。
【0353】
S2880においては、A1ブロックの動きベクトルや、B1ブロックの動きベクトルが、デフォルト動きベクトルに設定されなければ、現在ブロック以前に復号されたブロックの動きベクトルが、デフォルト動きベクトルに設定される。
【0354】
S2890においては、現在ブロックの参照映像インデックス(refIdxLX)と、デフォルト参照映像インデックス(DefaultRefIdxLX)とが同一でなければ、現在映像と、デフォルト参照映像インデックスが示す映像(RefPicListX[DefaultRefIdxLX])との距離(currPocDiffLX)と、現在映像と、現在ブロックの参照映像(RefPicListX[refIdxLX])との距離(targetPocDiffLX)との比率(distScaleFactorLX)により、デフォルト動きベクトルがスケーリングされる。ここで、デフォルト参照映像インデックス(DefaultRefIdxLX)は、デフォルト動きベクトルを獲得するのに利用されたブロックの参照映像インデックスを意味しうる。
【0355】
S2895においては、デフォルト動きベクトル(DefaultMvLX)が、現在ブロックの予測動きベクトル(mvpLX)に設定される。
【0356】
図28に図示されていないが、amvr_idxが0ではない場合、すなわち、現在ブロックの動きベクトル解像度が、事前に決定された動きベクトル解像度(例えば、最小動きベクトル解像度)と異なれば、予測動きベクトル(mvpLX)の調整が行われる。
【0357】
なお、前述の本開示の実施形態は、コンピュータで実行されうるプログラムに作成可能であり、作成されたプログラムは、媒体にも保存される。
【0358】
該媒体は、コンピュータで実行可能なプログラムを続けて保存するか、あるいは実行またはダウンロードのために臨時保存するものでもある。また、該媒体は、単一または数個のハードウェアが結合された形態の多様な記録手段または保存手段でもあるが、あるコンピュータシステムに直接接続される媒体に限定されるものではなく、ネットワーク上に分散存在ものでもある。該媒体の例示においては、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体;CD-ROM(Compact Disc Read-Only Memory)及びDVD(Digital Versatile Disc)のような光記録媒体;、フロプティカルディスク(floptical disk)のような磁気・光媒体(magneto-optical medium);及びROM(Read-Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものがあり得る。また、他媒体の例示として、アプリケーションを流通するアプリストアや、その他多様なソフトウェアを供給ないし流通するサイト、サーバなどで管理する記録媒体ないし保存媒体も挙げることができる。
【0359】
以上、本開示の技術的思想について、望ましい実施形態を挙げて詳細に説明したが、本開示の技術的思想は、前述の実施形態に限定されるものではなく、本開示の技術的思想の範囲内において、当分野で当業者により、さまざまな変形及び変更が可能である。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21A
図21B
図21C
図22
図23A
図23B
図23C
図24
図25
図26
図27
図28