(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024002320
(43)【公開日】2024-01-11
(54)【発明の名称】画像符号化装置、方法及びプログラム
(51)【国際特許分類】
H04N 19/105 20140101AFI20231228BHJP
H04N 19/119 20140101ALI20231228BHJP
H04N 19/136 20140101ALI20231228BHJP
H04N 19/176 20140101ALI20231228BHJP
【FI】
H04N19/105
H04N19/119
H04N19/136
H04N19/176
【審査請求】未請求
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2022101437
(22)【出願日】2022-06-23
(71)【出願人】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】100092772
【弁理士】
【氏名又は名称】阪本 清孝
(74)【代理人】
【識別番号】100119688
【弁理士】
【氏名又は名称】田邉 壽二
(72)【発明者】
【氏名】齋藤 雄太
(72)【発明者】
【氏名】海野 恭平
(72)【発明者】
【氏名】木谷 佳隆
(72)【発明者】
【氏名】河村 圭
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159LC09
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159NN11
5C159PP04
5C159RC12
5C159TA12
5C159TB08
5C159TC26
5C159TC42
5C159TD15
5C159UA02
5C159UA05
(57)【要約】
【課題】品質を確保しながら符号化処理量を抑制することのできる画像符号化装置を提供する。
【解決手段】ブロック単位での予測を適用することで映像を符号化する画像符号化装置において、予測モードとしてインター予測及び幾何学的分割が適用111される符号化対象ブロックを扱う場合に、当該符号化対象ブロックに関する情報である符号化対象ブロック情報を抽出1112し、当該符号化対象ブロック情報に基づいて、前記幾何学的分割において予め定義される幾何学的分割モードセットの全体から選別1113した部分セットのみを、当該符号化対象ブロックにインター予測及び幾何学的分割を適用したうえで符号化するために用いる評価対象1114とする。
【選択図】
図3
【特許請求の範囲】
【請求項1】
ブロック単位での予測を適用することで映像を符号化する画像符号化装置において、
予測モードとしてインター予測及び幾何学的分割が適用される符号化対象ブロックを扱う場合に、当該符号化対象ブロックに関する情報である符号化対象ブロック情報を抽出し、当該符号化対象ブロック情報に基づいて、前記幾何学的分割において予め定義される幾何学的分割モードセットの全体から選別した部分セットのみを、当該符号化対象ブロックにインター予測及び幾何学的分割を適用したうえで符号化するために用いる評価対象とすることを特徴とする画像符号化装置。
【請求項2】
前記符号化対象ブロック情報に、符号化対象ブロックの大きさを含めて抽出することを特徴とする請求項1に記載の画像符号化装置。
【請求項3】
前記符号化対象ブロック情報に、符号化対象ブロックの短辺の長さを含めて抽出し、当該短辺の長さが長いと判定される場合の部分セットの構成要素数を、当該長いと判定されない場合の部分セットの構成要素数よりも少なく設定することを特徴とする請求項1に記載の画像符号化装置。
【請求項4】
前記符号化対象ブロック情報に、符号化対象ブロックの長辺の長さを含めて抽出し、当該長辺の長さが短いと判定される場合の部分セットの構成要素数を、当該短いと判定されない場合の部分セットの構成要素数よりも少なく設定することを特徴とする請求項1に記載の画像符号化装置。
【請求項5】
前記符号化対象ブロック情報に、符号化対象ブロックの長辺と短辺とのアスペクト比を含めて抽出し、当該アスペクト比によって符号化対象ブロックが細長いと判定される場合の部分セットの構成要素数を、当該細長いと判定されない場合の部分セットの構成要素数よりも少なく設定することを特徴とする請求項1に記載の画像符号化装置。
【請求項6】
前記符号化対象ブロック情報に、符号化対象ブロックの面積または画素数で与えられる符号化対象ブロックの大きさ情報を含めて抽出し、当該大きさ情報によって符号化対象ブロックが小さいと判定される場合の部分セットの構成要素数を、当該小さいと判定されない場合の部分セットの構成要素数よりも少なく設定することを特徴とする請求項1に記載の画像符号化装置。
【請求項7】
前記符号化対象ブロック情報に、符号化対象ブロックを含む対象フレームの出力順序と当該符号化対象ブロックの参照ブロックの出力順序との情報を含めて抽出し、
前記幾何学的分割モードセットの全体を構成する幾何学的分割モード候補と動き情報候補の組み合わせのうち、幾何学的分割モードの各々によって分割される第1部分及び/又は第2部分の動き情報候補の参照ブロックの出力順序と、当該符号化対象ブロックの出力順序との違いが大きいと判定されるものを除外したものとして前記部分セットを決定することを特徴とする請求項1に記載の画像符号化装置。
【請求項8】
前記符号化対象ブロック情報に、符号化対象ブロックの近傍に位置するブロックであり、且つ、既に符号化済みであるブロックとして定義される近傍ブロックに対して既に適用されている幾何学的分割モードの情報を含めて抽出し、
前記部分セットを、当該近傍ブロックに対して既に適用されている幾何学的分割モードの分割境界と当該部分セットの分割境界とが連続すると判定されるものとして、または、当該近傍ブロックに対して既に適用されている幾何学的分割モードと角度が近いと判定されるものとして決定することを特徴とする請求項1に記載の画像符号化装置。
【請求項9】
前記符号化ブロックに適用される動き情報候補として、当該符号化対象ブロックに時空間で隣接する隣接ブロックにおいてインター予測により符号化済みの動き情報を抽出し、
前記幾何学的分割モードセットの全体を構成する幾何学的分割モード候補と動き情報候補の組み合わせのうち、幾何学的分割モードの各々に対応する動き情報候補の全部から、幾何学的分割モードの各々によって分割される第1部分及び第2部分に時空間で隣接する隣接ブロックに適用済みの動き情報のみを選別することで、前記部分セットを決定することを特徴とする請求項1に記載の画像符号化装置。
【請求項10】
前記符号化対象ブロックに対して、イントラ予測を適用する場合の参照方向を抽出することを追加処理として行い、
前記符号化対象ブロック情報に、当該抽出した参照方向の情報を含めて抽出し、
前記部分セットを、幾何学的分割モードセットのうち角度が前記参照方向に近いと判定されるものとして決定することを特徴とする請求項1に記載の画像符号化装置。
【請求項11】
前記符号化ブロックに適用される動き情報候補として、当該符号化対象ブロックに時空間で隣接する隣接ブロックにおいてインター予測により符号化済みの動き情報を抽出し、
当該動き情報が参照する参照ブロックを抽出し、
前記幾何学的分割モードセットの全体を構成する幾何的分割モード候補と動き情報候補の組み合わせのうち、幾何学的分割モード候補を、前記参照ブロックに適用済みである幾何学的分割モードのみに限定することで、前記部分セットを決定することを特徴とする請求項1に記載の画像符号化装置。
【請求項12】
前記符号化対象ブロックに対して、イントラ予測を適用する場合の最確モードを抽出することを追加処理として行い、
前記符号化対象ブロック情報に、当該抽出した最確モードの情報を含めて抽出し、
前記部分セットを、幾何学的分割モードセットのうち角度が前記最確モードの方向に近いと判定されるものとして決定することを特徴とする請求項1に記載の画像符号化装置。
【請求項13】
前記幾何学的分割モードセットの全体を構成する幾何的分割モード候補と動き情報候補の組み合わせのうち、幾何学的分割モード候補の全体として予め定義される分割線分の角度及びブロック中心からの距離の組み合わせに関して、当該組み合わせの一部分のみを用いることで、前記部分セットを決定することを特徴とする請求項1に記載の画像符号化装置。
【請求項14】
ブロック単位での予測を適用することで映像を符号化する画像符号化装置において、
予測モードとしてインター予測及び幾何学的分割が適用される符号化対象ブロックを扱う場合に、前記幾何学的分割において予め定義される幾何学的分割モードセットの全体から選別した部分セットのみを、当該符号化対象ブロックにインター予測及び幾何学的分割を適用したうえで符号化するために用い、
前記幾何学的分割モードセットの全体を構成する幾何的分割モード候補と動き情報候補の組み合わせのうち、幾何学的分割モード候補の全体として予め定義される分割線分の角度及びブロック中心からの距離の組み合わせに関して、当該組み合わせの一部分のみを用いることで、前記部分セットを決定することを特徴とする画像符号化装置。
【請求項15】
ブロック単位での予測を適用することで映像を符号化する画像符号化方法において、
予測モードとしてインター予測及び幾何学的分割が適用される符号化対象ブロックを扱う場合に、当該符号化対象ブロックに関する情報である符号化対象ブロック情報を抽出し、当該符号化対象ブロック情報に基づいて、前記幾何学的分割において予め定義される幾何学的分割モードセットの全体から選別した部分セットのみを、当該符号化対象ブロックにインター予測及び幾何学的分割を適用したうえで符号化するために用いる評価対象とすることを特徴とする画像符号化方法。
【請求項16】
ブロック単位での予測を適用することで映像を符号化する画像符号化方法において、
予測モードとしてインター予測及び幾何学的分割が適用される符号化対象ブロックを扱う場合に、前記幾何学的分割において予め定義される幾何学的分割モードセットの全体から選別した部分セットのみを、当該符号化対象ブロックにインター予測及び幾何学的分割を適用したうえで符号化するために用い、
前記幾何学的分割モードセットの全体を構成する幾何的分割モード候補と動き情報候補の組み合わせのうち、幾何学的分割モード候補の全体として予め定義される分割線分の角度及びブロック中心からの距離の組み合わせに関して、当該組み合わせの一部分のみを用いることで、前記部分セットを決定することを特徴とする画像符号化方法。
【請求項17】
コンピュータを請求項1ないし14のいずれかに記載の画像符号化装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、幾何学的分割を適用する画像符号化装置、方法及びプログラムに関する。
【背景技術】
【0002】
非特許文献1では、幾何学的分割と呼ばれる技術に関して、符号化装置において、符号化ブロックをあらかじめ定義されている方法で分割し、それぞれの領域においてマージ部で生成された動き情報を用いて予測符号化する技術が開示されている。ここで、動き情報とは動きベクトルと参照フレームを特定するインデックスを指す。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Algorithm description for Versatile Video Coding and Test Model 11 (VTM 11),JVET-T2002.
【発明の概要】
【発明が解決しようとする課題】
【0004】
非特許文献1の幾何学的分割には、符号化処理量が多いという課題があった。
【0005】
すなわち、非特許文献1では、幾何学的分割モードセットから、対象符号化ブロックに適用する幾何学的分割モードを1つ決定する。ここで幾何学的分割モードは、分割境界(対象符号化ブロックを2つの領域に分割する線)と、予測符号化に用いる2つの動き情報と、から構成される情報である。また幾何学的分割モードセットは、幾何学的分割モードを要素とする集合である。幾何学的分割モードセットから、レート歪コスト(ビットレートRと歪みDによるコスト関数J=D+λR等によるコスト)を最小とする幾何学的分割モードを選択するため、幾何学的分割モードセットの要素数が多い場合、非常に多くの符号化処理量を要するという課題が存在する。
【0006】
上記従来技術の課題に鑑み、本発明は、品質を確保しながら符号化処理量を抑制することのできる画像符号化装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明は、ブロック単位での予測を適用することで映像を符号化する画像符号化装置において、予測モードとしてインター予測及び幾何学的分割が適用される符号化対象ブロックを扱う場合に、当該符号化対象ブロックに関する情報である符号化対象ブロック情報を抽出し、当該符号化対象ブロック情報に基づいて、前記幾何学的分割において予め定義される幾何学的分割モードセットの全体から選別した部分セットのみを、当該符号化対象ブロックにインター予測及び幾何学的分割を適用したうえで符号化するために用いる評価対象とすることを第1の特徴とする。また、ブロック単位での予測を適用することで映像を符号化する画像符号化装置において、予測モードとしてインター予測及び幾何学的分割が適用される符号化対象ブロックを扱う場合に、前記幾何学的分割において予め定義される幾何学的分割モードセットの全体から選別した部分セットのみを、当該符号化対象ブロックにインター予測及び幾何学的分割を適用したうえで符号化するために用い、前記幾何学的分割モードセットの全体を構成する幾何的分割モード候補と動き情報候補の組み合わせのうち、幾何学的分割モード候補の全体として予め定義される分割線分の角度及びブロック中心からの距離の組み合わせに関して、当該組み合わせの一部分のみを用いることで、前記部分セットを決定することを第2の特徴とする。また当該装置に対応する方法及びプログラムであることを特徴とする。
【発明の効果】
【0008】
前記第1の特徴によれば、当該符号化対象ブロック情報に基づいて、前記幾何学的分割において予め定義される幾何学的分割モードセットの全体から選別した部分セットのみを、当該符号化対象ブロックにインター予測及び幾何学的分割を適用したうえで符号化するために用いる評価対象とすることにより、品質を確保しながら符号化処理量を抑制することができる。前記第2の特徴によれば、幾何学的分割モードセットの全体を構成する幾何的分割モード候補と動き情報候補の組み合わせのうち、幾何学的分割モード候補の全体として予め定義される分割線分の角度及びブロック中心からの距離の組み合わせに関して、当該組み合わせの一部分のみを用いることで、同様に、品質を確保しながら符号化処理量を抑制することができる。
【図面の簡単な説明】
【0009】
【
図1】実施形態に係る画像処理システムを示す図である。
【
図2】実施形態に係る画像符号化装置の機能ブロックの一例を示す図である。
【
図3】実施形態(大きさ情報による基準手法)に係るインター予測部の機能ブロックの一例を示す図である。
【
図5】幾何学的分割における分割境界が角度と距離の組み合わせで与えられることの説明図である。
【
図6】実施形態に係る符号化ブロックの大きさを用いた高速化方式フロー図である。
【
図7】幾何学的分割モードセットを間引く実装例を示す図である。
【
図8】幾何学的分割モードセットを間引く実装例を示す図である。
【
図9】基準手法に対する変形例1の実施形態に係るインター予測部の機能ブロックの一例を示す図である。
【
図10】変形例1の実施形態に係る高速化方式フロー図である。
【
図11】変形例2の実施形態に係る高速化方式フロー図である。
【
図12】変形例3の実施形態に係る高速化方式フロー図である。
【
図13】変形例3において角度パターンの遠近を判定する例として縦方向と横方向の例を示す図である。
【
図14】変形例4の実施形態に係る高速化方式フロー図である。
【
図15】変形例4での選択処理の説明例として、動き情報の導出時に参照した隣接ブロック等の例を示す図である。
【
図16】変形例5の実施形態に係る高速化方式フロー図である。
【
図17】変形例6の実施形態に係る高速化方式フロー図である。
【
図18】変形例7の実施形態に係る高速化方式フロー図である。
【
図19】一般的なコンピュータにおけるハードウェア構成を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の種々の実施形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【0011】
(第1実施形態…符号化ブロックの大きさを用いた幾何学的分割の符号化処理量削減方式)
以下、
図1~
図8を参照して、本発明の第1実施形態に係る画像処理システム10について説明する。
図1は、本実施形態に係る画像処理システム10を示す図である。
【0012】
(画像処理システム10)
図1に示すように、画像処理システム10は、画像符号化装置100及び画像復号装置200を有する。画像符号化装置100は、入力画像信号を符号化することによって符号化データを生成するように構成されている。画像復号装置200は、符号化データを復号することによって出力画像信号を生成するように構成されている。ここで、符号化データは、画像符号化装置100から画像復号装置200に対して伝送路を介して送信されてもよい。また、符号化データは、画像符号化装置100において生成されて記憶媒体に格納された上で、記憶媒体からこの符号化データを読み込むことで画像復号装置200に提供されてもよい。
【0013】
(画像符号化装置100)
以下、
図2を参照して、本実施形態に係る画像符号化装置100を説明する。
図2は、本実施形態に係る画像符号化装置100の機能ブロックの一例を示す図である。画像符号化装置100は、インター予測部111と、イントラ予測部112と、減算器121と、加算器122と、変換・量子化部131と、逆変換・逆量子化部132と、符号化部140と、インループフィルタ処理部150と、フレームバッファ160とブロック分割部170とを備える。
【0014】
インター予測部111は、インター予測(フレーム間予測)によって符号化対象信号に対応する予測画素を生成するように構成されている。具体的には、インター予測部111は、符号化対象のフレーム(以下、対象フレーム)とフレームバッファ160に格納される参照フレーム(既に符号化済みのフレーム(フレームの一部分でもよい)が逆変換部・逆量子化部132以降の処理で再構成されたフレームとしての参照フレーム)との比較によって、参照フレームに含まれる参照ブロックを特定し、対応する動きベクトル(MV:Motion Vector)を決定する。また、インター予測部111は、参照ブロック及び動きベクトルに基づいて符号化対象のブロック(以下、対象ブロック)毎に予測画素を生成する。インター予測部111は、予測画素を減算器121及び加算器122に出力する。
【0015】
イントラ予測部112は、イントラ予測(フレーム内予測)によって符号化対象信号に対応する予測画素を生成するように構成されている。具体的には、イントラ予測部112は、対象フレームに含まれる参照ブロックを特定し、参照ブロックに基づいて対象ブロック毎に予測画素を生成する。イントラ予測部112は、予測画素を減算器121及び加算器122に出力する。参照ブロックは、例えば、対象ブロックに隣接するブロックである。
【0016】
減算器121は、入力画像信号から予測画素(インター予測部111またはイントラ予測部112によって予測された予測画素)を減算して予測残差信号を生成し、予測残差信号を変換・量子化部131に出力するように構成されている。
【0017】
加算器122は、逆変換・逆量子化部132から出力される予測残差信号に予測画素(インター予測部111またはイントラ予測部112によって予測された予測画素)を加算してフィルタ処理前復号信号を生成し、フィルタ処理前復号信号をイントラ予測部112及びインループフィルタ処理部150に出力するように構成されている。
【0018】
変換・量子化部131は、減算器121から出力される予測残差信号を変換処理と量子化処理して量子化後レベル値を生成し、量子化後レベル値を逆変換・逆量子化部132及び符号化部140に出力するように構成されている。変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理では、離散コサイン変換(DCT:Discrete Cosine Transform)に対応する基底パタン(変換行列)が用いられてもよく、離散サイン変換(DST:Discrete Sine Transform)に対応する基底パタン(変換行列)が用いられてもよい。変換処理を行わなくてもよい。
【0019】
逆変換・逆量子化部132は、量子化後レベル値を逆量子化処理と逆変換処理して予測残差信号を生成し、加算部122に出力するように構成されている。
【0020】
符号化部140は、変換・量子化部131から出力された量子化後レベル値を符号化し、符号化データを出力するように構成されている。符号化は、量子化後レベル値の発生確率に基づいて異なる長さの符号語を割り当てるエントロピー符号化である。また、符号化部140は、画像復号装置200における復号処理で用いる制御データを符号化し、符号化データを出力するように構成されている。ここで、制御データとは、ブロックの分割モードや予測モードや動き情報などを画像復号装置200が特定するための付加情報である。これらは図面簡素化の観点から図示することを省略しているが、符号化装置100の各機能ブロックから出力される。たとえば、ブロックの分割モードはブロック分割部170から出力され、イントラ予測モードはイントラ予測部112から出力され、インター予測モードや動き情報はインター予測部111から出力される。図示していない制御部によって、各機能ブロックで出力される複数の制御データの候補から単一の制御データが特定される。特定方法としてレート歪コストを最小化する制御データを選択しても良い。
【0021】
インループフィルタ処理部150は、フィルタ処理前復号信号をフィルタ処理し、フィルタ処理後復号信号(再構成画像信号又は参照フレーム、なお、参照フレームは再構成画像信号のうち、インター予測部111で他のフレームの予測符号化に用いられるものを指す)を生成し、フレームバッファ160に出力するように構成されている。フィルタ処理は、符号化ブロック又は予測ブロック又は変換ブロックの境界部分で生じる歪みを減少するデブロッキングフィルタ処理や、画像符号化装置100から伝送されるフィルタ係数やフィルタ選択情報や画像の絵柄の局所的な性質等に基づいてフィルタを切り替える適応ループフィルタ処理である。
【0022】
フレームバッファ160は、フィルタ処理後復号信号を蓄積し、インター予測部111に参照フレームとして出力するように構成されている。
【0023】
ブロック分割部170は、対象フレームをお互いに重複しない正方形または長方形から成るブロックに分割し、ブロック毎に符号化対象信号をインター予測器111及びイントラ予測器112に出力するように構成されている。ここでブロックの分割方法は例えばインター予測部111とイントラ予測部112で別にしてもよいし、輝度信号と色差信号で別にしてもよい。またブロックの分割には縦と横の長さを半分にする四分割、縦または横の長さを半分にする二分割、縦または横の長さを1:2:1にする三分割のいずれかを用いてもよい。
【0024】
(対象符号化ブロックの大きさを用いた幾何学的分割モード候補選択方法(以下、基準手法))
(インター予測部111)
図3~
図8を用いて、本実施形態に係るインター予測部111を説明する。
図3は本実施形態に係るインター予測部111の機能ブロックの一例である。
図3のインター予測部111はマージ部1111、符号化ブロック情報抽出部1112、幾何学的分割モード候補選択部1113、予測画素生成部1114を備えるものとして構成される。
【0025】
なお、
図3のインター予測部111は、符号化ブロックにインター予測が適用され、且つ、符号化ブロック全体にインター予測を適用するのではなく、幾何学的分割を適用したうえでの分割部分ごとにインター予測を適用する場合の処理を行う構成である。(前述のように、当該符号化ブロックにインター予測を適用するか否か、インター予測を適用したうえでさらに幾何学的分割の手法を適用するか否かの判断は、画像符号化装置100に備わる不図示の制御部が任意の手法を用いて別途に行うことができる。)
【0026】
マージ部1111は、対象符号化ブロックに対して時空間上の隣接位置(隣接ブロック)の動き情報から対象ブロックの動き情報を複数導出し、動き情報を出力する。
【0027】
マージ部1111では、マージモードの手法を用いることで、符号化済みの隣接ブロックに対して既に決定されている動き情報から、対象符号化ブロックに適用すべき動き情報の候補としての動き情報を複数導出し、符号化ブロック情報抽出部1112へと出力することができる。(なお、この符号化済みの隣接ブロックに対して既に決定されている動き情報の各々には、一つの動き情報として一組の動きベクトル、参照フレームを特定するインデックス(以下参照インデックス)を含む場合と、二組の動きベクトル、参照インデックスを含む場合がある。具体的には、空間的・時間的に隣接する領域が含まれる符号化ブロックにて参照フレームを1つ用いる片予測が適用された場合は一組の動きベクトルと参照インデックス、参照フレームを2つ用いる双予測が適用された場合または幾何学的分割が適用された場合は二組の動きベクトルと参照インデックスが含まれる。なお、空間的・時間的に隣接する領域に幾何学的分割が適用されている場合、幾何学的分割によるブロック分割に基づいて、当該の隣接領域の予測符号化に用いる一組の動きベクトルと参照インデックスのみを取得することとしても良い。)
【0028】
符号化ブロック情報抽出部1112は、対象符号化ブロックの大きさを抽出し、符号化ブロック情報を幾何学的分割モード候補選択部1113へと出力する。ここで、符号化ブロック情報は、例えば、(1)対象符号化ブロックの短辺の長さ、(2)長辺の長さ、または(3)対象符号化ブロックの画素数の全部または任意の一部(1つまたは2つ)として与えることができる。
【0029】
幾何学的分割モード候補選択部1113は、符号化ブロック情報をもとに、幾何学的分割モードセットの中から、複数の幾何学的分割モード候補を選択し、それら幾何学的分割モード候補を出力する。
図4は幾何学的分割の説明例である。本実施例では、分割境界の例として、
図5に示す角度パターンと距離パターンの組み合わせとして表現する。
【0030】
図4では、符号化対象のフレームF内の対象符号化ブロックBLに適用する幾何学的分割(複数の分割候補のうちの1つ)の例として、対象符号化ブロックBLを直線の分割境界DBによって第1部分PA及び第2部分PBに分割することが示されている。なお、第1部分PAについては第1動きベクトルMVAが、第2部分PBについては第2動きベクトルMVBが、コストを最適化するものとして後段側の予測画素生成部1114において、マージ部1111で与えられた候補の動き情報の中から探索される対象となる。これら動きベクトルMVA,MVBは分割境界DBによって幾何学的分割された部分PA,PBごとの動きベクトルMV=(MVA,MVB)を構成する。ここで、動きベクトルMVAは第1部分PAの参照先として参照フレームFA内のブロックBLAを指し示しており、動きベクトルMVBは第2部分PBの参照先として参照フレームFB内のブロックBLBを指し示している。
【0031】
図5では、
図4に1つの場合の分割境界DBを示した分割境界の(全)候補である幾何学的分割モードセットが、角度パラメータφ及び距離(オフセット)パラメータρの組み合わせ(φ,ρ)によって与えられることが示されている。
【0032】
角度パラメータφは、分割境界DBの直線がブロックに対してなす角度を与えるものであり、ブロック中心から水平右に向かう方向をφ=0°=φ1として、図示するようにこの角度が増える順番でφ={φ1,φ2,φ3,…,φ20}のように例えば20通りの候補を用意しておくことができる。これらの角度φの各々について、tanφの取りうる値が例えば以下となるように、20通りの角度φの各々を定めておくことができる。
tanφ=0, ±1/4, ±1/2, ±1, ±2, ±∞
【0033】
距離(オフセット)パラメータρは、分割境界DBの直線のブロック中心からの変位(角度パラメータφで与えられる向きへの変位(φ+90°の方向への平行移動))を与えるものであり、各角度φに対してそれぞれ距離パラメータρ={ρ1, ρ2, ρ3, ρ4}のように中心に近い順から4通りの距離パラメータ候補を定めておくことができる。(ρ=ρ1はブロック中心に最も近く、ブロック中心を分割境界DBが通る場合に該当し、ρ=ρ4がブロック中心から最も遠い場合に該当し、向きφの直線に対する水平移動として、φ+90°の方向にブロック中心から直線を距離パラメータρだけ水平移動させることで、距離パラメータρごとの分割境界DBを構成する。)
【0034】
図5では角度パラメータφ=φ3,φ9,φ13,φ19=45°,135°,225°,315°の場合について当該角度φの向きにおいてブロック中心からの距離として共通に定義される距離パラメータρ={ρ1, ρ2, ρ3, ρ4}が示されている。
【0035】
図4,5に模式的に示されるように、幾何学的分割を適用する場合、探索対象となる組み合わせ全体(幾何学的分割モード「セット」の全体)は例えば以下の通りの「分割境界」候補数と「動き情報」候補数との乗算で64*30=1920通り等となり、膨大な数となる。なお、1つの動き情報の中に二組の動きベクトルと参照フレームを特定するインデックスが存在する場合、所定の方法で二組の動きベクトルと参照フレームを特定するインデックスのうちどちらを使用するか決定する。具体的には、例えば非特許文献1に記載の方法で決定することができる。
分割境界…64通り
(
図5の20×4=80通りから同一分割境界と、ブロック分割部170の四分割・二分割・三分割と同一の分割をする分割境界と、を除いた64通りとなる。)
動き情報の候補…30通り
(マージ部1111では、符号化済みの時空間的に隣接する領域で、予測符号化時に適用された動き情報のなかから、6つの動き情報を取得できる。幾何学的分割ではこの6通りから、対象符号化ブロックを分割した後の二つの領域に適用する動き情報を選択できる。二つの領域に適用する動き情報は同じものを選べないため、二つの領域の動き情報の組み合わせの数は
6P
2=30通りとなる。)
【0036】
本実施形態の幾何学的分割モード候補選択部1113は、後述する各手法によって上記膨大な候補から予め絞り込みを行う(幾何学的分割モードについて全候補の中から絞り込みを行う)ことで、計算量の低減に寄与することができる。
【0037】
図3の説明に戻り、予測画素生成部1114は、幾何学的分割モード候補選択部1113で選択した複数の幾何学的分割モード候補を用いて、予測画素を生成する。ここで予測画素は二つの参照フレームの各々のブロックの重み付き平均によって生成してもよい。分割境界に応じて重みを決定してもよい。
【0038】
なお、予測画素生成部1114では幾何学的分割モード候補選択部1113によって低減された候補のそれぞれについて予測画素を生成してインター予測部111の出力となす。前述のように、幾何学的分割モードの低減された候補の中から実際にどの1つの幾何学的分割モードが符号化に利用されるかは、画像符号化装置100に備わる不図示の制御部により、レート歪コストを最小するものとして決定することができる。
【0039】
本実施形態のインター予測部111のうち、符号化ブロック情報抽出部1112と、幾何学的分割モード候補選択部1113と予測画素生成部1114で実行される幾何学的分割モード候補の選択および予測信号の生成フローについて
図6を用いて説明する。
【0040】
ステップS1では、画像符号化装置100の設定で、対象符号化ブロックに対して幾何学的分割が有効であるかを判定する。有効である場合ステップS2に進み、無効である場合は本処理を終了する。(なお、無効である場合は、当該対象符号化ブロックについては、適用されている幾何学的分割以外の予測符号化方式により符号化が行われることとなる。)
【0041】
ステップS2では、対象符号化ブロックの大きさを抽出する。前述のように、対象符号化ブロックの大きさとして、短辺の長さ、長辺の長さ、画素数の全てまたは一部を用いてよい。
【0042】
ステップS3では、対象符号化ブロックの大きさに基づいて、幾何学的分割モードセットの全体から候補として絞り込んだものとして、複数の幾何学的分割モード候補を選択する。
【0043】
ステップS4では、幾何学的分割モード候補を用いて、予測画素の生成を行い、
図6のフローを終了する。
【0044】
以下、ステップS3の選択処理の詳細について説明する。
【0045】
この選択処理では、対象符号化ブロックの短辺の長さまたは長辺の長さまたは面積(画素数でもよい)に対してあらかじめ定めた閾値を用いてもよく、具体的に、以下の各手法1~5を利用できる。
【0046】
<手法1…長辺が短いと判定される場合の候補数を低減>
例えば、対象符号化ブロックの長辺の大きさが閾値以下である場合の候補数が、閾値よりも大きい場合の候補数よりも少なくなるように、幾何学的分割モード候補を選択してもよい。具体的には、閾値以下である場合は幾何学的分割モードセットから複数の幾何学的分割モード候補を選択し、閾値より大きい場合は幾何学的分割モードセット全てを幾何学的分割モード候補としてもよい。
【0047】
この理由を述べる。対象符号化ブロックが小さい場合、分割境界のパターンが少なくても、ブロック内の被写体や前景および背景の境界を、限定的な分割パターンに適合させることができ、符号化性能を保ちつつも、符号化処理量を削減できると期待できる。閾値は任意の値に設定してよく、長辺の長さに対して16画素としてもよい。
【0048】
<手法2…短辺が長いと判定される場合の候補数を低減>
例えば、対象符号化ブロックの短辺の大きさが閾値以上である場合の候補数が、閾値よりも小さい場合の候補数よりも少なくなるように、幾何学的分割モード候補を選択してもよい。具体的には、閾値以上である場合は幾何学的分割モードセットから複数の幾何学的分割モード候補を選択し、閾値より小さい場合は幾何学的分割モードセット全てを幾何学的分割モード候補としてもよい。
【0049】
この理由を述べる。対象符号化ブロックが大きい場合、小さいときと比較して、ブロック内の被写体や前景・背景の境界が複数の直線で構成されやすい。また、そのブロック内の境界が1種類の直線で構成される場合であっても、ブロックサイズが大きい場合は幾何学的分割モードの各分割境界でブロック内の境界を正確に適合させにくい。よって、幾何学的分割モードを構成する角度と距離のパターンから類似するパターンを一定数削減しても、幾何学的分割によるブロック内の境界を考慮した予測精度は著しく低下せず、一方で幾何学的分割モードを選択するための符号化処理量を大幅に削減できる効果が期待できる。なお、閾値は任意の値に設定してよく、短辺の長さに対して32画素としてもよい。
【0050】
<手法3…面積または画素数が小さいと判定される場合の候補数を低減>
また、幾何学的分割モード候補を選択するために、前述した長辺または短辺の大きさの代わりに、対象符号化ブロックの面積を閾値処理してもよい。閾値以下であれば、閾値より大きい場合の候補数よりも少なくなるように、幾何学的分割モード候補を選択してもよい。対象符号化ブロックの面積は、例えば対象符号化ブロックの画素数を用いてもよい。また閾値は任意の値にしてもよく、1024画素としてもよい。
【0051】
<手法4…細長いと判定される場合の候補数を低減>
この選択処理では、対象符号化ブロックの短辺の長さと長辺の長さとの比率(アスペクト比)に対してあらかじめ定めた閾値を用いてもよい。例えば、長辺の長さを短辺の長さで除算した結果が閾値以上である場合の候補数が、閾値よりも小さい場合の候補数よりも少なくなるように、幾何学的分割モード候補を選択してもよい。
【0052】
この理由を述べる。対象符号化ブロックが細長いときに、正方形のときと同じ角度のパターンや距離のパターンの組み合わせで分割境界を構成した場合、類似した分割境界パターンが複数存在する。(例えば、横方向に細長い場合、
図5の角度φ={φ5,φ6,φ7, φ15,φ16,φ17}(tanφ=±∞の近傍角度φ)等は、互いにほとんど同じ分割境界パターンになることが想定される。)類似したパターンを削減することで、符号化性能を保ちつつも、符号化処理量を削減できると期待できる。なお、閾値は任意の値に設定してよく、長辺の長さを短辺の長さで除算した結果に対して2としてもよい。
【0053】
<手法5…幾何学的分割モードセットに対する間引き>
この選択処理では、幾何学的分割モードセットから、角度パターン及び距離パターンに対してあらかじめ定めたパターン(全パターンが網羅された状態から間引いたパターン)の幾何学的分割モードを選択してもよい。
【0054】
<手法5の実装例その1>
例えば、
図7に示すように、角度φの全20通りの中から間引かれた{0°,45°,90°,135°,180°,225°,270°,315°}の8通りのみを用いるようにし、且つ/又は、距離ρの全4通りの中から半分に間引かれた、中心から2番目に近い分割境界と4番目に近い分割境界{ρ2,ρ4}の2通りのみを用いるようにしてもよい。
【0055】
なお、
図7では、
図5の例を前提として、角度φを8通りに間引いたものと、距離ρのパターンを角度φ=45°,90°の場合について2通り{ρ2,ρ4}に間引いたものの例が示されている。
【0056】
この理由を述べる。一般に映像を撮影する際には、カメラを地面に対して水平・垂直にすることが多い。そのため映像内の人工物などの被写体の境界の多くは、対象ブロックに水平または垂直で存在すると考えられる。ここで分割境界の角度パターンを水平・垂直のみすることが考えられるが、水平・垂直でない境界に整合できず、予測精度が低下することが考えられる。したがって、角度パターンを水平・垂直とそれらの中間の角度である45°,135°,225°,315°を用いる。また角度パターンが水平または垂直で、中心を通る距離のパターンを用いる幾何学的分割モードは、ブロック分割部170で二分割をしたあとそれぞれのブロックで予測符号化することと同じ処理になるため、処理の重複を避けるために幾何学的分割モードセットに存在しない。(すなわち、前述のように、幾何学的分割モードセットは重複を避けて定義されている。)したがって、距離パターンを中心から2番目に近いものと4番目にすることで、分割境界を空間的に偏りなく削減することができる。これにより、符号化性能を保ちつつも符号化処理量を削減できると期待できる。
【0057】
<手法5の実装例その2>
また例えば、
図8に示すように、角度が45°,135°,225°,315°であり距離が中心を通る分割境界と3番目に近い分割境界と、角度が0°,90°,180°,270°であり距離が中心から2番目に近い分割境界と4番目に近い分割境界とを用いることとしてもよい。すなわち、全64通りの幾何学的分割モードセットから絞り込む候補(φ,ρ)として以下の集合A(4*2=8通り)または集合B(4*2=8通り)の8+8=16通りを用いるようにしてもよい。
(φ,ρ)∈A∪B
A={45°,135°,225°,315°}×{ρ1,ρ3}
B={0°,90°,180°,270°}×{ρ2,ρ4}
【0058】
なお、
図8の例では、
図5の例を前提として、角度φについての集合A,Bを示し、距離ρについては集合Aの角度φ=45°の場合の候補ρ={ρ1,ρ3}と、集合Bの角度φ=90°の場合の候補ρ={ρ2,ρ4}とを示している。
【0059】
この理由を述べる。角度パターンの選び方の理由は前述したとおりである。また距離パターンは、45°,135°,225°,315°のときのみ、中心を通るものと中心から3番目に近いものを選ぶことができる。ここで(45°,225°)や(135°,315°)のような、角度が180°異なる組み合わせでは、中心を通る距離パターンは同じ分割境界を表すため、片方の分割境界のみ幾何学的分割モードセットに存在する。(すなわち、前述のように、幾何学的分割モードセットは重複を避けて定義されている。)したがって、
図8に示す選び方は、分割境界が空間的に偏るのを避けつつも、
図7の選び方よりも幾何学的分割候補の要素数を減らすことができるため、符号化性能を保ちつつもより符号化処理量を削減できると期待できる。
【0060】
なお、手法5は単独で用いるのではなく、手法1~4のいずれかと組み合わせて用いることができる。手法5を単独で利用する場合については、次の変形例1として説明する。
【0061】
(変形例1:より小さい構成での幾何学的分割モード候補選択手法)
以下、
図9及び
図10を参照して、前述した基準手法に対する、本変形例との差異を説明する。差異は、本変形例は対象符号化ブロックの大きさを使わずに幾何学的分割モード候補を選択することである。
【0062】
図9は、変形例1に係るインター予測部111の構成を示した図である。以下に、
図9の
図3で示した構成との差異を説明する。
図9のインター予測部111は、
図3にある符号化ブロック情報抽出部1112を持たない(省略されている)ものとして構成される。
【0063】
当該省略されることに伴い、幾何学的分割モード候補選択部1113は、基準手法の場合のように対象符号化ブロック情報を用いることなく、幾何学的分割モードセットの中から、複数の幾何学的分割モード候補を選択し、それら幾何学的分割モード候補を出力する。
【0064】
図10は本変形例において、幾何学的分割モード候補選択部1113と予測画素生成部1114で実行される幾何学的分割モード候補の選択および予測信号の生成フローを示したものである。以下に、
図10の
図6で示したフローに対する差異を説明する。
【0065】
図10のフローでは、
図5のステップS2をもたず、
図5のステップS3に対応する
図10のステップS13の処理の内容が一部異なる。また、
図10のステップS1とステップS4は、同一の参照符号で示す通り、
図5のステップS1とステップS4と処理が同じである。
【0066】
ステップS13では、対象符号化ブロックに依らず、幾何学的分割モードセットから複数の幾何学的分割モード候補を選択する。幾何学的分割モード候補の選択は、対象符号化ブロックの大きさを用いた幾何学的分割モード候補選択方法(基準手法)において既に説明したのと同様に、角度パターン及び距離パターンに対してあらかじめ定めたパターンの幾何学的分割モードを選択してもよい。
【0067】
すなわち、ステップS13では例えば、基準手法において手法5「幾何学的分割モードセットに対する間引き」として説明した手法を、対象符号化ブロックの情報(大きさ情報等)を用いることなく適用することができる。
【0068】
上記の差異により得られる効果は以下のとおりである。基準手法では少数の幾何学的分割モード候補が選択されていなかった対象符号化ブロックに対しても、少数の幾何学的分割モード候補から対象符号化ブロックに適用する幾何学的分割モードを決定するため、さらなる符号化処理量の削減が期待できる。
【0069】
(変形例2~7の説明)
以下では、変形例2~7として、抽出する符号化ブロック情報を基準手法から変更した、六つの幾何学的分割モード候補選択方法を説明する。どの方法も機能構成は基準方法と同じであるが、符号化ブロック情報抽出部1112の処理内容が異なる。また生成フローは、
図6のステップS2およびステップS3に対応する処理内容が異なる。
【0070】
(変形例2:対象フレームと参照フレームの距離を用いた幾何学的分割モード候補選択手法)
以下に、本変形例と基本選択方法の差異を述べる。本変形例の符号化情報ブロック抽出部1112では、対象フレームの出力順序(POC: Picture Order Count)を抽出し、符号化ブロック情報として出力する。なお、既知のように、POCは対象フレームが再生される順番であり、再構成直後のフレームは時系列順に並んでいないため、それを並べなおすための情報に相当し、符号化の際に既存手法により自動決定することができる。
【0071】
次に
図11を参照して、本方法本変形例の生成フローの差異を説明する。なお、
図11のステップS1およびS4は、同一参照符号で示すように、
図6のステップS1およびS4と処理内容が同じである。
【0072】
ステップS22では、対象フレームのPOCを抽出する。ステップS23では、対象フレームのPOCに基づいて、幾何学的分割モードセットから複数の幾何学的分割モード候補を選択する。
【0073】
この選択処理では、対象フレームのPOCと、幾何学的分割モードセットの動き情報に含まれる参照フレームのPOCを閾値処理してもよい。例えば、対象フレームのPOCと、ある一つの幾何学的分割モードの参照フレームのPOCの、差分の絶対値を計算し、計算結果が閾値以下であった場合は、その幾何学的分割モードを幾何学的分割モード候補の要素一つとして選択し(すなわち、候補から除外しないように扱い)、閾値より大きい場合は、幾何学的分割モード候補に含めない(すなわち、候補から除外する)、としてもよい。
【0074】
図4の例であれば、符号化対象ブロックBL及び分割境界DB(この分割境界DB及び対応する動きベクトルはすなわち、幾何学的分割モードセット全体のうち任意の1つである)に対して、この符号化対象ブロックBLが含まれる対象フレームFのPOC(POC[F]とする)を抽出し、且つ、動きベクトルMV=(MVA,MVB)がそれぞれ参照する参照フレームFA,FBのPOC(それぞれPOC[FA],POC[FB]とする)を抽出し、閾値THを用いて以下のようにする。
|POC(FA)-POC(F)|>THならば、FAを参照する幾何学的分割モードは用いない(FBについても同様)。
【0075】
この理由を述べる。二つのフレームのPOCの差分の絶対値が大きい場合は時系列的に遠い場合に相当するため、物体境界を予測する幾何学的分割では動物体側の予測が外れやすく、幾何学的分割候補に選択しない方がよいためである。
【0076】
(変形例3:近傍ブロックの幾何学的分割モード情報を利用した、対象符号化ブロックの幾何学的分割モード候補選択手法)
以下、本変形例と基準手法の差異を述べる。符号化情報ブロック抽出部1112では、対象符号化ブロックの近傍ブロックに適用された幾何学的分割モード情報を抽出し、符号化ブロック情報として出力する。
【0077】
次に
図12を参照して、生成フローの差異を説明する。なお、
図12のフローにおける、ステップS1及びステップS4は、同一参照符号で示すように、
図6のステップS1及びステップS4と処理内容が同じである。
【0078】
ステップS32では、近傍ブロックに適用された幾何学的分割モード情報を抽出する。この近傍ブロックは、隣接する符号化済みのブロックであり、かつ幾何学的分割モードが適用されたブロックのなかから複数乃至一つを所定規則で選んでよい。例えば、対象符号化ブロックの左に接するブロックと上に接するブロックを選んでもよい。該当するブロックが存在しない場合は、該当ブロックが存在しなかったという情報を近傍ブロックに適用された幾何学的分割モード情報とする。
【0079】
ステップS33では、近傍ブロックに適用された幾何学的分割モード情報に基づいて、幾何学的分割モードセットから複数の幾何学的分割モード候補を以下の手法31~33のいずれかにより選択する。(なお、手法33は、変形例3が適用できない場合のスキップ処理に相当するものである。)
【0080】
<手法31>
この選択処理では、近傍ブロックの分割境界と対象符号化ブロックの分割境界が連続すると判定される幾何学的分割モードを、幾何学的分割モード候補として選択してもよい。この理由を述べる。一般に対象フレームに存在する被写体や前景・背景の境界の多くは連続している。そのため、近傍ブロックの分割境界と対象符号化ブロックの分割境界が連続する幾何学的分割モードを幾何学的分割モード候補として選択することで、符号化性能を保ちつつも符号化処理量を削減できると期待できる。
【0081】
図13の例EX1,EX2に、分割境界が連続すると判定される例を示す。例EX1は、対象符号化ブロックBLの分割境界DBとして、2つの近傍ブロックである上側隣接ブロックBLU及び左側隣接ブロックBLLにそれぞれ適用された分割境界DBU,DBLと、その境界箇所が(完全)一致することで連続すると判定されるものを選択する例であり、同様に例EX2は、分割境界DBとして、隣接する分割境界DBU,DBLと、その境界箇所が一致すると判定される(完全一致ではない場合も含めて境界箇所の距離が閾値判定で近いと判定される)ことで連続すると判定されるものを選択する例である。
【0082】
<手法32>
また近傍ブロックの分割境界(φ,ρ)の角度パターンφを参照して、対象符号化ブロックの幾何学的分割モード候補を選択してもよい。
【0083】
ここで、上記の角度パターンφが近いものとして対象符号化ブロックの幾何学的分割モード候補を選択する例を説明する。なお、角度パターンφが近いことは、|tanφ|が近いこと等で判断すればよい。すなわち、φの値の違いが±180°で逆向きとなっているものは角度パターンφを同一として扱い、φの値の違いが±90°に近いほど、角度パターンの違いがより大きいものとして扱い、φの値の違いが±0°または±180°に近いほど角度パターンの違いが小さいものとして扱うようにすればよい。(換言すれば、2つの角度φa,φbについて、180°で逆向きの場合を同一の角度として扱うと、2つの角度φa,φbの差の絶対値は0°以上90°以下の範囲で得られることになるので、この絶対値差に対して例えば閾値45°以下であれば近い角度パターン、そうでなければ遠い角度パターンとして扱うようにしてよい。あるいは同様に、180°違う場合を自動的に同一方向として判定できる手法として、|cos(φa-φb)|の大小で角度φa,φbの遠近を判定してもよい。)
【0084】
また、角度パターンφが予め設定されたいずれの範囲に属するかで、同じ範囲に属するか否かにより角度パターンφが近いか否かを判定してもよい。例えば、上に接する近傍ブロックの角度パターンが縦方向であった場合、縦方向の角度パターンから組み合わされる幾何学的分割モードを幾何学的分割モード候補として選択してもよい。また左に接する近傍ブロックの角度パターンが横方向であった場合、横方向の角度パターンから組み合わされる幾何学的分割モードを幾何学的分割モード候補として選択してもよい。
【0085】
なお、ここで角度パターンが縦方向であるとは、
図13の例EX3に示す通り、45°~135°および225°~315°の範囲内の角度パターンのことを指し、横方向であるとは、
図13の例EX4が示す通り、0°~45°と135°~225°と315°から360°の範囲内の角度パターンを指す。なお、
図13では縦方向(垂直方向)または横方向(水平方向)で近い角度の判定例を示したが、垂直または水平からずれている斜めの角度についても同様に、近い角度を判定することができる。
【0086】
<手法33>
また対象符号化ブロックに隣接し、かつ幾何学的分割モードが適用された符号化済みのブロックが存在しなかった場合、幾何学的分割モードセット(全体)をそのまま幾何学的分割モード候補として選択してもよい。
【0087】
(変形例4:動き情報導出時に参照した、隣接ブロックの位置を利用した幾何学的分割モード候補選択手法)
以下、本変形例と基準手法の差異を述べる。符号化情報ブロック抽出部1112では、幾何学的分割モードセットの動き情報をマージ部1111で導出した際の、参照した隣接ブロックの位置を抽出し、符号化ブロック情報として出力する。
【0088】
次に
図14を参照して、生成フローの差異を説明する。なお、
図14のフローにおける、ステップS1及びステップS4は、同一参照符号で示すように、
図6のステップS1及びステップS4と処理内容が同じである。
【0089】
ステップS42では、幾何学的分割モードセットの動き情報をマージ部1111で導出した際に、参照した隣接ブロックの位置を抽出する。ステップS43では、動き情報の導出時に参照した隣接ブロックの位置に基づいて、幾何学的分割モードセットから複数の幾何学的分割モード候補を選択する。
【0090】
次に
図15を参照して、この選択処理において、幾何学的分割モードセットのどの幾何学的分割モードを幾何学的分割モード候補に選択するかの例を述べる。まず、
図15のように幾何学的分割モードセットの各々の幾何学的分割モード(
図15では、前述した
図4と同一の例として分割境界DBを与える1つの幾何学的分割モードが例示される)について、その幾何学的分割モードが適用されたときの分割された対象符号化ブロックを考える。
【0091】
このとき、分割された左側の領域PAに適用する動き情報MVA(
図4参照)が、3つの隣接ブロックA0,A1,A2のように適用する領域PAに隣接するブロックのうち一つを参照して導出されており、かつもう一方の領域PBでも同様に適用する動き情報MVB(
図4参照)が2つの隣接ブロックB0,B1のような、隣接するブロックのうち一つを参照している場合、この幾何学的分割モードを幾何学的分割モード候補と選択してもよい。(なお、
図15の例では、対象符号化ブロックBLに対して時刻が一致した空間的範囲での隣接ブロックのみを考慮しているが、同様に、時間的範囲での隣接ブロックを考慮するようにしてもよいし、時間及び空間の両範囲での隣接ブロックを考慮するようにしてもよい。)
【0092】
ここで、前述の通り、マージ部1111は空間的・時間的に隣接する領域で実際に予測符号化に用いられた動き情報を例えば6つ集め、対象符号化ブロックの予測符号化に用いる動き情報の候補(分割モードセットの要素)として出力する。例えば、符号化ブロックBLに対して、1例としての隣接領域A0を含むブロックに適用された動き情報があるかを調べ、あればその動き情報を候補とし、次に隣接領域A1を調べて…と動き情報が6つになるまでマージ部1111は隣接領域を調べる処理を行う。従って、分割モードセットに含まれる動き情報の中には、A0を参照したもの、B0を参照したもの、などが含まれうることとなる。
【0093】
そのため、PAに適用する動き情報がA0, A1, A2のどれかを参照したものであり、PBに適用する動き情報がB1, B0のどれかを参照したものである幾何学的分割モードは幾何学的分割モード候補と選択してもよい、という手法を変形例4では用いることができる。(すなわち、変形例4では動き情報に関して、前述の通り2部分PA,PB(任意の1つの分割境界DBによって分割される2部分PA,PB)で網羅的には6P2=30通りが存在しうるところ、この分割境界DBにおける部分PAについては別部分PBの隣接領域B1,B0等を候補から除外し、部分PBについては別部分PAの隣接領域A0,A1,A12等を候補から除外することで、64通りの分割境界DBの各々について対応する動き情報に関して、30通りよりも少ない動き情報の候補に絞り込むことができる。)
【0094】
この理由を述べる。
図15のように対象符号化ブロックBLが分割境界DBの線分で分割された場合を考える。このとき、分割された各々の領域PA,PBは異なる動きMVA,MVBをもつと仮定できる。隣接ブロックA0,A1,A2から導出される動き情報MV[A0],MV[A1],MV[A2]のいずれか1つは、当該隣接ブロックA0,A1,A2に対して隣接する対象符号化ブロックBLの左側の領域PAを精度よく予測符号化できることが多いが、右側の領域PBを精度よく予測符号化できることは少ないと考えられる。
【0095】
したがって、前述したように参照した隣接ブロックの位置を用いることで、精度よく予測符号化できる組み合わせの幾何学的分割モードを幾何学的分割モード候補として選択でき、符号化効率を保ちつつも符号化処理量を削減できると期待できる。
【0096】
また上記の
図15の例では、幾何学的分割モードの選択条件を、どちらの領域PA,PBも隣接するブロックのどれか1つを参照していることとしたが、どちらか片方の領域(分割された2つの領域PA,PBのいずれか一方のみ)が隣接するブロックのどれか1つを参照していることとしてもよい。
【0097】
(変形例5:イントラ予測の予測方向を用いた幾何学的分割モード候補選択手法)
以下、本変形例と基準手法の差異を述べる。符号化情報ブロック抽出部1112では、イントラ予測部112での対象符号化ブロックの方向性予測の参照方向を抽出し、符号化ブロック情報として出力する。(なお、対象符号化ブロックは、本実施形態によりインター予測部111が幾何学的分割モードを適用して符号化するものであるが、変形例5では追加処理として、イントラ予測部112の処理(参照方向ごとのSAD,SSD等を評価してこれを最小とする参照方向を決定する処理)も適用することで、幾何学的分割の方向で候補の絞り込みを可能とする。)
【0098】
次に
図16を参照して、生成フローの差異を説明する。なお、
図16のフローにおける、ステップS1及びステップS4は、同一参照符号で示すように、
図6のステップS1及びステップS4と処理内容が同じである。
【0099】
ステップS52では、対象符号化ブロックのイントラ予測部112での方向性予測の参照方向を抽出する。ステップS53では、抽出した参照方向に基づいて、幾何学的分割モードセットから複数の幾何学的分割モード候補を選択する。
【0100】
この選択方式では、イントラ予測部112での対象符号化ブロックの方向性予測の参照方向を参照し、参照方向と角度が近い角度パターンφを用いている幾何学的分割モードを幾何学的分割モード候補として選択してもよい。角度が近いとは、例えば各々の角度の差分が閾値以下であることをいう。このとき閾値は任意に指定してもよく、例えば10°としてもよい。この際、前述の変形例3の場合と同様に、180°違う逆向きの場合は同じ向き(角度)として扱うことで、角度の差分を評価すればよい。
【0101】
この理由を述べる。方向性予測の参照方向は、対象符号化ブロックのエッジや境界方向に沿って決定されることが多い。そのため、方向性予測の参照方向と角度が近い角度パターンの幾何学的分割モードを幾何学的分割モード候補として選択することで、前景・背景や被写体の境界に近い幾何学的分割モードを選択でき、符号化効率を保ちつつも符号化処理量を削減できると期待できる。
【0102】
(変形例6:参照ブロックの幾何学的分割モード情報を利用した幾何学的分割モード候補選択手法)
以下、本変形例と基準方法の差異を述べる。符号化情報ブロック抽出部1112では、対象符号化ブロックの参照ブロックに適用された幾何学的分割モード情報を抽出し、符号化ブロック情報として出力する。
【0103】
次に
図17を参照して、生成フローの差異を説明する。なお、
図17のフローにおける、ステップS1及びステップS4は、同一参照符号で示すように、
図6のステップS1及びステップS4と処理内容が同じである。
【0104】
ステップS62では、参照ブロックに適用された幾何学的分割モード情報を抽出する。ここで、参照ブロックとは、当該符号化対象ブロックに対してマージ部1111で得られた複数の動き情報(例えば6通り)が参照する全ての参照ブロック(例えば6個以下)を列挙したものである。ステップS63では、参照ブロックに適用された幾何学的分割モード情報(例えば6通り以下)に基づいて、幾何学的分割モードセットから複数の幾何学的分割モード候補を選択する。
【0105】
この選択処理では、参照ブロックの幾何学的分割モード(と同一の幾何学的分割モード)を、対象符号化ブロックの幾何学的分割モード候補として選択してもよい。(すなわち、対象符号化ブロックBLの参照ブロックに適用された幾何学的分割モードは例えば6通り以下であるため、
図5で説明したような64通りから6通り以下に候補を絞り込むことができる。なお、動き情報の30通りは最適な符号化の探索範囲として残ることとなる。)また参照ブロックの幾何学的分割モードと、角度パターン近い幾何学的分割モードを対象符号化ブロックの幾何学的分割モード候補として選択してもよい。角度パターンが近いとは例えば、二つの角度パターンの角度の差分の絶対値が閾値以下であることを指す。この閾値は任意の数値でよく、例えば10°でもよい。この際、変形例3と同様に、180°違う逆向きの場合は同じ向きとして、角度の差分を評価すればよい。
【0106】
この理由を述べる。参照ブロックは対象符号化ブロックと画素値が近いものが多く、したがって前景・背景や被写体間の境界の位置が近いことが考えられる。したがって、参照ブロックの幾何学的分割モードを、幾何学的分割モード候補として選択することで、符号化効率を保ちつつも符号化処理量を削減できると期待できる。
【0107】
(変形例7:最確モード(Most Probable Mode、MPM)の情報を用いた幾何学的分割モード候補選択手法)
以下、本変形例と基準手法の差異を述べる。符号化情報ブロック抽出部1112では、イントラ予測部112で適用された対象符号化ブロックのMPMの情報を抽出し、符号化ブロック情報として出力する。(なお、変形例5と同様に、幾何学的分割モードによる対象符号化ブロックに対して追加処理として、イントラ予測部112の処理も適用することで、MPMの情報を抽出することができる。また、隣接ブロックでイントラ予測部112が実際の符号化のために適用されたかを確認し、もし適用されていたのなら、そのブロックで使用されたモードに基づいてMPMの情報を構築してよい。)
【0108】
次に
図18を参照して、生成フローの差異を説明する。なお、
図18のフローにおける、ステップS1及びステップS4は、同一参照符号で示すように、
図6のステップS1及びステップS4と処理内容が同じである。
【0109】
ステップS72では、対象符号化ブロックのMPMの情報(通常のイントラ予測の場合と同様に、方向の情報で構成される)を抽出する。ステップS73では、MPMの情報に基づいて、幾何学的分割モードセットから複数の幾何学的分割モード候補を選択する。
【0110】
この選択処理では、MPMの情報によっては、あらかじめMPMの情報によって対応付けた、複数乃至は一つの幾何学的分割モードを幾何学的分割モード候補として選択してもよい。(すなわち、MPMの情報が示す1つの方向に角度φが近いと判定される1つ以上の幾何学的分割モードを候補としてよい。この際、変形例3と同様に、180°異なる逆向きの場合は同じ角度として角度の差分を評価すればよい。)またMPMの情報を用いて符号化効率の高い幾何学的分割モードを推定してもよい。
【0111】
この理由を述べる。MPMの情報は、イントラ予測部112で対象符号化ブロックに最終的に適用される可能性が高いと推定した複数の予測モードの情報である。そのため、対象符号化ブロックの境界やテクスチャの方向の情報が含まれていることが多いと考えられる。したがって、MPMの情報を利用することで、符号化効率の高い幾何学的分割モードを選択・推定することができると考えられる。したがって、選択・推定した幾何学的分割モードを幾何学的分割モード候補として選択することで、符号化効率を保ちつつも符号化処理量を削減できると期待できる。
【0112】
なお、上記の基準方式、および各変形例1~7はそれぞれ組み合わせてもよい。例えば、基準方式と変形例2を組み合わせて、対象符号化ブロックの大きさと対象フレームと参照フレームの距離を考慮して幾何学的分割モード候補を選択してもよい。
【0113】
以上、本発明の各実施形態によれば、予め定義されている幾何学的分割モードセットの全体をそのまま候補とするのではなく、当該全体から少数の幾何学的分割モード候補を決定するため、幾何学的分割モードセット全体から対象符号化ブロックに適用する幾何学的分割モードを決定するよりも、符号化性能を低下させることなく、符号化処理量が削減できる効果が期待できる。
【0114】
以下、種々の補足例、代替例、追加例等に関して説明する。
【0115】
(1) 本発明の実施形態に係る画像符号化装置100の利用例として、映像を用いた遠隔でのテレビ会議における遠隔地への映像伝送の際の符号化に利用することができ、映像品質を確保したうえで、この符号化処理の高速化できるため、遠隔会議での遅延を抑制して臨場感を持った遠隔会議の実現に寄与できる。これにより、スムーズな遠隔コミュニケーションを実現するといったことが可能であり、実際にユーザが会議等で遠隔地に赴くことを省略する(遠隔地への移動を必ずしも必須とはしない)ことが可能である。従って、本発明の実施形態のこのような利用例により、ユーザ移動に必要となるエネルギー資源を節約することで二酸化炭素排出量を抑制できることから、国連が主導する持続可能な開発目標(SDGs)の目標13「気候変動とその影響に立ち向かうため、緊急対策を取る」に貢献することが可能となる。
【0116】
(2)
図19は、一般的なコンピュータ装置60におけるハードウェア構成の例を示す図である。本実施形態の画像符号化装置100及び画像復号装置200は、このような構成を有する1台以上のコンピュータ装置60として実現可能である。なお、2台以上のコンピュータ装置60で各装置を実現する場合、ネットワーク経由で処理に必要な情報の送受を行うようにしてよい。コンピュータ装置60は、映像の符号化や復号の処理に特化したプロセッサである専用プロセッサ60、所定命令を実行するCPU(中央演算装置)61、CPU61の実行命令の一部又は全部をCPU61に代わって又はCPU61と連携して実行する専用プロセッサとしてのGPU(グラフィックス演算装置)62、CPU61(及び専用プロセッサ60、GPU62)にワークエリアを提供する主記憶装置としてのRAM63、補助記憶装置としてのROM64、通信インタフェース65、ディスプレイ66、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース67と、これらの間でデータを授受するためのバスBSと、を備える。
【0117】
画像符号化装置100及び画像復号装置200の各機能部や、この各装置が実行する符号化方法や復号方法は、各部や各ステップ等の機能に対応する所定のプログラムをROM64から読み込んで実行する専用プロセッサ60、CPU61及びGPU62の全部または一部によって実現することができる。なお、専用プロセッサ60、CPU61及びGPU62は共に、演算装置(プロセッサ)の一種である。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ66が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース65が連動して動作する。
【符号の説明】
【0118】
100…画像符号化装置、111…インター予測部、1111…マージ部、1112…符号化ブロック情報抽出部、1113…幾何学的分割モード候補選別部、1114…予測画素生成部