IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧

<>
  • 特許-符号化装置、復号装置及びプログラム 図1
  • 特許-符号化装置、復号装置及びプログラム 図2
  • 特許-符号化装置、復号装置及びプログラム 図3
  • 特許-符号化装置、復号装置及びプログラム 図4
  • 特許-符号化装置、復号装置及びプログラム 図5
  • 特許-符号化装置、復号装置及びプログラム 図6
  • 特許-符号化装置、復号装置及びプログラム 図7
  • 特許-符号化装置、復号装置及びプログラム 図8
  • 特許-符号化装置、復号装置及びプログラム 図9
  • 特許-符号化装置、復号装置及びプログラム 図10
  • 特許-符号化装置、復号装置及びプログラム 図11
  • 特許-符号化装置、復号装置及びプログラム 図12
  • 特許-符号化装置、復号装置及びプログラム 図13
  • 特許-符号化装置、復号装置及びプログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-10
(45)【発行日】2024-12-18
(54)【発明の名称】符号化装置、復号装置及びプログラム
(51)【国際特許分類】
   H04N 19/463 20140101AFI20241211BHJP
   H04N 19/11 20140101ALI20241211BHJP
   H04N 19/136 20140101ALI20241211BHJP
   H04N 19/176 20140101ALI20241211BHJP
   H04N 19/593 20140101ALI20241211BHJP
【FI】
H04N19/463
H04N19/11
H04N19/136
H04N19/176
H04N19/593
【請求項の数】 4
(21)【出願番号】P 2023215558
(22)【出願日】2023-12-21
(62)【分割の表示】P 2020538397の分割
【原出願日】2019-08-20
(65)【公開番号】P2024029065
(43)【公開日】2024-03-05
【審査請求日】2023-12-21
(31)【優先権主張番号】P 2018154249
(32)【優先日】2018-08-20
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001106
【氏名又は名称】弁理士法人キュリーズ
(72)【発明者】
【氏名】岩村 俊輔
(72)【発明者】
【氏名】根本 慎平
(72)【発明者】
【氏名】市ヶ谷 敦郎
【審査官】田中 純一
(56)【参考文献】
【文献】特開2018-121318(JP,A)
【文献】特開2019-54517(JP,A)
【文献】国際公開第2017/090967(WO,A1)
【文献】大久保榮,H.265/HEVC教科書,初版,株式会社インプレスジャパン,2013年10月21日,pp.161-178
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/12
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
動画像を構成するフレーム単位の原画像を複数のブロックに分割して符号化する符号化装置であって、
符号化の対象ブロックの符号化処理順を決定する符号化処理順決定部と、
前記決定された符号化処理順に基づいて、予測に利用する参照画素の位置を決定し、前記利用する参照画素の位置に基づいて、前記対象ブロックのイントラ予測モード候補を生成する生成部と、
前記生成されたイントラ予測モード候補の中から前記対象ブロックに適用するイントラ予測モードを決定するイントラ予測モード決定部と、
前記決定されたイントラ予測モードに基づいて、前記対象ブロックに対するイントラ予測処理を施すイントラ予測部と、を具備する
ことを特徴とする符号化装置。
【請求項2】
動画像を構成するフレーム単位の画像を分割したブロックごとに復号する復号装置であって、
符号化装置から出力されたストリームに対してエントロピー復号処理を施すことによって、復号の対象ブロックの復号処理順を取得する復号処理順取得部と、
前記取得された復号処理順に基づいて、予測に利用する参照画素の位置を決定し、前記利用する参照画素の位置に基づいて、前記対象ブロックのイントラ予測モード候補を生成する生成部と、
前記生成されたイントラ予測モード候補に基づいて、前記ストリームに対してエントロピー復号処理を施すことによって、前記対象ブロックに適用するイントラ予測モードを取得するイントラ予測モード取得部と、を具備する
ことを特徴とする復号装置。
【請求項3】
コンピュータを、請求項1に記載の符号化装置として機能させるためのプログラム。
【請求項4】
コンピュータを、請求項2に記載の復号装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、符号化装置、復号装置及びプログラムに関する。
【背景技術】
【0002】
次世代映像圧縮技術に代表されるH.265/HEVC(High Efficiency Video Coding)動画像(映像)符号化方式においては、フレーム間の時間的相関を利用したインター予測及びフレーム内の空間的相関を利用したイントラ予測の2種類の予測を切り替えながら予測を行って残差信号を生成した後、直交変換処理、ループフィルタ処理、及びエントロピー符号化処理を行う。そして、このエントロピー符号化処理により得られたストリームを出力する。
【0003】
HEVCにおけるイントラ予測には、Planar予測、DC予測、及び方向予測等を含む計35種類のイントラ予測モードが用意されている。復号装置では、符号化装置(エンコーダ)で決定されたイントラ予測モードに従って、隣接する復号済み参照画素を用いてイントラ予測を行い、予測画像を生成する。以下、特に記載が無い場合には、「参照画素」とは、復号済み参照画素をいうものとする。
【0004】
従来のHEVCは、動画像を構成するフレーム単位の原画像を固定の大きさの複数のブロック(以下、CTU:Coding Tree Unitと呼ぶ)に分割した後、各CTUに対して階層的な四分木分割を適用することにより符号化する。
【0005】
符号化装置は、分割された符号化対象ブロック(以下、CU:Coding Unitと呼ぶ)に対してイントラ予測とインター予測とを切り替えながら符号化処理を施す。そして、この符号化処理は、左上から右下に向かって予め規定された符号化処理順(左上のCU→右上のCU→左下のCU→右下のCUというような符号化処理順、以下、Zスキャンと呼ぶ)で行われる。
【0006】
上述のように、イントラ予測モードは、参照画素を利用して予測画像を生成する。しかしながら、このイントラ予測モードは、符号化処理の順序を後述するZスキャンで進めるため、CUの右上や左下の参照画素が復号済みでない場合がある。
【0007】
このような場合には、参照画素として最も近い復号済み参照画素を0次外挿した値を用いて予測画像を生成する(例えば、非特許文献1参照)。
【0008】
また、HEVCでは、フレーム内の最も左上に位置するブロック等、隣接する復号済み参照画素が存在しないブロックでは、規定した値(例えば、10ビットの動画像であれば「512」等)を埋める処理により、予測画像を生成する際に用いる参照画素を作り出す。
【0009】
上述のように、復号済みでない参照画素が存在する場合、復号済みでない参照画素の位置する方向からの方向予測を行うと予測精度が低下するため、符号化効率が低減してしまう。
【0010】
そこで、イントラ予測において、Zスキャンの他、逆Nスキャン(右上のCU→右下のCU→左上のCU→左下のCUというような符号化処理順)や逆Zスキャン(左下のCU→右下のCU→左上のCU→右上のCUというような符号化処理順)のように符号化処理順に自由度を持たせることによって予測精度の向上を図る技術が知られている(非特許文献2参照)。
【0011】
非特許文献2に規定されている技術では、CU単位でどのような符号化処理順を用いるのかについてのフラグを伝送した上で、各CUに適用可能なイントラ予測モードを示すフラグを伝送する。
【0012】
また、非特許文献2に規定されている技術では、各CUのイントラ予測モードは、HEVCと同様に、固定の35個のイントラ予測モードの中から選択するように構成されており、伝送するイントラ予測モードのエントロピー符号化処理もHEVCと同様になっている。
【先行技術文献】
【非特許文献】
【0013】
【文献】大久保榮監修、「インプレス標準教科書シリーズ H.265/HEVC教科書」
【文献】Xiulian Peng等、「Improved intra frame coding by PU/TU reordering」、JVTVC-C275、2010年10月
【発明の概要】
【発明が解決しようとする課題】
【0014】
しかしながら、非特許文献2のように、符号化処理順(スキャン順)を選択可能とした場合であって、逆ZスキャンやNスキャンを選択したときであってもイントラ予測の精度が低下してしまう場合があるという問題点があった。
【0015】
例えば、図14に示すように、分割されたCUに対する符号化処理順に逆Zスキャンを選択した場合には、CU#3(左下のCU)→CU#4(右下のCU)→CU#1(左上のCU)→CU#2(右上のCU)という順でイントラ予測処理が行われる。
【0016】
ここで、図14の例のように、各CUのイントラ予測モードが、左側や上側に隣接する参照画素を利用するようなイントラ予測モードである場合には、符号化処理が、逆Zスキャンで行われる。このため、CU#4(右下のCU)やCU#3(左下のCU)では、Zスキャンであれば参照可能な上側の参照画素が利用不可能となる。
【0017】
つまり、図14の例のように、逆Zスキャンが選択された場合には、左側や上側に位置する参照画素を利用するイントラ予測モードが選択される可能性は低くなる。
【0018】
上述したように、非特許文献2では、符号化処理順によって選択されるイントラ予測モードの確率に偏りがあるにもかかわらずイントラ予測モードを示すフラグのエントロピー符号化をHEVCと同様としており、上述したイントラ予測モードの確率の偏りについて考慮されていない。
【0019】
また、非特許文献2では、全ての選択可能な符号化処理順において、各CUに対しどのようなイントラ予測モードを選択するかについて、符号化装置側で全ての組み合わせを試す必要があり、符号化装置側の計算時間が増大してしまうという問題点があった。
【0020】
そこで、本発明は、上述した課題を解決するためになされたものであり、符号化装置によって伝送する情報量を低減し、符号化装置側の計算時間を低減しつつ、符号化効率を向上させることができる符号化装置、復号装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0021】
本発明の第1の特徴は、動画像を構成するフレーム単位の原画像を複数のブロックに分割して符号化する符号化装置であって、符号化の対象ブロックの符号化処理順を決定する符号化処理順決定部と、前記決定された符号化処理順に基づいて、前記対象ブロックのイントラ予測モード候補を生成する生成部と、前記生成されたイントラ予測モード候補の中から前記対象ブロックに適用するイントラ予測モードを決定するイントラ予測モード決定部と、前記決定された符号化処理順及び前記決定されたイントラ予測モードに基づいて、前記対象ブロックに対するイントラ予測処理を施すイントラ予測部と、前記決定された符号化処理順及び前記決定されたイントラ予測モードに対して、エントロピー符号化処理を施すエントロピー符号化部と、を具備することを要旨とする。
【0022】
本発明の第2の特徴は、動画像を構成するフレーム単位の画像を分割したブロックごとに復号する復号装置であって、符号化装置から出力されたストリームに対してエントロピー復号処理を施すことによって、復号の対象ブロックの復号処理順を取得する復号処理順取得部と、前記取得された復号処理順に基づいて、前記対象ブロックのイントラ予測モード候補を生成する生成部と、前記生成されたイントラ予測モード候補に基づいて、前記ストリームに対してエントロピー復号処理を施すことによって、前記対象ブロックに適用するイントラ予測モードを取得するイントラ予測モード取得部と、前記取得された復号処理順及び前記取得されたイントラ予測モードに基づいて、前記対象ブロックに対するイントラ予測処理を施すイントラ予測部と、を具備することを要旨とする。
【0023】
本発明の第3の特徴は、コンピュータを、上述の第1の特徴に記載の符号化装置として機能させるためのプログラムであることを要旨とする。
【0024】
本発明の第4の特徴は、コンピュータを、上述の第2の特徴に記載の復号装置として機能させるためのプログラムであることを要旨とする。
【発明の効果】
【0025】
本発明によれば、符号化装置によって伝送する情報量を低減し、符号化装置側の計算時間を低減しつつ、符号化効率を向上させることができる符号化装置、復号装置及びプログラムを提供することができる。
【図面の簡単な説明】
【0026】
図1図1は、第1の実施形態に係る符号化装置の機能ブロック構成の一例を示す図である。
図2図2は、第1の実施形態に係る符号化装置及び復号装置で用いられるスキャン順の一例を示す図である。
図3図3は、第1の実施形態に係る符号化装置及び復号装置で用いられる符号化処理順(スキャン順)の一例を示す図である。
図4図4は、第1の実施形態に係る符号化装置及び復号装置で用いられるイントラ予測モードの全範囲の一例を示す図である。
図5図5は、第1の実施形態に係る符号化装置及び復号装置におけるイントラ予測処理の一例を示す図である。
図6図6は、第1の実施形態に係る復号装置の機能ブロック構成の一例を示す図である。
図7図7は、第1の実施形態の変更例について説明するための図である。
図8図8は、第2の実施形態に係る符号化装置における符号化処理順決定部の機能ブロック構成の一例を示す図である。
図9図9は、第2の実施形態に係る隣接ブロック検出部の動作の一例を示す図である。
図10図10は、第2の実施形態に係る復号装置における復号処理順取得部の機能ブロック構成の一例を示す図である。
図11図11は、第3の実施形態に係る符号化装置におけるイントラ予測モード候補生成部の機能ブロック構成の一例を示す図である。
図12図12は、第3の実施形態に係る符号化装置及び復号装置で用いられるイントラ予測モードの一例を示す図である。
図13図13は、第3の実施形態に係る復号装置におけるイントラ予測モード候補生成部の機能ブロック構成の一例を示す図である。
図14図14は、従来技術について説明するための図である。
【発明を実施するための形態】
【0027】
(第1の実施形態)
以下、図1乃至図6を参照して、本発明の第1の実施形態に係る符号化装置1及び復号装置3について説明する。
【0028】
ここで、本実施形態に係る符号化装置1及び復号装置3は、HEVC等の動画像符号化方式におけるイントラ予測に対応する。なお、本実施形態に係る符号化装置1及び復号装置3は、イントラ予測を行う動画像符号化方式であれば、任意の動画像符号化方式に対応することができる。
【0029】
本実施形態に係る符号化装置1は、動画像を構成するフレーム単位の原画像を符号化対象CUに分割して符号化する。以下、本実施形態では、動画像を構成するフレーム単位の原画像を階層的に四分木分割して符号化するケースを例に挙げて説明する。
【0030】
図1に示すように、本実施形態に係る符号化装置1は、符号化処理順決定部11と、イントラ予測モード候補生成部12と、イントラ予測モード決定部13と、イントラ予測部14と、エントロピー符号化部15とを具備している。
【0031】
符号化処理順決定部11は、符号化対象CU(符号化対象ブロック)の符号化処理順(以下、スキャン順)を決定(選択)する。具体的には、符号化処理順決定部11は、分割された各CUをどのような順序で符号化処理してくかについて決定する。なお、復号装置3においては、符号化処理順決定部11によって決定されたスキャン順に従って各CUを復号処理していく。よって、復号装置3において、スキャン順は、復号処理順に相当する。
【0032】
図2に、符号化処理順決定部11によって選択可能なスキャン順の例を示す。図2(a)に示すスキャン順は、Zスキャン(左上のCU→右上のCU→左下のCU→右下のCU)と呼ばれ、図2(b)に示すスキャン順は、逆Zスキャン(左下のCU→右下のCU→左上のCU→右上のCU)と呼ばれ、図2(b)に示すスキャン順は、Nスキャン(右上のCU→右下のCU→左上のCU→左下のCU)と呼ばれるものとする。
【0033】
本明細書では、以後、符号化処理順決定部11によってZスキャンや逆ZスキャンやNスキャンが選択可能である場合を例に挙げて説明するが、本発明は、図2に示すスキャン順の他、図3に示すスキャン順にも適用可能である。ここで、図3(a)に示すスキャン順が適用される場合には、Nスキャンと同様の処理が適用可能であり、図3(b)に示すスキャン順が適用される場合には、逆Zスキャンと同様の処理が適用可能である。
【0034】
イントラ予測モード候補生成部12は、符号化処理順決定部11によって決定(選択)されたスキャン順に基づいて、符号化対象CUのイントラ予測モード候補を生成する。以下、HEVCで適用可能なイントラ予測モードを例に挙げて説明する。
【0035】
図4に示すように、35個のイントラ予測モードについて、参照する方向別に、A、B、Cにカテゴリ分けを行う。なお、本実施形態では、HEVCのイントラ予測モードを例に説明するが、隣接する復号済み参照画素を用いてイントラ予測を行うどのような符号化処理に対しても適用可能である。
【0036】
HEVCにおいて、モード2からモード10までの計9個のイントラ予測モードについては、カテゴリAとし、モード11からモード25までの計15個のイントラ予測モードをカテゴリBとし、モード26からモード34までの計9個のイントラ予測モードをカテゴリCとする。
【0037】
なお、HEVC以外の方式等において、適用可能なイントラ予測モードのうち方向予測を行うモードについて、上側に位置する参照画素を利用しないイントラ予測モード群をカテゴリAとし、左側に位置する参照画素を利用しないイントラ予測モード群をカテゴリCとし、上側及び左側に位置する参照画素のどちらも利用するイントラ予測モード群をカテゴリBとなるように設定する。
【0038】
イントラ予測モード候補生成部12は、符号化処理順決定部11によって決定されたスキャン順に基づいて、符号化対象CUのイントラ予測モード候補を生成する。
【0039】
例えば、イントラ予測モード候補生成部12は、符号化処理順決定部11で決定されたスキャン順がZスキャンである場合には、HEVCのケースと同様に、A、B、Cの3個のカテゴリ、DCモード及びPlanarモードを、各CUに対して選択可能なイントラ予測モード候補とする。
【0040】
一方、イントラ予測モード候補生成部12は、符号化処理順決定部11で決定された符号化処理の順序が逆Zスキャンである場合には、カテゴリAに属するイントラ予測モード、DCモード及びPlanarモードを、各CUに対して選択可能なイントラ予測モード候補とする。
【0041】
さらに、イントラ予測モード候補生成部12は、符号化処理順決定部11で決定されたスキャン順がNスキャンである場合には、カテゴリCに属するイントラ予測モード、DCモード及びPlanarモードを、各CUに対して選択可能なイントラ予測モード候補とする。
【0042】
イントラ予測モード決定部13は、イントラ予測モード候補生成部12によって生成されたイントラ予測モード候補の中から符号化対象CUに適用するイントラ予測モードを決定する。例えば、イントラ予測モード決定部13は、イントラ予測モード候補生成部12によって定められたカテゴリに所属するイントラ予測モードのうち、符号化装置1側での最適化等により各CUに適用するイントラ予測モードを決定する。
【0043】
イントラ予測部14は、符号化処理順決定部11によって決定されたスキャン順及びイントラ予測モード決定部13によって決定されたイントラ予測モードに基づいて、符号化対象CUに対するイントラ予測処理を施す。具体的には、イントラ予測部14は、各CUに適用するイントラ予測モード及び各CUに隣接する復号済み参照画素の存在する位置に応じて、符号化対象CUに対するイントラ予測処理を施す。
【0044】
以下、図5を参照して、本実施形態に係るイントラ予測処理の一例について説明する。
【0045】
上述のように、イントラ予測モード候補生成部12は、符号化処理順決定部11で決定されたスキャン順が逆Zスキャンである場合には、カテゴリAに属するイントラ予測モード、DCモード及びPlanarモードを、各CUに対して選択可能なイントラ予測モード候補とする。
【0046】
図5(a)及び図5(b)に示すように、イントラ予測部14は、CU#3(左下のCU)及びCU#4(右下のCU)については、従来のHEVCと同様にイントラ予測処理を行う。HEVCでは、イントラ予測処理が行われる場合、復号画像を逐次生成することで、後続に符号化処理を行うCUにおけるイントラ予測処理において、かかる復号画像を再利用可能となる。
【0047】
そのため、図5(c)及び図5(d)に示すように、イントラ予測部14は、CU#1(左上のCU)及びCU#2(右上のCU)に対するイントラ予測を行う際には、下側に位置するCU(CU#3及びCU#4)が復号済みであるため、これらのCUの復号画像を参照画素として再利用可能である。
【0048】
そこで、イントラ予測部14は、各CUのスキャン順が逆Zスキャンである場合には、下側のCUが既に復号済みのCUに対しては、通常のHEVCで行われるイントラ予測処理の代わりに、少なくとも下側及び左側に隣接する参照画素を用いてイントラ予測処理を行う。
【0049】
同様に、イントラ予測部14は、各CUのスキャン順がNスキャンである場合には、右側のCUが既に復号済みのCUに対しては、通常のHEVCで行われるイントラ予測処理の代わりに、少なくとも右側及び上側に隣接する参照画素を用いてイントラ予測処理を行う。
【0050】
エントロピー符号化部15は、符号化処理順決定部11によって決定されたスキャン順及びイントラ予測モード決定部13によって決定されたイントラ予測モードに対して、エントロピー符号化処理を施す。具体的には、図1に示すように、エントロピー符号化部15は、符号化処理順符号化部151と、イントラ予測モード符号化部152とを具備している。
【0051】
符号化処理順符号化部151は、符号化処理順決定部11により決定されたスキャン順に対してエントロピー符号化処理を施す。
【0052】
イントラ予測モード符号化部152は、イントラ予測モード候補生成部12により生成されたイントラ予測モード候補及びイントラ予測モード決定部13により決定されたイントラ予測モードに基づいて、イントラ予測モードに対してエントロピー符号化処理を施す。
【0053】
従来のHEVCでは、35個のイントラ予測モードのうち、より選択される確率の高い順に並べた最確モード(MPM:Most Probable Mode)に登録されている3個のイントラ予測モードを除いた32個のイントラ予測モードに対して、5ビットのフラグ情報をストリーム出力する。
【0054】
また、従来のHEVCでは、符号化対象CUに隣接する上や左のブロックに適用したイントラ予測モードをMPMとして登録する。
【0055】
一方、本実施形態では、イントラ予測モード符号化部152は、イントラ予測モード候補生成部12によってカテゴリAに属するイントラ予測モード、DCモード及びPlanarモードのみが選択可能であると判定された場合(すなわち、符号化対象CUに逆Zスキャンが適用されると判定された場合)、或いは、イントラ予測モード候補生成部12によってカテゴリCに属するイントラ予測モード、DCモード及びPlanarモードのみが選択可能であると判定された場合(すなわち、符号化対象CUにNスキャンが適用されると判定された場合)には、選択される可能性のあるイントラ予測モードは、計10個となる。この場合、MPMに登録されている3個のイントラ予測モードを除いた7個のモードに対して、3ビットのフラグ情報をストリーム出力するように構成することができる。かかる構成によれば、イントラ予測モードの符号化に必要な情報量を削減することができ、符号化効率が向上する。
【0056】
本実施形態では、符号化対象CUの上や左だけでなく、上や右に隣接するブロックが復号済みである場合がある。そこで、イントラ予測モード符号化部152は、符号化対象CUに適用されたスキャン順に応じてMPMに登録するために参照する符号化済みCUの位置を決定する。
【0057】
具体的には、イントラ予測モード符号化部152は、符号化対象CUのスキャン順がZスキャン順である場合には左および上側に位置する符号化済みのCUに適用されたイントラ予測モードをMPMとして登録し、符号化対象CUのスキャン順が逆Zスキャン順である場合には左および下側に位置する符号化済みのCUに適用されたイントラ予測モードをMPMとして登録し、符号化対象CUのスキャン順がNスキャン順である場合には右および上側に位置する符号化済みのCUに適用されたイントラ予測モードをMPMとして登録する。
【0058】
上述の例では、固定長符号化した場合を例に3ビットと説明したが、可変長符号化やコンテキスト適応算術符号化(CABAC)等を用いてエントピー符号化を行う場合には、ストリーム出力されるビット数は3ビットとは限らない。
【0059】
また、本実施形態に係る復号装置3は、動画像を構成するフレーム単位の画像を分割したCUごとに復号する。ここで、本実施形態に係る復号装置3は、本実施形態に係る符号化装置1によりフレーム単位の画像が階層的に四分木分割されたブロックを復号する。
【0060】
図6に示すように、本実施形態に係る復号装置3は、エントロピー復号部31と、イントラ予測モード候補生成部32と、イントラ予測部33とを具備している。
【0061】
エントロピー復号部31は、符号化装置1から出力されたストリームに対してエントロピー復号処理を施すことによって、復号対象CUのスキャン順を取得する。具体的には、エントロピー復号部31は、復号処理順取得部311と、イントラ予測モード取得部312とを具備している。
【0062】
復号処理順取得部311は、符号化装置1から出力されたストリームに対してエントロピー復号処理を施すことによって、各CUに対するスキャン順を示すフラグ情報を取得する。
【0063】
イントラ予測モード候補生成部32は、復号処理順取得部311によって取得されたフラグ情報によって示されているスキャン順に基づいて、復号対象CUのイントラ予測モード候補を生成する。
【0064】
具体的には、イントラ予測モード候補生成部32は、符号化装置1を構成するイントラ予測モード候補生成部12と同様に、各CUに適用するスキャン順に基づいて、図4に示すカテゴリA、B、C、DCモード、Planarモードのうち、各CUに適用可能なイントラ予測モード候補を生成する。
【0065】
イントラ予測モード取得部312は、イントラ予測モード候補生成部32によって生成されたイントラ予測モード候補に基づいて、符号化装置1から出力されたストリームに対してエントロピー復号処理を施すことによって、各CUに適用するイントラ予測モードを取得する。
【0066】
イントラ予測部33は、復号処理順取得部311によって取得されたスキャン順及びイントラ予測モード取得部312によって取得されたイントラ予測モードに基づいて、復号対象CUに対するイントラ予測処理を施す。具体的には、イントラ予測部33は、符号化装置1を構成するイントラ予測部14と同様に、各CUに適用するイントラ予測モード及び各CUに隣接する復号済み参照画素の存在する位置に応じて、イントラ予測処理を施す。
【0067】
本実施形態に係る符号化装置1及び復号装置3によれば、符号化装置1によってスキャン順を制御することにより、イントラ予測効率を向上させることができ、また、適用するスキャン順に基づいて伝送するイントラ予測モードの情報量を低減することができ、符号化効率を向上させることができる。
【0068】
(第1の実施形態の変更例)
以下、図7を参照して、本発明の第1の実施形態の変更例に係る符号化装置1及び復号装置3について、上述の第1の実施形態に係る符号化装置1及び復号装置3との相違点に着目して説明する。
【0069】
本変更例に係る符号化装置1は、動画像を構成するフレーム単位の原画像を階層的な二分木分割によりCUに分割して符号化する。
【0070】
上述の第1の実施形態では、四分木分割によって分割されているCUに対するスキャン順の決定、イントラ予測モード候補の生成、イントラ予測モード及びスキャン順に対するエントロピー符号化処理について記載したが、本変更例では、CUに対して二分木分割を適用した場合について記載する。
【0071】
CUに対して二分木分割を適用する場合には、縦長の2つのCUに分割する場合と、横長の2つのCUに分割する場合の2種類の分割方法からさらに選択可能である。
【0072】
さらに、縦長の2つのCUに分割する場合には、図7(a)に示すCU#1(左側のCU)→CU#2(右側のCU)の左右順スキャンと、図7(b)に示すCU#2(右側のCU)→CU#1(左側のCU)の左右逆スキャンの2種類のスキャン順が選択可能である。
【0073】
一方、横長の2つのCUに分割する場合には、図7(c)に示すCU#1(上側のCU)→CU#2(下側のCU)の上下順スキャンと、図7(d)に示すCU#2(下側のCU)→CU#1(上側のCU)の上下逆スキャンの2種類のスキャン順が選択可能である。
【0074】
符号化処理順決定部11は、CUを縦長の2つのCUに分割する場合には、左右順スキャン及び左右逆スキャンのうちのどちらの符号化処理を適用するかについて決定する。
【0075】
一方、符号化処理順決定部11は、CUを横長の2つのCUに分割する場合には、上下順スキャン及び上下逆スキャンのうちのどのスキャン順を適用するかについて決定する。
【0076】
イントラ予測モード候補生成部12は、符号化処理順決定部11によって決定されたスキャン順に基づいて、各CUに適用可能なイントラ予測モード候補を生成する。
【0077】
以下、本変更例に係るイントラ予測処理について説明する。
【0078】
イントラ予測モード候補生成部12は、符号化処理順決定部11によって決定されたスキャン順が左右順スキャン及び上下順スキャンである場合には、A、B、Cの3つのカテゴリ、DCモード及びPlanarモードを、各CUの選択可能なイントラ予測モード候補とする(すなわち、HEVCでのイントラ予測モードの候補と同様)。
【0079】
一方、イントラ予測モード候補生成部12は、符号化処理順決定部11によって決定されたスキャン順が左右逆スキャンである場合には、カテゴリCに属するイントラ予測モード、DCモード及びPlanarモードを、各CUの選択可能なイントラ予測モード候補とする。
【0080】
さらに、イントラ予測モード候補生成部12は、符号化処理順決定部11によって決定されたスキャン順が上下逆スキャン順である場合には、カテゴリAに属するイントラ予測モード、DCモード及びPlanarモードを、各CUの選択可能なイントラ予測モード候補とする。
【0081】
なお、上述の第1の実施形態では、階層的な四分木分割の場合について説明し、本変更例では、階層的な二分木分割の場合について説明したが、これらのどちらも選択可能な階層分割可能な符号化方式に対しても各CUが四分木分割及び二分木分割のどちらの分割を選択したかに応じて切り替えることで適用可能である。すなわち、符号化対象CUは、原画像に対して四分木分割及び二分木分割の少なくとも一方を階層的に適用することによって得られるように構成されていてもよい。
【0082】
(第2の実施形態)
以下、図8乃至図10、表1を参照して、本発明の第2の実施形態に係る符号化装置1及び復号装置3について、上述の第1の実施形態に係る符号化装置1及び復号装置3との相違点に着目して説明する。
【0083】
本実施形態に係る符号化装置1は、動画像を構成するフレーム単位の原画像を階層的な四分木分割によりCUに分割して符号化する。
【0084】
上述の第1の実施形態では、四分木分割されたCUに対して、Zスキャン、逆Zスキャン、及びNスキャンの3種類のスキャン順のうちどのスキャン順を適用するかを符号化処理順決定部11により決定し、決定されたスキャン順を符号化処理順符号化部151によりエントロピー符号化していた。
【0085】
一方、本実施形態に係る符号化処理順決定部11は、符号化対象CUの上下左右に隣接する各ブロックが符号化済みであるか否かの情報に基づいて、当該CUを四分木分割して得られる子CU(子ブロック)に対して選択可能なスキャン順である処理順候補を生成し、生成された処理順候補のうちどのスキャン順を適用するかを決定する。さらに、本実施形態に係る符号化処理順符号化部151は、符号化処理順決定部11により決定されたスキャン順をエントロピー符号化する。
【0086】
図8に、本実施形態に係る符号化処理順決定部11の機能ブロック構成の一例を示す。図8に示すように、本実施形態に係る符号化処理順決定部11は、隣接ブロック検出部11aと、処理順候補生成部11bと、処理順決定部11cとを具備している。
【0087】
隣接ブロック検出部11aは、符号化対象CUの上下左右に位置するブロックが符号化済みであるか否かを検出し、その検出結果に基づいてavailable_blockフラグを処理順候補生成部11bに出力する。図9に、本実施形態に係る隣接ブロック検出部11aの動作の一例を示す。図9において、符号化対象CUにおいて、符号化済み隣接ブロックに対応する位置を太線で表示している。
【0088】
図9に示すように、隣接ブロック検出部11aは、符号化対象CUの左側及び上側のみが符号化済みである場合(従来のHEVCと同様)には、available_blockフラグを0として出力する。隣接ブロック検出部11aは、当該CUの左側のみが符号化済みである場合には、available_blockフラグを1として出力する。隣接ブロック検出部11aは、当該CUの上側のみが符号化済みである場合には、available_blockフラグを2として出力する。隣接ブロック検出部11aは、当該CUの上側、左側及び下側のみが符号化済みである場合には、available_blockフラグを3として出力する。隣接ブロック検出部11aは、当該CUの上側、左側及び右側のみが符号化済みである場合には、available_blockフラグを4として出力する。隣接ブロック検出部11aは、当該CUの左側及び下側のみが符号化済みである場合には、available_blockフラグを5として出力する。隣接ブロック検出部11aは、当該CUの上側及び右側のみが符号化済みである場合には、available_blockフラグを6として出力する。
【0089】
処理順候補生成部11bは、隣接ブロック検出部11aにより出力されたavailable_blockフラグに基づいて、当該符号化対象CUをさらに四分木分割した際に選択可能なスキャン順の候補である処理順候補を生成する。
【0090】
具体的には、表1に示すように、処理順候補生成部11bは、隣接ブロック検出部11aが出力したavailable_blockフラグが0である場合にはZスキャン及び逆Zスキャン及びNスキャンを処理順候補として処理順決定部11cに出力する。処理順候補生成部11bは、available_blockフラグが1である場合には、Zスキャン及び逆Zスキャンを処理順候補として処理順決定部11cに出力する。処理順候補生成部11bは、available_blockフラグが2である場合には、Zスキャン及びNスキャンを処理順候補として処理順決定部11cに出力する。処理順候補生成部11bは、available_blockフラグが3である場合には、Zスキャン及び逆Zスキャンを処理順候補として処理順決定部11cに出力する。処理順候補生成部11bは、available_blockフラグが4である場合には、Zスキャン及びNスキャンを処理順候補として処理順決定部11cに出力する。処理順候補生成部11bは、available_blockフラグが5である場合には、Zスキャン及び逆Zスキャンを処理順候補として処理順決定部11cに出力する。処理順候補生成部11bは、available_blockフラグが6である場合にはZスキャン及びNスキャンを処理順候補として処理順決定部11cに出力する。
【0091】
【表1】
【0092】
ただし、available_blockフラグにより選択可能な処理順は、符号化装置1及び復号装置3で予め規定していれば、表1に示した例に限らない。
【0093】
処理順決定部11cは、処理順候補生成部11bにより生成された処理順候補の中から、どのスキャン順を適用するかを決定する。
【0094】
さらに、本実施形態に係る符号化処理順符号化部151は、処理順候補生成部11bの出力した処理順候補に基づいて、符号化処理順決定部11(処理順決定部11c)の決定したスキャン順をエントロピー符号化する。
【0095】
具体的には、符号化処理順符号化部151は、処理順候補生成部11bが出力した処理順候補が3種類であった場合には、まずZスキャン順であるか否かを示すフラグZscan_flagをエントロピー符号化する。符号化処理順符号化部151は、分割した符号化対象CU(子CU)のスキャン順がZスキャン順である場合には、Zscan_flagを1としてエントロピー符号化し、処理を終了する。一方、符号化処理順符号化部151は、分割した符号化対象CUのスキャン順がZスキャン順でない場合にはZscan_flagが0としてエントロピー符号化し、逆ZスキャンとNスキャンのどのスキャン順を適用するかを示すscan_mode_flagフラグをさらにエントロピー符号化する。
【0096】
一方、処理順候補生成部11bが出力した処理順候補が2種類であった場合には、符号化処理順符号化部151は、Zスキャン順であるか否かを示すZscan_flagのみをエントロピー符号化する。分割した符号化対象CUのスキャン順がZスキャン順である場合には、符号化処理順符号化部151は、Zcan_flagを1としてエントロピー符号化し処理を終了する。一方、符号化処理順符号化部151は、分割した符号化対象CUのスキャン順がZスキャン順でない場合にも適用するスキャン順は一意に決定できるため、符号化処理順符号化部151は、scan_mode_flagをエントロピー符号化することなく処理を終了する。
【0097】
図10に、本実施形態に係る復号装置3における復号処理順取得部311の機能ブロック構成の一例を示す。復号処理順取得部311は、符号化装置1から出力されたストリームに対してエントロピー復号処理を施すことによって、各CUに対するスキャン順を示すフラグ情報を取得する。
【0098】
具体的には、図10に示すように、復号処理順取得部311は、隣接ブロック検出部311aと、処理順候補生成部311bと、処理順決定部311cとを具備している。
【0099】
隣接ブロック検出部311aは、復号対象CUの上下左右に位置するブロックが復号済みであるか否かを検出し、その検出結果に基づいてavailable_blockフラグを処理順候補生成部311bに出力する(図9参照)。
【0100】
処理順候補生成部311bは、隣接ブロック検出部311aにより出力されたavailable_blockフラグに基づいて、分割された復号対象CU(子CU)に対して選択可能なスキャン順の候補である処理順候補を生成する(表1参照)。
【0101】
処理順決定部311cは、処理順候補生成部311bにより生成された処理順候補と、符号化装置1から伝送されたフラグ情報とに基づいて、当該処理順候補の中からどのスキャン順を適用するかを決定する。
【0102】
具体的には、処理順決定部311cは、処理順候補生成部311bが出力した処理順候補が3種類であった場合には、まずZスキャン順であるか否かを示すフラグZscan_flagを復号する。処理順決定部311cは、Zscan_flagが1である場合には、分割された復号対象CU(子CU)のスキャン順がZスキャン順であると決定する。一方、処理順決定部311cは、Zscan_flagが0である場合には、逆ZスキャンとNスキャンのどのスキャン順を適用するかを示すscan_mode_flagフラグをさらに復号する。
【0103】
一方、処理順候補生成部311bが出力した処理順候補が2種類であった場合には、処理順決定部311cは、Zスキャン順であるか否かを示すZscan_flagのみを復号する。Zcan_flagが1である場合には、処理順決定部311cは、分割された復号対象CU(子CU)のスキャン順がZスキャン順であると決定する。一方、処理順決定部311cは、Zscan_flagが0である場合には、適用するスキャン順は一意に決定できるため、処理順決定部311cは、scan_mode_flagを復号することなく処理を終了する。
【0104】
本実施形態に係る符号化装置1及び復号装置3によれば、符号化装置1によって周囲のブロックが符号化済みであるか否かの情報に基づいてスキャン順を制御することにより、イントラ予測効率を向上させることができる。また、伝送するスキャン順の情報量及びイントラ予測モードの情報量を低減することができる。このため、符号化効率を向上させることができる。
【0105】
(第2の実施形態の変更例)
以下、表2を参照して、本発明の第2の実施形態の変更例に係る符号化装置1及び復号装置3について、上述の第1の実施形態に係る符号化装置1及び復号装置3との相違点に着目して説明する。
【0106】
本変更例に係る符号化装置1は、動画像を構成するフレーム単位の原画像を階層的な二分木分割によりCUに分割して符号化する。
【0107】
上述の第2の実施形態では、四分木分割によって分割されているCUに対するスキャン順の決定、イントラ予測モード候補の生成、イントラ予測モード及びスキャン順に対するエントロピー符号化処理について記載したが、本変更例では、CUに対して二分木分割を適用した場合について記載する。
【0108】
CUに対して二分木分割を適用する場合には、縦長の2つのCUに分割する場合と、横長の2つのCUに分割する場合の2種類の分割方法からさらに選択可能である。
【0109】
さらに、縦長の2つのCUに分割する場合には、図7(a)に示すCU#1(左側のCU)→CU#2(右側のCU)の左右順スキャンと、図7(b)に示すCU#2(右側のCU)→CU#1(左側のCU)の左右逆スキャンの2種類のスキャン順が選択可能である。
【0110】
一方、横長の2つのCUに分割する場合には、図7(c)に示すCU#1(上側のCU)→CU#2(下側のCU)の上下順スキャンと、図7(d)に示すCU#2(下側のCU)→CU#1(上側のCU)の上下逆スキャンの2種類のスキャン順が選択可能である。
【0111】
本変更例において、図8に示す隣接ブロック検出部11aは、符号化対象CUの上下左右に隣接するブロックが符号化済みであるか否かを検出し、その検出結果に基づいてavailable_blockフラグを処理順候補生成部11bに出力する(図9参照)。
【0112】
処理順候補生成部11bは、隣接ブロック検出部11aにより出力されたavailable_blockフラグに基づいて、表2に示すように処理順候補を生成し、生成した処理順候補を処理順決定部11cに出力する。ただし、available_blockフラグにより選択可能な処理順は符号化装置1及び復号装置3で予め規定していれば、表2に示した例に限らない。
【0113】
【表2】
【0114】
具体的には、処理順候補生成部11bは、符号化対象CUが縦長の2つのCUに二分木分割される場合において、次のようにして処理順候補を生成する。処理順候補生成部11bは、available_blockフラグが0、2、4、6のいずれかである場合には、左右順スキャン及び逆左右順スキャンを処理順候補として生成し、available_blockフラグが1、3、5のいずれかである場合には、左右順スキャンのみを処理順候補として生成する。
【0115】
一方、処理順候補生成部11bは、符号化対象CUが横長の2つのCUに二分木分割される場合において、次のようにして処理順候補を生成する。処理順候補生成部11bは、available_blockフラグが0、2、4、6のいずれかである場合には、上下順スキャン及び上下逆順スキャンを処理順候補として生成し、available_blockフラグが1、3、5のいずれかである場合には、上下順スキャンのみを処理順候補として生成する。
【0116】
処理順決定部11cは、処理順候補生成部11bにより生成された処理順候補の中から、どのスキャン順を適用するかを決定し、決定したスキャン順を符号化処理順符号化部151に出力する。
【0117】
符号化処理順符号化部151は、処理順候補生成部11bの出力した処理順候補に基づいて、符号化処理順決定部11(処理順決定部11c)の決定したスキャン順をエントロピー符号化する。
【0118】
具体的には、処理順候補生成部11bが出力した処理順候補が2種類であった場合には、符号化処理順符号化部151は、順スキャンであるか否かを示すフラグscan_flagをエントロピー符号化する。分割した符号化対象CUの符号化処理順が順スキャンである場合には、符号化処理順符号化部151は、scan_flagを1としてエントロピー符号化し処理を終了する。一方、分割した符号化対象CUの符号化処理順が順スキャンでない場合には(逆順スキャンである場合には)、符号化処理順符号化部151は、scan_flagを0としてエントロピー符号化し処理を終了する。
【0119】
一方、処理順候補生成部11bが出力した処理順候補が1種類であった場合には、適用するスキャン順を示すフラグを伝送する必要がないため、符号化処理順符号化部151は、scan_flagをエントロピー符号化することなく処理を終了する。
【0120】
本変更例に係る復号装置3において、図10に示す隣接ブロック検出部311aは、復号対象CUの上下左右に位置するブロックが復号済みであるか否かを検出し、その検出結果に基づいてavailable_blockフラグを処理順候補生成部311bに出力する(図9参照)。
【0121】
処理順候補生成部311bは、隣接ブロック検出部311aにより出力されたavailable_blockフラグに基づいて、分割された復号対象CU(子CU)に対して選択可能なスキャン順の候補である処理順候補を生成する(表2参照)。
【0122】
処理順決定部311cは、処理順候補生成部311bにより生成された処理順候補と、符号化装置1から伝送されたフラグ情報とに基づいて、処理順候補の中からどのスキャン順を適用するかを決定する。
【0123】
具体的には、処理順候補生成部311bが出力した処理順候補が2種類であった場合、処理順決定部311cは、順スキャンであるか否かを示すフラグscan_flagを復号する。処理順決定部311cは、scan_flagが1である場合には、分割された復号対象CU(子CU)のスキャン順が順スキャンであると決定し、scan_flagが0である場合には、分割された復号対象CU(子CU)のスキャン順が逆順スキャンであると決定する。
【0124】
一方、処理順候補生成部311bが出力した処理順候補が1種類であった場合には、処理順決定部311cは、scan_flagを復号することなく処理を終了する。
【0125】
本変更例に係る符号化装置1及び復号装置3によれば、符号化装置1によって、周囲のブロックが符号化済みであるか否かの情報に基づいてスキャン順を制御することにより、イントラ予測効率を向上させることができ、また、伝送するスキャン順の情報量及びイントラ予測モードの情報量を低減することができ、符号化効率を向上させることができる。
【0126】
(第3の実施形態)
以下、図11乃至図13、表3を参照して、本発明の第3の実施形態に係る符号化装置1及び復号装置3について、上述の第3の実施形態に係る符号化装置1及び復号装置3との相違点に着目して説明する。
【0127】
本実施形態に係る符号化装置1は、動画像を構成するフレーム単位の原画像を階層的な四分木分割によりCUに分割して符号化する。
【0128】
上述の第2の実施形態では、処理順候補生成部11bが、四分木分割されたCUについて、上下左右に隣接するブロックが符号化済みであるか否かに応じて、Zスキャン、逆Zスキャン、及びNスキャンの3種類のスキャン順のうち、どのスキャン順を選択可能かを表す処理順候補を生成し、処理順決定部11cが、生成された処理順候補のうち、どのスキャン順を適用するかを決定し、イントラ予測モード候補生成部12が、決定されたスキャン順に基づいて、分割された各CU(子CU)に適用可能なイントラ予測モード候補を決定していた。
【0129】
一方、本実施形態に係る符号化装置1は、四分木分割された各CUについて、上下左右に隣接する各ブロックが符号化済みであるか否かの情報と、適用されるスキャン順とに基づいて、分割された各CUに適用可能なイントラ予測モードの候補を決定する。
【0130】
具体的には、本実施形態に係る符号化装置1において、イントラ予測モード候補生成部12は、図11に示すように、隣接ブロック検出部12aと、子CUイントラモード候補生成部12bとを具備している。
【0131】
隣接ブロック検出部12aは、上述の第2の実施形態の隣接ブロック検出部11aと同様の処理を行う。ただし、第2の実施形態における隣接ブロック検出部11aは、符号化対象CUの上下左右に位置するブロックが符号化済みであるか否かを示すavailable_blockフラグを出力するのに対し、本実施形態における隣接ブロック検出部12aは、当該CUがさらに四分木分割された各CU(子CU)に対して隣接ブロックが符号化済みであるか否かを示すavailable_blockフラグを出力する。
【0132】
子CUイントラモード候補生成部12bは、当該符号化対象CUがさらに四分木分割される場合に、分割された各子CUが選択可能なイントラ予測モード候補を、適用するスキャン順及び隣接ブロック検出部12aから入力されたavaialble_blockフラグに基づいて生成する。
【0133】
ここで、子CUイントラモード候補生成部12bの動作について、図4図12及び表3を用いて説明する。
【0134】
HEVCでは、図4に示すようにイントラ予測の方向予測として左下方向から右上方向をモード2からモード34までの計33モードに割り当てる。第1の実施形態では、かかる計33モードをカテゴリA、B、Cの計3つのカテゴリに分類し、符号化処理順決定部11により決定されたスキャン順に応じて、A、B、Cのうち少なくとも1カテゴリ以上に対応するイントラ予測モード、及びDCモード及びPlanarモードを、適用可能なイントラ予測モード候補として生成する。
【0135】
一方、本実施形態に係る子CUイントラモード候補生成部12bは、Aカテゴリ、Bカテゴリ、Cカテゴリに加えて、図12(a)に示すような左上方向から右下方向までを時計回りに計33モードに割り当てるFlipLRカテゴリ、及び図12(b)に示すような左上から右下方向までを半時計回りに計33モード割り当てるFlipUDカテゴリのうち、少なくとも1カテゴリ以上に対応するイントラ予測モード、及びDCモード及びPlanarモードを、適用可能なイントラ予測モード候補として生成する。
【0136】
なお、FlipLRカテゴリ及びFlipUDカテゴリでは、HEVCで適用可能な予測方向とモード数は同一であるが、予測方向は異なっている。予測する方向を表すイントラ予測モードは符号化装置1及び復号装置3で予め規定していればどのように割り当てても良い。
【0137】
具体的には、子CUイントラモード候補生成部12bは、当該符号化対象CUがさらに四分木分割される場合に、分割された各子CUが選択可能なイントラ予測モード候補を、隣接ブロック検出部12aから入力された子CUのavaialble_blockフラグ及び符号化処理順決定部11が決定した当該CUのスキャン順に基づいて、予め規定するカテゴリに対応するイントラ予測モード群及びDCモード及びPlanarモードをイントラ予測モード候補として生成する。
【0138】
表3に示すように、当該CUを四分木分割した場合は、子CUイントラモード候補生成部12bは、分割された子CUのスキャン順及び、分割された子CUそれぞれの上下左右に隣接するブロックが復号済みであるか否かに応じて、各子CUに対して適用可能なイントラ予測モード候補を生成する。
【0139】
【表3】
【0140】
例えば、表3内において、適用可能なイントラ予測モード候補のカテゴリ記載に「B、C」と記載されている場合には、カテゴリB及びカテゴリCに含まれるイントラ予測モード、DCモード、Planarモードによりイントラ予測モード候補が構成される。また、「FlipLR」と記載されている場合には、左上方向から右下方向までを時計回りに計33モードに割り当てる予測方向のイントラ予測モード、DCモード、Planarモードによりイントラ予測モード候補が構成される。
【0141】
なお、表3内の「-」の記載のような状態のCUは存在しないことを示している。例えば、当該CUを四分木分割する場合であって、分割された子CUを逆Zスキャン順に符号化処理する場合には、分割された子CUのうち、下側に位置する2つの子CUは上側に隣接するブロックは必ず符号化済みでないため、available_blockフラグが0となる可能性はない。また、上側に位置する2つの子CUは下側に隣接するブロックが必ず符号化済みであるためavalable_blockフラグが0となる可能性はない。
【0142】
また、本実施形態に係る復号装置3において、イントラ予測モード候補生成部32は、符号化装置1のイントラ予測モード候補生成部12と同様に構成される。具体的には、イントラ予測モード候補生成部32は、図13に示すように、隣接ブロック検出部32aと、子CUイントラモード候補生成部32bとを具備している。
【0143】
隣接ブロック検出部32aは、復号対象CUがさらに四分木分割された各CU(子CU)に対して隣接ブロックが復号済みであるか否かを示すavailable_blockフラグを出力する。
【0144】
子CUイントラモード候補生成部32bは、当該復号対象CUがさらに四分木分割される場合に、分割された各子CUが選択可能なイントラ予測モード候補を、適用するスキャン順及び隣接ブロック検出部32aから入力されたavaialble_blockフラグに基づいて生成する(表3参照)。
【0145】
本実施形態に係る符号化装置1及び復号装置3によれば、符号化装置1によって周囲のブロックが符号化済みであるか否かの情報に基づいてスキャン順及び適用可能なイントラ予測モード候補を制御することにより、イントラ予測効率を向上させることができ、また、伝送するスキャン順の情報量及びイントラ予測モードの情報量を低減することができ、符号化効率を向上させることができる。
【0146】
(第3の実施形態の変更例)
以下、表4を参照して、本発明の第3の実施形態の変更例に係る符号化装置1及び復号装置3について、上述の第3の実施形態に係る符号化装置1及び復号装置3との相違点に着目して説明する。
【0147】
本変更例に係る符号化装置1は、動画像を構成するフレーム単位の原画像を階層的な二分木分割によりCUに分割して符号化する。
【0148】
上述の第3の実施形態では、四分木分割によって分割されているCUに対するスキャン順の決定、イントラ予測モード候補の生成、イントラ予測モード及びスキャン順に対するエントロピー符号化処理について記載したが、本変更例では、CUに対して二分木分割を適用した場合について記載する。
【0149】
CUに対して二分木分割を適用する場合には、縦長の2つのCUに分割する場合と、横長の2つのCUに分割する場合の2種類の分割方法からさらに選択可能である。
【0150】
さらに、縦長の2つのCUに分割する場合には、図7(a)に示すCU#1(左側のCU)→CU#2(右側のCU)の左右順スキャンと、図7(b)に示すCU#2(右側のCU)→CU#1(左側のCU)の左右逆スキャンの2種類のスキャン順が選択可能である。
【0151】
一方、横長の2つのCUに分割する場合には、図7(c)に示すCU#1(上側のCU)→CU#2(下側のCU)の上下順スキャンと、図7(d)に示すCU#2(下側のCU)→CU#1(上側のCU)の上下逆スキャンの2種類のスキャン順が選択可能である。
【0152】
本変更例において、図10に示す隣接ブロック検出部12aは、符号化対象CUがさらに二分木分割された各CU(子CU)に対して隣接ブロックが符号化済みであるか否かを示すavailable_blockフラグを出力する。
【0153】
子CUイントラモード候補生成部12bは、当該符号化対象CUがさらに二分木分割される場合に、分割された各子CUが選択可能なイントラ予測モード候補を、適用するスキャン順及び隣接ブロック検出部12aから入力されたavaialble_blockフラグに基づいて生成する。
【0154】
表4に示すように、当該CUを二分木分割した場合は、子CUイントラモード候補生成部12bは、分割された子CUのスキャン順及び、分割された子CUそれぞれの上下左右に隣接するブロックが復号済みであるか否かに応じて、各子CUに対して適用可能なイントラ予測モード候補を生成する。
【0155】
【表4】
【0156】
例えば、表4内において、適用可能なイントラ予測モード候補のカテゴリ記載に「B、C」と記載されている場合には、カテゴリB及びカテゴリCに含まれるイントラ予測モード、及びDCモード、Planarモードによりイントラ予測モード候補が構成される。また、「FlipLR」と記載されている場合には、左上方向から右下方向までを時計回りに計33モードに割り当てる予測方向のイントラ予測モード、及びDCモード、Planarモードによりイントラ予測モード候補は構成される。
【0157】
なお、表Y内の「-」の記載のような状態のCUは存在しないことを示している。例えば、当該CUを2つの横長CUに二分木分割する場合に、分割された子CUを上下逆順スキャン順に符号化処理する場合には、分割された子CUのうち、下側に位置する子CUは上側に隣接するブロックは必ず符号化済みでないため、available_blockフラグが0となる可能性はなく、また、上側に位置する子CUは下側に隣接するブロックが必ず符号化済みであるためavalable_blockフラグが0となる可能性はない。
【0158】
また、本変更例に係る復号装置3において、図13に示す隣接ブロック検出部32aは、復号対象CUがさらに二分木分割された各CU(子CU)に対して隣接ブロックが復号済みであるか否かを示すavailable_blockフラグを出力する。
【0159】
子CUイントラモード候補生成部32bは、当該復号対象CUがさらに二分木分割される場合に、分割された各子CUが選択可能なイントラ予測モード候補を、適用するスキャン順及び隣接ブロック検出部32aから入力されたavaialble_blockフラグに基づいて生成する(表4参照)。
【0160】
本変更例に係る符号化装置1及び復号装置3によれば、符号化装置1によって周囲のブロックが符号化済みであるか否かの情報に基づいてスキャン順及び適用可能なイントラ予測モード候補を制御することにより、イントラ予測効率を向上させることができ、また、伝送するスキャン順の情報量及びイントラ予測モードの情報量を低減することができ、符号化効率を向上させることができる。
【0161】
(その他の実施形態)
上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【0162】
また、上述の実施形態では特に触れていないが、上述の符号化装置1及び復号装置3によって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールすることが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
【0163】
或いは、上述の符号化装置1及び復号装置3内の少なくとも一部の機能を実現するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
【0164】
本願は、日本国特許第2018-154249号(2018年8月20日出願)の優先権を主張し、その内容の全てが本願明細書に組み込まれている。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14