IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧

<>
  • 特許-符号化装置、復号装置及びプログラム 図1
  • 特許-符号化装置、復号装置及びプログラム 図2
  • 特許-符号化装置、復号装置及びプログラム 図3
  • 特許-符号化装置、復号装置及びプログラム 図4
  • 特許-符号化装置、復号装置及びプログラム 図5
  • 特許-符号化装置、復号装置及びプログラム 図6
  • 特許-符号化装置、復号装置及びプログラム 図7
  • 特許-符号化装置、復号装置及びプログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-12
(45)【発行日】2022-08-22
(54)【発明の名称】符号化装置、復号装置及びプログラム
(51)【国際特許分類】
   H04N 19/105 20140101AFI20220815BHJP
   H04N 19/157 20140101ALI20220815BHJP
   H04N 19/176 20140101ALI20220815BHJP
   H04N 19/186 20140101ALI20220815BHJP
   H04N 19/593 20140101ALI20220815BHJP
【FI】
H04N19/105
H04N19/157
H04N19/176
H04N19/186
H04N19/593
【請求項の数】 6
(21)【出願番号】P 2018036906
(22)【出願日】2018-03-01
(65)【公開番号】P2018152850
(43)【公開日】2018-09-27
【審査請求日】2021-02-02
(31)【優先権主張番号】P 2017046717
(32)【優先日】2017-03-10
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001106
【氏名又は名称】キュリーズ特許業務法人
(72)【発明者】
【氏名】岩村 俊輔
(72)【発明者】
【氏名】市ヶ谷 敦郎
【審査官】坂東 大五郎
(56)【参考文献】
【文献】特開2016-072903(JP,A)
【文献】国際公開第2016/074147(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00-19/98
(57)【特許請求の範囲】
【請求項1】
動画像を構成するフレーム単位の原画像を、輝度信号と色差信号とで別々にブロックに分割して符号化することができるように構成されている符号化装置であって、
前記色差信号の符号化対象ブロックに適用するイントラ予測モードに応じて、前記色差信号の符号化対象ブロックの参照画素に対する補正を行うか否かについて決定するように構成されている決定部と、
前記色差信号の符号化対象ブロックに隣接する復号済みの色差信号と、前記復号済みの色差信号に対応する位置の復号済みの輝度信号とを用いて、予測パラメータを導出するように構成されている導出部と、
補正部と、を具備し、
前記決定部は、前記イントラ予測モードによって前記参照画素とするように指定されている画素のうち、復号済みではない画素を対象画素として特定し、前記対象画素に対する前記補正を行うと決定し、
前記補正部は、前記予測パラメータと、前記対象画素に対応する位置の前記復号済みの輝度信号とを用いて、前記対象画素を補正することを特徴とする符号化装置。
【請求項2】
前記復号済みの色差信号は、前記色差信号の符号化対象ブロックの上側及び左側に隣接していることを特徴とする請求項1に記載の符号化装置。
【請求項3】
動画像を構成するフレーム単位の原画像を、輝度信号と色差信号とで別々にブロックに分割して復号することができるように構成されている復号装置であって、
前記色差信号の復号対象ブロックに適用するイントラ予測モードに応じて、前記色差信号の復号対象ブロックの参照画素に対する補正を行うか否かについて決定するように構成されている決定部と、
前記色差信号の復号対象ブロックに隣接する復号済みの色差信号と、前記復号済みの色差信号に対応する位置の復号済みの輝度信号とを用いて、予測パラメータを導出するように構成されている導出部と、
補正部と、を具備し、
前記決定部は、前記イントラ予測モードによって前記参照画素とするように指定されている画素のうち、復号済みではない画素を対象画素として特定し、前記対象画素に対する前記補正を行うと決定し、
前記補正部は、前記予測パラメータと、前記対象画素に対応する位置の前記復号済みの輝度信号とを用いて、前記対象画素を補正することを特徴とする復号装置。
【請求項4】
前記復号済みの色差信号は、前記色差信号の復号対象ブロックの上側及び左側に隣接していることを特徴とする請求項3に記載の復号装置。
【請求項5】
コンピュータを、請求項1又は2に記載の符号化装置として機能させるためのプログラム。
【請求項6】
コンピュータを、請求項3又は4に記載の復号装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、符号化装置、復号装置及びプログラムに関する。
【背景技術】
【0002】
H.265/HEVC(High Efficiency Video Coding)に代表される動画像(映像)符号化方式では、画面全体を大きいブロック(符号化ツリーユニット:Coding Tree Unit/CTU)に分割した後、それらをさらに細かい符号化モードを制御するために符号化対象ブロック(符号化ユニット:Coding Unit/CU)に分割するよう構成されている。
【0003】
HEVCでは、各符号化対象ブロックに対して、フレーム間の時間的相関を利用したインター予測及びフレーム内の空間的相関を利用したイントラ予測の2種類の予測を切り替えながら予測を行って残差信号を生成した後、直交変換処理やループフィルタ処理やエントロピー符号化処理を行い得られたストリームを出力するように構成されている。
【0004】
また、HEVCにおいては、カラー画像を構成する輝度信号(Luma)及び色差信号(Chroma:Cb及びCr)でブロックの分割形状を独立に制御されていなかったが、非特許文献1に示す技術では、ブロックの分割形状をより柔軟にするため、イントラフレームにおいては、輝度信号のブロックの分割形状と色差信号のブロックの分割形状とを独立に制御することを可能としている。
【0005】
HEVCにおけるイントラ予測においては、符号化対象ブロックの上側や左側に隣接する復号済み画素を参照画素として、Planar予測やDC予測や方向予測等により符号化対象ブロックを予測するように構成されている。
【先行技術文献】
【非特許文献】
【0006】
【文献】「Algorithm Description of Joint Exploration Test Model 5(JEM5)(JVET-E1001-v2)」、Joint Video Exploration Team(JVET) of ITU-T SG 16 WP3 and ISO/IEC JTC 1/SC 29/WG11
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、既存のHEVCでは、イントラ予測に用いる参照画素が、画像端やスライス境界の外であったり、符号化済みでなかったりする場合には、参照画素として利用不可能であるため、図7に示すように、それらの参照画素の値(例えば、図7における領域R1における参照画素)は、隣接する利用可能な参照画素の値(例えば、図7における領域R2における参照画素)がコピーされるよう構成されている。
【0008】
このように、イントラ予測に用いる参照画素が利用不可能であり、近接する別の画素のコピーにより参照画素が構成される場合に、予測効率が低下してしまうという問題点がある。
【0009】
特に、非特許文献1では、輝度信号のブロックの分割形状と色差信号のブロックの分割形状とで独立して制御可能であることから、色差信号のブロックに隣接する画素が参照画素として利用不可能であっても、かかる色差信号のブロックの参照画素に対応する位置の輝度信号の画素が復号済みであり参照可能である場合があり、お互いに対応する位置に存在する色差信号の画素と輝度信号の画素との間には相関があるにも拘らず、非特許文献1では、この点が考慮されていない。
【0010】
具体的には、非特許文献1では、図8(b)に示すように、色差信号のブロックC2に隣接するブロックC3内に含まれる画素P1は、復号済みでないため、参照画素として利用可能ではないが、図8(a)に示すように、かかる画素P1の位置に対応する位置の輝度信号の画素P2が復号済みであり参照可能であるケースであっても、隣接する利用可能な参照画素の値(例えば、図7における領域R2における参照画素)がコピーされるよう構成されているため、やはり予測効率が低下してしまうという問題点がある。
【0011】
そこで、本発明は、上述した課題を解決するためになされたものであり、色差信号の参照画素が利用不可能な場合であっても、予測効率の低下を最小限に防ぐことを可能とする符号化装置、復号装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明の第1の特徴は、動画像を構成するフレーム単位の原画像を、輝度信号と色差信号とで別々にブロックに分割して符号化することができるように構成されている符号化装置であって、前記色差信号の符号化対象ブロックに適用するイントラ予測モードに応じて、前記色差信号の符号化対象ブロックの参照画素に対する補正を行うか否かについて決定するように構成されている決定部と、前記色差信号の符号化対象ブロックに隣接する復号済みの色差信号と、前記復号済みの色差信号に対応する位置の復号済みの輝度信号とを用いて、予測パラメータを導出するように構成されている導出部と、前記予測パラメータと、前記参照画素に対応する位置の前記復号済みの輝度信号とを用いて、前記参照画素を補正するように構成されている補正部とを具備することを要旨とする。
【0013】
本発明の第2の特徴は、動画像を構成するフレーム単位の原画像を、輝度信号と色差信号とで別々にブロックに分割して復号することができるように構成されている復号装置であって、前記色差信号の復号対象ブロックに適用するイントラ予測モードに応じて、前記色差信号の復号対象ブロックの参照画素に対する補正を行うか否かについて決定するように構成されている決定部と、前記色差信号の復号対象ブロックに隣接する復号済みの色差信号と、前記復号済みの色差信号に対応する位置の復号済みの輝度信号とを用いて、予測パラメータを導出するように構成されている導出部と、前記予測パラメータと、前記参照画素に対応する位置の前記復号済みの輝度信号とを用いて、前記参照画素を補正するように構成されている補正部とを具備することを要旨とする。
【0014】
本発明の第3の特徴は、コンピュータを、上述の第1の特徴に記載の符号化装置として機能させるためのプログラムであることを要旨とする。
【0015】
本発明の第4の特徴は、コンピュータを、上述の第2の特徴に記載の復号装置として機能させるためのプログラムであることを要旨とする。
【発明の効果】
【0016】
本発明によれば、色差信号の参照画素が利用不可能な場合であっても、予測効率の低下を最小限に防ぐことを可能とする符号化装置、復号装置及びプログラムを提供することができる。
【図面の簡単な説明】
【0017】
図1図1は、第1の実施形態に係る符号化装置1の機能ブロックの一例を示す図である。
図2図2は、第1の実施形態に係る符号化装置1の分割形状決定部12によって決定される輝度信号及び色差信号のブロックの分割形状の一例を示す図である。
図3図3は、第1の実施形態に係る符号化装置1の予測部13aの機能ブロックの一例を示す図である。
図4図4は、第1の実施形態に係る符号化装置1の予測部13aによる参照画素の補正方法の一例を説明するための図である。
図5図5は、第1の実施形態に係る符号化装置1の予測部13aによる参照画素の補正方法の一例を説明するための図である。
図6図6は、第1の実施形態に係る復号装置3の機能ブロックの一例を示す図である。
図7図7は、従来技術を説明するための図である。
図8図8は、従来技術を説明するための図である。
【発明を実施するための形態】
【0018】
(第1の実施形態)
以下、図1図6を参照して、本発明の第1の実施形態に係る符号化装置1及び復号装置3について説明する。
【0019】
ここで、本実施形態に係る符号化装置1及び復号装置3は、HEVC等の動画像符号化方式におけるイントラ予測に対応するように構成されている。なお、本実施形態に係る符号化装置1及び復号装置3は、イントラ予測を行う動画像符号化方式であれば、任意の動画像符号化方式に対応することができるように構成されている。
【0020】
本実施形態に係る符号化装置1は、動画像を構成するフレーム単位の原画像を、輝度信号と色差信号とで別々にブロックに分割して符号化することができるように構成されている。以下、本実施形態では、符号化対象ブロックとしてCUを用いるケースを例に挙げて説明するが、符号化対象ブロックとしてTU(Transform Unit)等の他のブロックを用いるケースにも適用可能である。
【0021】
図1に示すように、本実施形態に係る符号化装置1は、予測モード決定部11と、分割形状決定部12と、復号画像生成部13と、メモリ14と、エントロピー符号化部15とを具備している。
【0022】
予測モード決定部11は、符号化対象CU(符号化対象ブロック)に適用する最適な予測モードを決定するように構成されている。
【0023】
分割形状決定部12は、輝度信号の分割形状(すなわち、輝度信号のCUの分割形状)及び色差信号の分割形状(すなわち、色差信号のCUの分割形状)を決定するように構成されている。
【0024】
ここで、分割形状決定部12は、CTUごとに、二分木分割及び四分木分割等を適用して、輝度信号の分割形状及び色差信号の分割形状を決定するように構成されている。
【0025】
なお、分割形状決定部12は、符号化対象の輝度信号及び色差信号のCUに対して、最初に階層的な四分木分割を適用し、その後階層的な二分木分割を適用するように構成されていてもよい。図2(a)に、輝度信号の分割形状の一例を示し、図2(b)に、色差信号の分割形状の一例を示す。
【0026】
復号画像生成部13は、分割形状決定部12によって決定された輝度信号の分割形状及び色差信号の分割形状に基づいて局部復号画像(CUごとの復号画像)を生成するように構成されている。
【0027】
図1に示すように、復号画像生成部13は、予測部13aと、残差信号生成部13bと、変換・量子化部13cと、逆量子化・逆変換部13dと、局部復号画像生成部13eとを具備している。
【0028】
予測部13aは、予測モード決定部11により決定された予測モードと、分割形状決定部12によって決定された輝度信号の分割形状及び色差信号の分割形状とを用いて、CUごとの予測画像を生成するように構成されている。
【0029】
具体的には、図3に示すように、予測部13aは、決定部13a1と、導出部13a2と、補正部13a3と、生成部13a4とを具備している。
【0030】
決定部13a1は、色差信号の符号化対象CUに適用するイントラ予測モードに応じて、かかる色差信号の符号化対象CUの参照画素に対する補正を行うか否かについて決定するように構成されている。
【0031】
ここで、本実施形態に係る符号化装置1では、各CTUにおいて、輝度信号の符号化処理を全て行った後に、色差信号の符号化処理を行うように構成されている。すなわち、本実施形態に係る符号化装置1は、図2(a)及び図2(b)の例では、Y1→Y2→Y3→Y4→Y5→Y6→C1→C2→C3の順に符号化処理を行うように構成されている。
【0032】
したがって、具体的には、決定部13a1は、色差信号の符号化対象CUの参照画素、すなわち、DM予測が適用されている場合のイントラ予測モードによって参照画素とするように指定されている色差信号の符号化対象CU(例えば、図2(b)におけるC2)に隣接するCU(例えば、図2(b)におけるC3)内の画素が、復号済みではないため、そのままでは参照画素として利用可能ではない場合であっても、かかる画素の位置に対応する位置の輝度信号の画素が、復号済みであり参照画素として利用可能である場合には、かかる色差信号の符号化対象CUの参照画素(すなわち、方向予測が適用されている場合のイントラ予測モードによって参照画素とするように指定されている色差信号の符号化対象CUに隣接するCU内の画素)に対する補正を行うと決定するように構成されている。
【0033】
一般的には、色差信号の符号化対象CUの上側及び左側に隣接する画素は、復号済みの画素であるため、参照画素として利用可能であるが、色差信号の符号化対象CUの右側及び下側に隣接する画素は、復号済みの画素ではないため、そのままでは参照画素として利用可能ではない。
【0034】
したがって、決定部13a1は、色差信号の符号化対象CUにおけるイントラ予測モードとしてDM予測が適用されており(より具体的には、かかるイントラ予測モードが51~66であり)、色差信号の符号化対象CUの右側(或いは、下側)に隣接するCU内の画素を参照画素とするように指定されている場合で、且つ、かかる画素の位置に対応する位置の輝度信号の画素が復号済みであり参照画素として利用可能である場合には、かかる色差信号の符号化対象CUの参照画素に対する補正を行うと決定するように構成されていてもよい。
【0035】
導出部13a2は、色差信号の符号化対象CUに隣接する復号済みの色差信号と、かかる復号済みの色差信号に対応する位置の復号済みの輝度信号とを用いて、予測パラメータを導出するように構成されている。
【0036】
補正部13a3は、導出部13a2によって導出された予測パラメータと、色差信号の符号化対象CUの参照画素に対応する位置の復号済みの輝度信号とを用いて、色差信号の符号化対象CUの参照画素を補正するように構成されている。
【0037】
例えば、本実施形態に係る符号化装置1において、復号済みの輝度信号から色差信号を予測する色成分間予測(CCCP:Cross Color Component Prediction)が採用されていてもよい。
【0038】
CCCPが採用されている場合、導出部13a2は、予測パラメータとして、係数α及びオフセットβを導出するように構成されている。具体的には、導出部13a2は、
【数1】
によって、係数α及びオフセットβを導出するように構成されている。ここで、L(n)は、復号済みの輝度信号recL(i,j)に隣接する復号済みの輝度信号の画素LL(n)を1/2にダウンコンバートしたものであり(図4(a)及び図4(b)参照)、C(n)は、色差信号の符号化対象CUに隣接する復号済みの色差信号の画素である(図4(c)参照)。なお、(i,j)は、符号化対象CU内の座標である。
【0039】
また、補正部13a3は、導出部13a2によって導出された係数α及びオフセットβと、決定部13a1によって補正すると決定された色差信号の符号化対象CUの参照画素(すなわち、色差信号の符号化対象CUに隣接する利用可能でない参照画素)refC(n)に対応する位置の復号済みの輝度信号(具体的には、決定部13a1によって補正すると決定された色差信号の符号化対象CUの参照画素refC(n)に対応する位置の復号済みの輝度信号の画素refLL(n)を1/2にダウンコンバートしたrefL(n))とに基づいて、決定部13a1によって補正すると決定された色差信号の符号化対象CUの参照画素refC(n)を補正するように構成されている(図5(a)~図5(c)参照)。
【0040】
具体的には、補正部13a3は、
refC(n)=α・refL(n)+β
によって、決定部13a1によって補正すると決定された色差信号の符号化対象CUの参照画素refC(n)を補正するように構成されている。
【0041】
本実施形態に係る符号化装置1において、色差信号に対するイントラ予測は、Planar予測→垂直方向予測→水平方向予測→DC予測→CCCP→DM予測の順で試行されるように構成されている。ここで、DM予測が適用された場合のみ、上述の決定部13a1や導出部13a2や補正部13a3が機能するように構成されていてもよい。
【0042】
生成部13a4は、補正部13a3によって補正された色差信号の符号化対象CUの参照画素refC(n)を用いて、CUごとの予測画像を生成するように構成されている。
【0043】
残差信号生成部13bは、予測部13aによって生成された予測画像と原画像との差分により残差信号を生成するように構成されている。
【0044】
変換・量子化部13cは、残差信号生成部13bによって生成された残差信号に対して直交変換処理及び量子化処理を施し、量子化された変換係数を生成するように構成されている。
【0045】
逆量子化・逆変換部13dは、変換・量子化部13cによって生成された量子化された変換係数に対して、再び逆量子化処理及び逆直交変換処理を施し、残差信号を生成するように構成されている。
【0046】
局部復号画像生成部13eは、逆量子化・逆変換部13dによって生成された残差信号に対して予測部13aによって生成された予測画像を加えることで局部復号画像を生成するように構成されている。
【0047】
メモリ14は、復号画像生成部13によって生成された局部復号画像を参照画像として利用可能に保持するように構成されている。
【0048】
エントロピー符号化部15は、予測モード決定部11によって決定された予測モード等を含むフラグ情報や量子化された変換係数に対してエントロピー符号化処理を施してストリーム出力するように構成されている。
【0049】
また、本実施形態に係る復号装置3は、動画像を構成するフレーム単位の原画像を、輝度信号と色差信号とで別々にブロックに分割して復号することができるように構成されている。
【0050】
図6に示すように、本実施形態に係る復号装置3は、エントロピー復号部31と、復号画像生成部32と、メモリ33とを具備している。
【0051】
エントロピー復号部31は、符号化装置1から出力されたストリームから、変換係数やフラグ情報等を復号するように構成されている。ここで、変換係数は、符号化装置1によって、フレーム単位の原画像を分割して符号化された信号として得られた量子化された変換係数である。
【0052】
図6に示すように、復号画像生成部32は、予測部32aと、逆量子化・逆変換部32bと、局部復号画像生成部32cとを具備している。
【0053】
予測部32aは、エントロピー復号部31によって出力された予測モードを用いて、予測画像を生成するように構成されていてもよい。具体的には、符号化装置1の予測部13aと同様の機能(すなわち、決定部13a1や導出部13a2や補正部13a3)を具備している。
【0054】
なお、エントロピー復号部31によって出力された予測モードとしてDM予測が適用されている場合のみ、上述の決定部13a1や導出部13a2や補正部13a3が機能するように構成されていてもよい。
【0055】
逆量子化・逆変換部32bは、エントロピー復号部31によって出力された量子化された変換係数に対して逆量子化処理及び逆変換処理(例えば、逆直交変換処理)を施すことによって、残差信号を生成するように構成されている。
【0056】
局部復号画像生成部32cは、予測画像生成部32aによって生成された予測画像と逆量子化・逆変換部32bによって生成された残差信号とを加えることで局部復号画像を生成するように構成されている。
【0057】
メモリ33は、復号画像生成部32によって生成された局部復号画像を、イントラ予測及びインター予測のための参照画像として利用可能に保持するように構成されている。
【0058】
本実施形態に係る符号化装置1及び復号装置3によれば、色差信号の符号化対象CUに対するイントラ予測を行う際に用いる参照画素の一部が利用不可能である場合に、色差信号と輝度信号との間の相関を考慮して、利用不可能な色差信号の参照画素を予測することができるので、予測効率の低下を最小限に防ぐことができる。
【0059】
(その他の実施形態)
上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【0060】
また、上述の実施形態では特に触れていないが、上述の符号化装置1及び復号装置3によって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールすることが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
【0061】
或いは、上述の符号化装置1及び復号装置3内の少なくとも一部の機能を実現するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
【符号の説明】
【0062】
1…符号化装置
11…予測モード決定部
12…分割形状決定部
13…復号画像生成部
13a…予測部
13a1…決定部
13a2…導出部
13a3…補正部
13a4…生成部
13b…残差信号生成部
13c…変換・量子化部
13d…逆量子化・逆変換部
13e…局部復号画像生成部
14…メモリ
15…エントロピー符号化部
3…復号装置
31…エントロピー復号部
32…復号画像生成部
32a…予測部
32b…逆量子化・逆変換部
32c…局部復号画像生成部
33…メモリ
図1
図2
図3
図4
図5
図6
図7
図8