IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカの特許一覧

特開2024-23885動画像符号化装置及び動画像符号化方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024023885
(43)【公開日】2024-02-21
(54)【発明の名称】動画像符号化装置及び動画像符号化方法
(51)【国際特許分類】
   H04N 19/119 20140101AFI20240214BHJP
   H04N 19/136 20140101ALI20240214BHJP
   H04N 19/176 20140101ALI20240214BHJP
【FI】
H04N19/119
H04N19/136
H04N19/176
【審査請求】有
【請求項の数】2
【出願形態】OL
(21)【出願番号】P 2023218676
(22)【出願日】2023-12-25
(62)【分割の表示】P 2022070965の分割
【原出願日】2015-02-25
(31)【優先権主張番号】P 2014043540
(32)【優先日】2014-03-06
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】514136668
【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
【氏名又は名称原語表記】Panasonic Intellectual Property Corporation of America
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】安倍 清史
(72)【発明者】
【氏名】木村 一仁
(72)【発明者】
【氏名】大古瀬 秀之
(72)【発明者】
【氏名】荒川 博
(72)【発明者】
【氏名】有村 耕治
(72)【発明者】
【氏名】榊原 和真
(57)【要約】
【課題】処理量を増加させることなく符号化効率を向上させる。
【解決手段】動画像符号化装置は、動作において、(i)対象ピクチャを複数の符号化単位に分割し、(ii)複数の符号化単位をそれぞれ少なくとも1つの予測単位に分割するブロック分割部と、動作において、予測単位毎に生成された予測画像と、対象ピクチャとの差分を演算することにより残差成分を生成する残差符号化部とを備え、複数の符号化単位の第1符号化単位の第1サイズが基本ブロックサイズと同じ2N×2Nである場合、第1符号化単位における予測単位の第2サイズは、2N×2N、2N×NおよびN×2Nのいずれかであり、複数の符号化単位の第1符号化単位の第1サイズが基本ブロックサイズと異なる2N×2Nである場合、第1符号化単位における予測単位の第2サイズは、2N×2N、2N×N、N×2NおよびN×Nのいずれかである。
【選択図】図3
【特許請求の範囲】
【請求項1】
対象ピクチャを符号化して、符号列を生成する動画像符号化装置であって、
動作において、(i)前記対象ピクチャを複数の符号化単位に分割し、(ii)前記複数の符号化単位をそれぞれ少なくとも1つの予測単位に分割するブロック分割部と、
動作において、予測単位毎に生成された予測画像と、前記対象ピクチャとの差分を演算することにより残差成分を生成する残差符号化部と、を備え、
前記複数の符号化単位の第1符号化単位の第1サイズが基本ブロックサイズと同じ2N×2Nである場合、前記第1符号化単位における予測単位の第2サイズは、2N×2N、2N×NおよびN×2Nのいずれかであり、
前記複数の符号化単位の前記第1符号化単位の第1サイズが前記基本ブロックサイズと異なる2N×2Nである場合、前記第1符号化単位における前記予測単位の前記第2サイズは、2N×2N、2N×N、N×2NおよびN×Nのいずれかである、
動画像符号化装置。
【請求項2】
対象ピクチャを符号化して、符号列を生成する動画像符号化方法であって、
前記対象ピクチャを複数の符号化単位に分割し、前記複数の符号化単位をそれぞれ少なくとも1つの予測単位に分割し、
予測単位毎に生成された予測画像と、前記対象ピクチャとの差分を演算することにより残差成分を生成し、
前記複数の符号化単位の第1符号化単位の第1サイズが基本ブロックサイズと同じ2N×2Nである場合、前記第1符号化単位における予測単位の第2サイズは、2N×2N、2N×NおよびN×2Nのいずれかであり、
前記複数の符号化単位の前記第1符号化単位の第1サイズが前記基本ブロックサイズと異なる2N×2Nである場合、前記第1符号化単位における前記予測単位の前記第2サイズは、2N×2N、2N×N、N×2NおよびN×Nのいずれかである、
動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、入力された画像をブロックに分割して符号化する動画像符号化装置および、動画像符号化方法に関する。
【背景技術】
【0002】
近年、マルチメディアアプリケーションの発展に伴い、画像、音声およびテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積および伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、動画像圧縮技術の標準規格としては、ITU-T(国際電気通信連合 電気通信標準化部門)のH.261、H.263、H.264、ISO/IEC(国際標準化機構)のMPEG-1、MPEG-3、MPEG-4、MPEG-4AVCなどがある。また、現在は、ITU-TとISO/IECとの共同によるHEVC(High Efficiency Video Coding)と呼ばれる次世代動画像符号化方式の標準化活動が進んでいる。
【0003】
このような動画像の符号化では、符号化対象の各ピクチャを符号化単位のブロックに分割し、ブロック毎に時間方向および空間方向の冗長性を削減することによって情報量を圧縮する。空間的な冗長性の削減を目的とする画面内予測符号化では、周辺の符号化済みブロックの画素情報から予測画像を生成し、得られた予測画像と符号化対象のブロックとの差分画像を取得する。また時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方の既に符号化が完了しているピクチャを参照してブロック単位で動きの検出および予測画像を生成し、得られた予測画像と符号化対象のブロックとの差分画像を取得する。これらの得られた差分画像に対して離散コサイン変換等の直交変換処理および量子化処理し、可変長符号化および算術符号化を用いて符号列を生成することで情報量が圧縮される。
【0004】
図1は、HEVC規格に定義されている各ブロックサイズの組み合わせを説明するための概念図である。HEVC(非特許文献1)では、符号化単位(以下、「Cording Unit:CU」と称する)として、図1のように、64×64画素、32×32画素、16×16画素、8×8画素の4種類のブロックサイズの中から任意のサイズを選択して使用することができる。
【0005】
さらにCUを分割した単位であり、画面内予測符号化および画面間予測符号化において予測画像を生成する予測単位(以下、「Prediction Unit:PU」と称する)として、例えばCUサイズを32x32画素とした場合、図1のように、32×32画素、16×32画素、16×16画素等の8種類のブロックサイズの中から任意のサイズを選択して使用することができる。例えば、撮像物の動きが複雑な画像では小さなブロックサイズを使用し、撮像物の動きが単純な画像では大きなブロックサイズを使用することで高い符号化効率を実現している。
【0006】
さらにCUを分割した単位であり、前述の直交変換処理および量子化処理する直交変換単位(以下、「Transform Unit:TU」と称する)として、図1のように、例えばCUサイズを32x32画素とした場合、32×32画素、16×16画素、8×8画素、4×4画素の4種類のブロックサイズの中から任意のサイズを選択して使用することができる。例えば、細かい範囲で特徴が異なる画像では小さなブロックサイズを使用し、広い範囲で特徴が同じような画像では大きなブロックサイズを使用することで高い符号化効率を実現している。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】ITU-T H.265 : High efficiency video coding (04/2013)
【発明の概要】
【発明が解決しようとする課題】
【0008】
HEVCでは、CUとして4種類のブロックサイズを選択できる。しかし、符号化過程においてCUのブロック数を増やせば増やすほど、CU層におけるヘッダ情報の符号量が増える。その結果、符号化効率が悪くなることがある。
【0009】
本開示は上記課題を鑑みてなされたものであり、CU層およびPU層のヘッダ情報の符号量を抑制し、処理量を増加させることなく符号化効率を向上させた動画像符号化装置を提供する。
【課題を解決するための手段】
【0010】
本開示にかかる動画像符号化装置は、対象ピクチャを符号化して、符号列を生成する動画像符号化装置であって、動作において、(i)前記対象ピクチャを複数の符号化単位に分割し、(ii)前記複数の符号化単位をそれぞれ少なくとも1つの予測単位に分割するブロック分割部と、動作において、予測単位毎に生成された予測画像と、前記対象ピクチャとの差分を演算することにより残差成分を生成する残差符号化部と、を備え、前記複数の符号化単位の第1符号化単位の第1サイズが基本ブロックサイズと同じ2N×2Nである場合、前記第1符号化単位における予測単位の第2サイズは、2N×2N、2N×NおよびN×2Nのいずれかであり、前記複数の符号化単位の前記第1符号化単位の第1サイズが前記基本ブロックサイズと異なる2N×2Nである場合、前記第1符号化単位における前記予測単位の前記第2サイズは、2N×2N、2N×N、N×2NおよびN×Nのいずれかである。
【0011】
本開示にかかる動画像符号化方法は、対象ピクチャを符号化して、符号列を生成する動画像符号化方法であって、前記対象ピクチャを複数の符号化単位に分割し、前記複数の符号化単位をそれぞれ少なくとも1つの予測単位に分割し、予測単位毎に生成された予測画像と、前記対象ピクチャとの差分を演算することにより残差成分を生成し、前記複数の符号化単位の第1符号化単位の第1サイズが基本ブロックサイズと同じ2N×2Nである場合、前記第1符号化単位における予測単位の第2サイズは、2N×2N、2N×NおよびN×2Nのいずれかであり、前記複数の符号化単位の前記第1符号化単位の第1サイズが前記基本ブロックサイズと異なる2N×2Nである場合、前記第1符号化単位における前記予測単位の前記第2サイズは、2N×2N、2N×N、N×2NおよびN×Nのいずれかである。
【発明の効果】
【0012】
以上より、本発明における動画像符号化装置は、CU層およびPU層のヘッダ情報の符号量を抑制することが可能となり、処理量を増加させることなく符号化効率を向上させることが可能となる。
【0013】
なお、本開示は、このような動画像符号化装置として実現することができるだけでなく、このような動画像符号化装置に含まれる各手段と同等の処理をプログラムや集積回路としても実現することもできる。
【図面の簡単な説明】
【0014】
図1】HEVC規格に定義されている各ブロックサイズの組み合わせを説明するための概念図である。
図2】実施の形態1にかかる動画像符号化装置100の構成を示すブロック図である。
図3】実施の形態1にかかる各ブロックサイズの組み合わせを説明するための概念図である。
図4】実施の形態1にかかる統合判定処理を示すフローチャートである。
図5A】実施の形態1にかかる統合判定処理を示すイメージ図である
図5B】実施の形態1にかかる統合判定処理を示すイメージ図である
図6】実施の形態1にかかる統合判定処理を行うことにより出現する、各ブロックサイズの組み合わせを説明するための概念図である。
図7】実施の形態2にかかる統合判定処理を示すフローチャートである。
図8A】実施の形態2にかかる統合判定処理を示すイメージ図である
図8B】実施の形態2にかかる統合判定処理を示すイメージ図である
図9】実施の形態2にかかる統合判定処理の条件を説明するための概念図である。
図10】実施の形態2にかかる統合判定処理を行うことにより出現する、各ブロックサイズの組み合わせを説明するための概念図である。
図11】実施の形態3にかかる統合判定処理を示すフローチャートである。
図12A】実施の形態3にかかる統合判定処理を示すイメージ図である。
図12B】実施の形態3にかかる統合判定処理を示すイメージ図である。
図12C】実施の形態3にかかる統合判定処理を示すイメージ図である。
図13】実施の形態3にかかる統合判定処理を行うことにより出現する、各ブロックサイズの組み合わせを説明するための概念図である。
【発明を実施するための形態】
【0015】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0016】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0017】
(実施の形態1)
実施の形態1にかかる動画像符号化装置100は、例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、携帯情報端末およびパーソナルコンピューターなどに搭載されたマイクロプロセッサにより実現される。動画像符号化装置100は、動画圧縮規格であるHEVCに従って、動画像データの符号化処理を実施する。本開示にかかる動画像符号化装置100は、CU(Cording Unit)およびPU(Prediction Unit)の符号化情報に基づいて、複数のCUを1つのCUに統合し、統合後のCUに対して1つのヘッダ情報を付与する。その結果、CU層およびPU層のヘッダ情報の符号量を抑制することが可能となり、処理量を増加させることなく符号化効率を向上させることが可能となる。
【0018】
以下、実施の形態1にかかる動画像符号化装置100の構成および動作について、図面を参照しながら説明する。
【0019】
[1-1.動画像符号化装置の構成]
動画像符号化装置100の構成について説明する。図2は、実施の形態1にかかる動画像符号化装置100の構成を示すブロック図である。
【0020】
図2に示すように、動画像符号化装置100は、ピクチャメモリ101と、基本ブロック分割部102と、基本ブロック単位処理ループ部111と、統合判定部107と、符号列生成部108とを備えている。そして、動画像符号化装置100は、基本ブロック単位処理ループ部111として、予測残差符号化部103と、予測残差復号化部104と、ピクチャバッファ105と、予測処理部106、差分演算部109、加算演算部110とを備えている。この構成により、動画像符号化装置100は、ピクチャ単位で入力された画像を基本ブロックに分割した後に、この分割された基本ブロックの単位で符号化処理を実施し、符号列を出力する。
【0021】
続いて、動画像符号化装置100を構成する各部について、詳細を説明する。
【0022】
ピクチャメモリ101は、表示装置に表示される順番に沿って、ピクチャ単位で画像信号を入力する。ピクチャメモリ101は、入力した画像信号を、符号化する順番にピクチャ単位で並び替えて格納する。ピクチャメモリ101は、基本ブロック分割部102からの読出し命令を受け付けると、読出し命令にかかる入力画像信号である符号化対象の符号化対象ピクチャを基本ブロック分割部102に出力する。
【0023】
分割部としての基本ブロック分割部102は、ピクチャメモリ101から順次入力される符号化対象のピクチャを符号化単位毎に分割して出力する。基本ブロック分割部102は、基本ブロック単位処理ループ部111における処理の基本単位である基本ブロックに分割する。動画像符号化装置100は、基本ブロックのサイズをHEVCで規定されている64×64画素、および32×32画素よりも小さい16×16画素に限定する。基本ブロックは、HEVC規格にて定義されている符号化単位であるCUを1つ以上包含する。図3は、実施の形態1にかかる各ブロックサイズの組み合わせを説明するための概念図である。図3の「基本CUサイズ」の列に示すように、基本CUサイズは、16×16画素の基本ブロックに対して、16×16画素のサイズおよび、8×8画素のサイズを取り得る。16×16画素のサイズのCUは、16×16画素の基本ブロックに対して、1つ包含される。8×8画素のサイズのCUは、16×16画素の基本ブロックに対して、4つ包含される。以下、基本ブロックに包含されるこれらのCUを「基本CU」と称する。基本ブロック分割部102は、入力されるピクチャを基本ブロックに分割するとともに、基本CUのサイズを選択する。一般的に、基本ブロック分割部102は、入力されたピクチャの画素構成が複雑なときは小さなサイズの基本CUを選択する一方、入力されたピクチャの画素構成が単純なときは大きなサイズの基本CUを選択する。なお、図3の例に記載した基本CUのうち一部のサイズを使用しない場合、もしくは、図3の例に記載されていないサイズで基本ブロック以下のサイズである基本CUを使用した場合であっても同様の説明が可能である。
【0024】
基本ブロック分割部102は、基本ブロック(基本CUのサイズが選択済み)に分割したピクチャを、予測処理部106および差分演算部109に順次出力する。
【0025】
予測処理部106は、基本ブロック分割部102から順次入力される基本ブロックに分割されたピクチャを基に、基本ブロック毎に画面内予測もしくは画面間予測のどちらか一方を用いて予測処理を行う。予測処理部106は、基本CUをさらに分割した予測単位であるPU(以下、「基本PU」と称する)毎に予測処理を行う。具体的には、図3の「基本PUサイズ」の列に示すように、基本CUのサイズが16×16画素であるとき、16×16画素の1つの基本PU、16×8画素の2つの基本PUまたは8×16画素の2つの基本PUのいずれかの基本PUに分割される。但し、16×8画素および、8×16画素の基本PUサイズは、画面間予測が選択されたときのみに使用される。一方、基本CUのサイズが8×8画素であるとき、8×8画素の1つの基本PU、8×4画素の2つの基本PUまたは4×8画素の2つの基本PU、もしくは4×4画素の4つの基本PUのいずれかの基本PUに分割される。但し、8×4画素および、4×8画素の基本PUサイズは、画面間予測が選択されたときのみに使用される。4×4画素の基本PUサイズは、画面内予測が選択されたときのみに使用される。一般的に、予測処理部106は、入力された基本CUの画素構成が複雑なときは小さなサイズの基本PUを選択する一方、入力された基本CUの画素構成が単純なときは大きなサイズの基本PUを選択する。なお、図3の例に記載した基本PUのうち一部のサイズを使用しない場合、もしくは、図3の例に記載されていないサイズで基本CU以下のサイズである基本PUを使用した場合であっても同様の説明が可能である。
【0026】
画面内予測を用いる場合、予測処理部106は、符号化対象とするピクチャ内のブロックについて、同じピクチャ内の既に符号化済みの周辺のブロックの再構成画像信号を用いて予測処理する。再構成画像信号とは、後述する加算演算部110により生成された信号である。予測処理部106は、複数の画面内予測方法(画面内予測モード)の中から、符号化対象とするブロックの画素構成と最も類似度の高い予測画像を生成する画面内予測モードを1つ選択することで予測処理する。
【0027】
一方、画面間予測を用いる場合、予測処理部106は、ピクチャバッファ105に格納されている既に符号化済みの別のピクチャの再構成画像信号を用いて予測処理する。具体的には、予測処理部106は、符号化対象とするブロックの画素構成と最も類似度の高い画素構成を持った領域を、既に符号化済みの別のピクチャの再構成画像の中から探索する。そして、予測処理部106は、いずれのピクチャの再構成画像を参照するか(以下、参照するピクチャの情報を「参照ピクチャ情報」と称する)、および、参照先のピクチャにおいて、符号化対象とするブロックに対応する位置からどの程度ずれた位置の再構成画像を参照するか(以下、位置のずれ量を示す情報を「動きベクトル情報」と称する)を決定することで予測画像を生成する。
【0028】
差分演算部109は、基本ブロック分割部102から入力される基本ブロックにおける基本CUに基づいて選択された基本PU単位の入力画像信号と、予測処理部106から入力される基本PU単位の予測画像信号との差分値である差分画像信号を生成する。差分演算部109は、生成した差分画像信号を予測残差符号化部103に出力する。
【0029】
残差符号化部である予測残差符号化部103は、差分演算部109から入力される差分画像信号に対して直交変換処理し、得られた各周波数成分の直交変換係数に対し量子化処理する。その結果、予測残差符号化部103は、残差係数信号を生成する。予測残差符号化部103は、基本CUを更に分割した直交変換単位であるTU(Transform Unit)(以下、「基本TU」と称する)毎に直交変換処理および量子化処理を行う。具体的には、図3の「基本TUサイズ」の列に示すように、基本CUのサイズが16×16画素であるとき、16×16画素の1つの基本TU、もしくは8×8画素の4つの基本TUに分割され得る。一方、基本CUのサイズが8×8画素であるとき、8×8画素の1つの基本TU、もしくは4×4画素の4つの基本TUに分割され得る。図3に示す例では、基本PUが決定すると基本TUが一意に割り当てられるため、基本TUのサイズを選択するという処理は不要となる。これにより、処理量を大幅に削減することが可能となる。なお、図3の例に記載した基本TUのうち一部のサイズを使用しない場合、もしくは、図3の例に記載されていないサイズで基本PU以下のサイズである基本TUを使用した場合であっても同様の説明が可能である。
【0030】
予測残差復号化部104は、予測残差符号化部103で処理した基本TUを処理単位とする。予測残差復号化部104は、予測残差符号化部103から入力される残差係数信号に対して逆量子化処理し、さらに逆直交変換処理することで再構成差分画像信号を生成する。
【0031】
加算演算部110は、予測残差復号化部104から入力される再構成差分画像信号と、予測処理部106から入力される予測画像信号とを基本PU単位で加算することにより再構成画像信号を生成する。
【0032】
ピクチャバッファ105は、加算演算部110から入力される再構成画像信号を格納する。ピクチャバッファ105に格納された再構成画像信号は、現在の符号化対象ピクチャより時間的に後に符号化するピクチャの画面間予測処理で参照される。
【0033】
統合部として機能する統合判定部107は、統合判定対象とする複数の基本ブロックについて、基本ブロック単位処理ループ部111の一連の処理が完了した時点で、当該複数の基本ブロックに属する基本CUを統合して1つの統合された符号化単位(以下、「統合CU」と称する)とするかどうかを判定し、統合判定結果信号を生成する。つまり、統合判定部107は、複数の基本ブロックにより構成されるN×N画素(例えば32×32画素)領域に属する複数の基本CUを1つの統合された統合CUにするか否かを判断する。統合判定部107は、基本CUを統合せずにそのまま符号列生成部108へと出力する第1動作のモードと、N×N画素領域内に属する複数の基本CUを1つの新たなCUとして統合して符号列生成部108へと出力する第2動作のモードとを有する。統合判定部107は、統合判定結果に応じて、第1動作モードと、第2動作モードとを切り替えて実行する。すなわち、統合判定部107は、(1)N×N画素の領域に属する複数の基本CUおよび基本PUがすべて同じブロックサイズで、かつ(2)前記N×N画素の領域に属する複数の基本PUの予測情報が同じである場合に、前記N×N画素の領域に含まれる複数の基本CUを1つの新たなCUとして統合する。
【0034】
符号列生成部108は、統合判定部107から入力される統合判定結果信号に従って、統合CU単位もしくは基本CU単位で、予測残差符号化部103から入力される残差係数信号、およびその他の復号化処理時に必要となる符号化情報信号に対して、可変長符号化および算術符号化することで符号列を生成する。すなわち、符号列生成部108は、統合後の新たなCUに対して設定される符号化情報および統合後の新たなCU内に属していた統合前の複数の基本CUに関する残差係数を、可変長符号化および算術符号化し、統合後の新たなCUに対する符号列を生成する。統合判定部107から統合CUが出力される場合、統合CUに対して設定される符号化情報および、統合CU内に属していた統合前の複数の基本CUに関する残差係数を、可変長符号化および算術符号化することにより、統合CUに対する符号列を生成する。
【0035】
上記のように、動画像符号化装置100では、基本ブロックサイズを16×16画素に限定した。これにより、図3に示すように、選択され得る基本CU/基本PU/基本TUの組合せが、画面内予測を選択したときは3組のみ、画面間予測を選択したときは6組のみに限定することが可能となる。これにより、基本ブロック単位処理ループ部111の一連の処理において最適な組合せを選択するための処理量を大幅に削減することが可能となる。
【0036】
なお、上記の実施の形態では、基本ブロックサイズを16×16画素に限定しているが、本開示はこれに限定されない。すなわち、基本ブロックサイズを制限せずに、HEVCの規格にて定義されている図1の組合せから最適な組合せを選択するようにしてもよい。但し、この場合、基本ブロックサイズを制限したときと比べて、処理量が膨大になることになる。或いは、16×16画素には限定せずに、32×32画素などの他のブロックサイズにより限定することもできる。例えば、32×32画素のブロックサイズで限定した場合、基本ブロックサイズに属するCUおよびPUのブロックサイズの選択肢が多くなることから符号化効率の向上が見込める。一方、最適なCUおよびPUのブロックサイズを選ぶための処理量が増加する。従って、処理量の増加が許容できる動画像符号化装置では基本ブロックサイズとして大きなブロックサイズを使用する一方、処理量の増加が許容できない動画像符号化装置では基本ブロックサイズとして小さなブロックサイズを使用するようにしてもよい。
【0037】
[1-2.統合判定部の動作]
実施の形態1にかかる統合判定部107は、複数の基本ブロックを包含する統合領域を定義している。統合判定部107は、統合領域に含まれる全ての基本ブロックについて、基本ブロック単位処理ループ部111の一連の処理が完了した時点で統合判定処理する。
【0038】
統合判定部107における、複数の基本ブロックに属する基本CUを統合して1つの統合CUとするか否かを判定する方法について、図4図5A図5Bを用いて具体的に説明する。図4は、実施の形態1にかかる統合判定処理を示すフローチャートである。図5A図5Bは、実施の形態1にかかる統合判定処理を示すイメージ図である。図4は、基本ブロックのサイズが16×16画素、統合領域のサイズが32×32画素とした場合の処理を示す。このとき、統合領域には4つの基本ブロックが包含されている。なお、統合領域のサイズとして、基本ブロックのサイズよりも大きなサイズであれば、基本ブロックのサイズに応じて32×32画素以外のサイズを使用してもよい。
【0039】
まず、統合判定部107は、統合領域内に包含された4つの基本ブロックが、全て16×16画素の基本CUかつ16×16画素の基本PUから構成されているか否かを判定する(S301)。
【0040】
S301の条件を満たさない場合(S301におけるNo)、図5Aのように、統合領域内の基本CUは統合されない。
【0041】
一方、S301の条件を満たす場合(S301におけるYes)、統合判定部107は、統合領域内の4つの基本PUの予測情報が全て同じであるか否かを判定する(S302)。具体的には、画面内予測の場合、統合領域内の4つの基本PUの少なくとも画面内予測モードが全て同じであるか否かを判定する。すなわち、統合判定部107は、統合領域に含まれる全ての基本PUが画面内予測であった場合、予測情報として少なくとも画面内予測モードが全て同じであるか否かを用いて第1動作モードと第2動作モードとを切り換える。一方、画面間予測の場合、統合領域内の4つの基本PUの少なくとも動きベクトル情報および参照ピクチャ情報が全て同じであるか否かを判定する。すなわち、統合判定部107は、統合領域に含まれる全ての基本PUが画面間予測であった場合、予測情報として少なくとも動きベクトル情報と参照ピクチャ情報とが全て同じであるか否かを用いて第1動作モードと第2動作モードを切り換える。
【0042】
S302の条件を満たさない場合(S301におけるNo)、図5Aのように、当該統合領域内の基本CUは統合されない。
【0043】
一方、S302の条件を満たす場合(S301におけるYes)、統合判定部107は、図5Bのように、4つの16×16画素の基本CUを1つの32×32画素の統合CUに統合する(S303)。
【0044】
図6は、統合判定処理を行うことにより出現する、各ブロックサイズの組み合わせを説明するための概念図である。これらのブロックサイズが、符号列生成部108において可変長符号化および算術符号化の対象となる。図3と比較すると、統合判定処理によって、CUサイズが32×32画素、PUサイズが32×32画素、TUサイズが16×16画素の構成からなる統合CUが追加されているのが分かる。
【0045】
以上のように、実施の形態1にかかる動画像符号化装置100において、統合判定部107は、統合領域(複数の基本ブロックからなるN×N画素の領域)に属する複数の基本CUおよび基本PUがすべて同じブロックサイズかつ、統合領域に含まれる全ての基本PUの予測情報が同じである場合に、統合領域に含まれる複数の基本CUを1つの新たなCUとして統合する。そして、統合後の新たなCUに基づいて符号列を生成する。
【0046】
図4に示す統合処理を行わない場合、基本PUが同じ予測情報を持っていたとしても、各基本PUの予測情報をそれぞれ個別に符号列に記述することが必要となるため、CU層およびPU層のヘッダ情報の符号量が無駄に発生してしまう。一方、統合処理を行った場合、統合された1つの予測情報のみを符号列に記述するのみでよいため、CU層およびPU層のヘッダ情報の符号量を抑制することが可能となり、処理量を増加させることなく符号化効率を向上させることが可能となる。なお、統合判定部107は、統合CUにおいて、CUおよびPUのみを統合する一方、TUについては統合前のままとしている。これにより、統合後に残差係数信号を再構成する必要がなく、CU層およびPU層のヘッダ情報の変更のみで統合CUに変換することが可能となる。
【0047】
(実施の形態2)
続いて、実施の形態2にかかる動画像符号化装置100について、図面を参照しながら説明する。なお、動画像符号化装置100の構成は、実施の形態1で説明したものと同様であるため、説明を省略する。
【0048】
実施の形態2にかかる動画像符号化装置100は、実施の形態1にかかる動画像符号化装置100と、統合判定部107による統合判定処理が異なる。
【0049】
図7は、実施の形態2にかかる統合判定処理を示すフローチャートである。図8A図8Bは、実施の形態2にかかる統合判定処理を示すイメージ図である。図7は、基本ブロックのサイズが16×16画素、統合領域のサイズが32×32画素とした場合の処理を示す。このとき、統合領域には4つの基本ブロックが包含されている。
【0050】
まず、統合判定部107は、統合領域内に包含された4つの基本ブロックが、全て16×16画素の基本CUかつ16×16画素の基本PUから構成されているか否かを判定する(S301)。S301の条件を満たさない場合(S301におけるNo)、図8Aのように、統合領域内の基本CUは統合されない。一方、S301の条件を満たす場合(S301におけるYes)、統合判定部107は、統合領域内の4つの基本PUについて統合可能な組合せを構成する基本PUのみの予測情報が全て同じであるか否かを判定する(図7のS502)。図7のS502の判定の詳細を、図9を用いて説明する。
【0051】
図9は、実施の形態2にかかる統合判定処理の条件を説明するための概念図である。図9のように、統合判定部107は、4つの基本PUの予測情報が全て同じ場合、4つの基本PUを統合した32×32画素の1つの統合PUに統合する。また、4つの基本PUの予測情報が全て同じではなくても、左右に隣り合う2組の基本PUの予測情報がそれぞれ同じ場合は、統合判定部107は、上側の2つの基本PUを統合した32×16画素のPUおよび、下側の2つの基本PUを統合した32×16画素のPUの2つの統合PUに統合する。また、4つの基本PUの予測情報が全て同じではなくても、上下に隣り合う2組の基本PUの予測情報がそれぞれ同じ場合は、統合判定部107は、左側の2つの基本PUを統合した16×32画素のPU、右側の2つのPUを統合した16×32画素の基本PUの2つの統合PUに統合する。なお、32×16画素の統合PUおよび16×32画素の統合PUは画面間予測の場合にのみ統合を選択可能であり、画面内予測の場合は32×32画素の統合PUへの統合のみしか選択できない。
【0052】
要するに、実施の形態2にかかる統合判定処理では、統合領域(N×N画素の領域)内に属する複数の基本PUを、隣接する2つの基本PUによる1組のグループに分けた場合であって、かつ、それぞれのグループに属する基本PUの予測情報が同じである場合に、統合領域内に含まれる複数の基本PUを1つの新たなPUとして統合する。そして、この場合、統合判定部107は、図8Bのように、4つの16×16画素の基本CUを1つの32×32画素の統合CUに統合する(図7のS303)。
【0053】
図10は、統合判定処理を行うことにより出現する、各ブロックサイズの組み合わせを説明するための概念図である。これらのブロックサイズが、符号列生成部108において可変長符号化および算術符号化の対象となる。図3と比較すると、統合判定処理によって、CUサイズが32×32画素、PUサイズが32×32画素、TUサイズが16×16画素の構成からなる統合CU、並びに、CUサイズが32×32画素、PUサイズが32×16画素もしくは16×32画素、TUサイズが16×16画素の構成からなる統合CUが追加されているのが分かる。
【0054】
以上のように、実施の形態2にかかる動画像符号化装置100において、統合判定部107は、統合領域(N×N画素の領域)に属する複数の基本PUを、隣接する2つの基本PUを1組のグループに分けた場合に、分けたそれぞれのグループ内に属する基本PUの予測情報が同じであるとき、統合領域に含まれる複数の基本CUを1つの新たなCUとして統合する。そして、統合後の新たなCUに基づいて符号列を生成する。
【0055】
例えば、統合判定部107は、統合領域(N×N画素の領域)のうち、上側半分の領域に含まれる全ての基本PUの予測情報が同じ情報であり、かつ下側半分の領域に含まれる全ての基本PUの予測情報が同じ情報であった場合、統合領域に含まれる複数の基本CUを1つの新たなCUとして統合する。或いは、統合判定部107は、統合領域(N×N画素の領域)のうち、左側半分の領域に含まれる全ての基本PUの予測情報が同じ情報であり、かつ右側半分の領域に含まれる全ての基本PUの予測情報が同じ情報であった場合、統合領域に含まれる複数の基本CUを1つの新たなCUとして統合する。
【0056】
実施の形態1にかかる統合処理では4つの基本PUの予測情報が全て同じ場合しか統合CUへと統合されなかった。これに対し、実施の形態2にかかる統合処理では、2組の基本PUの予測情報がそれぞれ同じ場合にも統合CUへと統合されるため、より多くのCUを統合することが可能となる。これにより、CU層およびPU層のヘッダ情報の符号量をさらに抑制することが可能となり、処理量を増加させることなく符号化効率を向上させることが可能となる。
【0057】
なお、統合判定部107は、統合CUにおいて、CUおよびPUのみを統合する一方、TUについては統合前のままとしている。これにより、統合後に残差係数信号を再構成する必要がなく、CU層およびPU層のヘッダ情報の変更のみで統合CUに変換することが可能となる。
【0058】
(実施の形態3)
続いて、実施の形態3にかかる動画像符号化装置100について、図面を参照しながら説明する。なお、動画像符号化装置100の構成は、実施の形態1で説明したものと同様であるため、説明を省略する。
【0059】
実施の形態3にかかる動画像符号化装置100は、実施の形態1および2にかかる動画像符号化装置100と、統合判定部107による統合判定処理が異なる。
【0060】
実施の形態3にかかる統合判定部107では、複数の基本ブロックを包含する統合領域として、統合領域1と統合領域2の2段階の統合領域を定義している。統合判定部107は、統合領域に含まれる全ての基本ブロックについて、基本ブロック単位処理ループ部111の一連の処理が完了した時点で統合判定処理する。
【0061】
統合判定部107における、複数の基本ブロックに属する基本CUを統合して1つの統合CUとするか否かを判定する方法について、図11図12A図12B図12Cを用いて具体的に説明する。図11は、実施の形態3にかかる統合判定処理を示すフローチャートである。図12A図12B図12Cは、実施の形態3にかかる統合判定処理を示すイメージ図である。図11は、基本ブロックが16×16画素、統合領域1が32×32画素、統合領域2が64×64画素とした場合の処理を示す。統合領域2は、統合領域1を包含している。このとき、統合領域1には4つの基本ブロックが包含されている。統合領域2には、4つの統合領域1が包含されている。すなわち、統合領域2には、16個の基本ブロックが包含されている。なお、統合領域のサイズとして、基本ブロックのサイズよりも大きなサイズであれば、基本ブロックのサイズに応じて32×32画素および64×64画素以外のサイズを使用してもよい。
【0062】
まず、統合判定部107は、統合領域1内に内包された4つの基本ブロックが、全て16×16画素の基本CUかつ16×16画素の基本PUから構成されているか否かを判定する(S801)。
【0063】
S801の条件を満たさない場合(S801におけるNo)、図12Aのように、統合領域1内の基本CUは統合されない。
【0064】
一方、S801の条件を満たす場合(S801におけるYes)、統合判定部107は、統合領域1内の4つの基本PUの予測情報が全て同じであるか否かを判定する(S802)。具体的には、画面内予測の場合、統合領域1内の4つの基本PUの少なくとも画面内予測モードが全て同じであるか否かを判定する。また、画面間予測の場合、統合領域1内の4つの基本PUの少なくとも動きベクトル情報および参照ピクチャ情報が全て同じであるか否かを判定する。
【0065】
S802の条件を満たさない場合(S802におけるNo)、図12Aのように、当該統合領域1内の基本CUは統合されない。
【0066】
一方、S802の条件を満たす場合(S802におけるYes)、統合判定部107は、4つの16×16画素の基本CUを1つの32×32画素の統合CU1に統合する(S803)。
【0067】
統合判定部107は、S801からS803までの一連の処理を、統合領域2内に属する4つの全ての統合領域1について行う(S804)。すなわち、統合判定部107は、統合領域2内の全ての統合領域1についてS801からS803の一連の処理が完了していない場合(S804におけるNo)、当該処理が完了していない統合領域1についてS801からS803までの一連の動作を行う。その結果、いずれの統合領域1についても統合処理が行われなかった場合、図12Aのように、統合領域2内の16個の基本CUは全て統合されない。一方、4つの統合領域1のうち一部の統合領域1のみが統合された場合、図12Bのように、統合領域2内の一部の基本CUについてのみ32×32画素の統合CU1に統合される。
【0068】
次に、統合判定部107は、統合領域2内の全ての統合領域1についてS801からS803の一連の処理が完了した場合(S804におけるYES)、統合領域2内に属する4つの統合領域1について、全てのCUが統合CU1に統合されているか否かを判定する(S805)。
【0069】
S805の条件を満たさない場合(S805におけるNo)、統合判定部107は、統合判定処理を終了する。
【0070】
S805の条件を満たす場合(S805におけるYes)、統合判定部107は、統合領域2内の4つの統合PU1の予測情報が全て同じであるかどうかを判定する(S806)。
【0071】
S806の条件を満たさない場合(S806におけるNo)、統合判定部107は、統合判定処理を終了する。
【0072】
S806の条件を満たす場合(S806におけるYes)、統合判定部107は、図12Cのように、4つの32×32画素の統合CU1をさらに1つの64×64画素の統合CU2に統合する(S807)。動画像符号化装置100は、基本ブロックのサイズをHEVCで規定されている64×64画素および32×32画素よりも小さい16×16画素に限定している。これにより、32×32画素の統合CU1への統合および、64×64画素の統合CU2への統合が可能となる。
【0073】
図13は、統合判定処理を行うことにより出現する、各ブロックサイズの組み合わせを説明するための概念図である。これらのブロックサイズが、符号列生成部108において可変長符号化および算術符号化の対象となる。図3と比較すると、統合判定処理によって、CUサイズが32×32画素、PUサイズが32×32画素、TUサイズが16×16画素の構成からなる統合CU1、並びにCUサイズが64×64画素、PUサイズが64×64画素、TUサイズが16×16画素の構成からなる統合CU2が追加されているのが分かる。
【0074】
以上のように、実施の形態3にかかる動画像符号化装置100において、統合判定部107は、統合領域1(複数の基本ブロックからなるN×N画素の領域)に属する複数の基本CUおよび基本PUがすべて同じブロックサイズかつ、統合領域1に含まれる全ての基本PUの予測情報が同じである場合に、統合領域1に含まれる複数の基本CUを1つの新たな統合CU1として統合する。更に、統合判定部107は、統合領域2(複数の統合領域1からなる領域)内の全てのCUが統合CU1に統合されており、かつ、統合領域2内の全ての統合PU1の予測情報が同じである場合に、統合領域2に含まれる複数の基本CUを1つの新たな統合CU2として統合する。そして、統合後の新たなCUに基づいて符号列を生成する。
【0075】
実施の形態1にかかる統合処理では最大でも4つの基本CUまでしか統合されなかった。これに対し、実施の形態3にかかる統合処理では、最大16個の基本CUまで統合されることになり、より多くのCUを1つのCUに統合することが可能となる。これにより、CU層およびPU層のヘッダ情報の符号量をさらに抑制することが可能となり、処理量を増加させることなく符号化効率を向上させることが可能となる。
【0076】
なお、統合判定部107は、統合CU1および統合CU2において、CUおよびPUのみを統合する一方、TUについては統合前のままとしている。これにより、統合後に残差係数信号を再構成する必要がなく、CU層およびPU層のヘッダ情報の変更のみで統合CU1および統合CU2に変換することが可能となる。
【0077】
(その他の実施形態)
以上のように、本出願において開示する技術の例示として、実施の形態1~3を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態1~3で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【0078】
そこで、以下、他の実施の形態を例示する。
【0079】
実施の形態1~3において説明した各々の統合判定処理は、それぞれ個別に使用することに限定されない。すなわち、実施の形態1~3において説明した各々の統合判定処理のうち、いずれか複数の処理を組合せて使用してもよい。例えば、図11に示す実施の形態3のフローチャートにおいて、ステップS802およびステップS805の両方或いは一方を、図7に示す実施の形態2のフローチャートにおけるステップS502と置き換えてもよい。
【0080】
さらに、上記の実施の形態1~3で示した動画像符号化装置100に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにしてもよい。これにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。
【0081】
また、上記の実施の形態1~3で示した動画像符号化装置100に含まれる各手段と同等の機能を集積回路であるLSIとして実現してもよい。これらは各手段の一部または全てを含むように1チップ化されてもよい。またLSIは集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと称されることもある。
【0082】
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0083】
さらには、半導体技術の進歩または派生する別技術によりLSIなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【0084】
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【0085】
本開示は、入力画像を構成する各ピクチャを符号化して動画像符号化データとして出力する動画像符号化装置に適用できる。例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、携帯情報端末およびパーソナルコンピューターなどに、本開示は適用可能である。
【符号の説明】
【0086】
100 動画像符号化装置
101 ピクチャメモリ
102 基本ブロック分割部
103 予測残差符号化部
104 予測残差復号化部
105 ピクチャバッファ
106 予測処理部
107 統合判定部
108 符号列生成部
109 差分演算部
110 加算演算部
111 基本ブロック単位処理ループ部
図1
図2
図3
図4
図5A
図5B
図6
図7
図8A
図8B
図9
図10
図11
図12A
図12B
図12C
図13