特開 2016-171510 予測符号化判定装置、符号化装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2016-171510(P2016-171510A)

(43)【公開日】2016年9月23日

(54)【発明の名称】予測符号化判定装置、符号化装置、及びプログラム

(51)【国際特許分類】

   H04N 19/107 20140101AFI20160826BHJP

   H04N 19/139 20140101ALI20160826BHJP

   H04N 19/172 20140101ALI20160826BHJP

【ＦＩ】

   H04N19/107

   H04N19/139

   H04N19/172

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

【全頁数】10

(21)【出願番号】特願2015-50991(P2015-50991)

(22)【出願日】2015年3月13日

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】松尾 康孝

(72)【発明者】

【氏名】根本 慎平

(72)【発明者】

【氏名】境田 慎一

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159NN01

5C159NN28

5C159SS26

5C159TA23

5C159TB04

5C159TC12

5C159TD04

5C159TD12

5C159UA02

5C159UA39

(57)【要約】

【課題】動きがランダムな映像の符号化画質を向上させる。
【解決手段】予測符号化判定装置１は、映像を入力して、符号化対象フレームと参照フレームとの間の動きベクトルを生成する動き推定部１１と、動きベクトルから符号化対象フレームのインター予測の難度を算出するインター予測難度測定部１２と、インター予測の難度から、符号化対象フレームがインター予測を行うのに適しているかイントラ予測を行うのに適しているかを判定するインター／イントラ予測判定部１３と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

映像を入力して、符号化対象フレームと参照フレームとの間の動きベクトルを生成する動き推定部と、
前記動きベクトルから、前記符号化対象フレームのインター予測の難度を算出するインター予測難度測定部と、
前記インター予測の難度から、前記符号化対象フレームがインター予測を行うのに適しているかイントラ予測を行うのに適しているかを判定するインター／イントラ予測判定部と、
を備えることを特徴とする予測符号化判定装置。

【請求項2】

前記動き推定部は、ＳＵＲＦ特徴量のマッチングを行うことにより前記動きベクトルを生成することを特徴とする、請求項１に記載の予測符号化判定装置。

【請求項3】

前記インター予測難度測定部は、前記動きベクトルの分散値を前記インター予測の難度として算出することを特徴とする、請求項１又は２に記載の予測符号化判定装置。

【請求項4】

前記インター／イントラ予測判定部は、前記インター予測の難度を閾値判定することにより、前記符号化対象フレームがインター予測を行うのに適しているか否かを判定することを特徴とする、請求項１から３のいずれか一項に記載の予測符号化判定装置。

【請求項5】

請求項１から４のいずれか一項に記載の予測符号化判定装置を備え、
前記インター／イントラ予測判定部により、前記符号化対象フレームがインター予測を行うのに適していると判定された場合には、前記符号化対象フレームをインター予測して符号化し、前記符号化対象フレームがインター予測を行うのに適していないと判定された場合には、前記符号化対象フレームをイントラ予測して符号化することを特徴とする符号化装置。

【請求項6】

コンピュータを、請求項１から４のいずれか一項に記載の予測符号化判定装置として機能させるためのプログラム。

【請求項7】

コンピュータを、請求項５に記載の符号化装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、予測符号化方式を判定する予測符号化判定装置、符号化装置、及びプログラムに関する。

【背景技術】

【0002】

映像の符号化方式として、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣや、ＩＴＵ−Ｔ Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣなどが知られている。これらの符号化方式では、インター予測（フレーム間予測、画面間予測）、及びイントラ予測（フレーム内予測、画面内予測）が用いられる。インター予測は時間的に前後する参照フレームから予測画像を生成し、原画像との差分を符号化する予測符号化方式である。イントラ予測はフレーム内符号化されるブロックに対して、符号化済みの隣接ブロックの画素から予測画像を生成し、原画像との差分を符号化する予測符号化方式である。

【0003】

また、特許文献１には、画像符号化方法において、ブロックごとに動き補償のサイズ、画像のサイズ、局部復号時のフレームレートを基準に符号化難易度を判定し、ブロックが双方向インター予測を行うＢピクチャに属する場合は順方向及び逆方向のいずれかだけをインター予測の方向とする技術が開示されている。

【0004】

また、特許文献２には、低フレームレート映像にフレームを補間内挿して高フレームレート映像を生成する装置であり、フレーム内の任意ブロック内の輝度値の分散からブロック領域内の画像が平坦かどうかを調べることで動き検出難易度を判定する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第４７５５０９３号公報

【特許文献2】特開２０１０−２８８００６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来の符号化技術は、符号化対象フレームがインター予測を行うのに適しているか否かを判定していないという課題があった。そのため、「火花が飛び散る」、「稲穂が揺れる」、「水しぶき」などのような動きがランダムな特殊映像でインター予測を行うと、インター予測の精度が低くなり、符号化画質が低くなる可能性が高かった。

【0007】

かかる事情に鑑みてなされた本発明の目的は、符号化対象フレームがインター予測を行うのに適しているか否かを判定することが可能な予測符号化判定装置、符号化装置、及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本発明に係る予測符号化判定装置は、映像を入力して、符号化対象フレームと参照フレームとの間の動きベクトルを生成する動き推定部と、前記動きベクトルから、前記符号化対象フレームのインター予測の難度を算出するインター予測難度測定部と、前記インター予測の難度から、前記符号化対象フレームがインター予測を行うのに適しているかイントラ予測を行うのに適しているかを判定するインター／イントラ予測判定部と、を備えることを特徴とする。

【0009】

さらに、本発明に係る予測符号化判定装置において、前記動き推定部は、ＳＵＲＦ特徴量のマッチングを行うことにより前記動きベクトルを生成することを特徴とする。

【0010】

さらに、本発明に係る予測符号化判定装置において、前記インター予測難度測定部は、前記動きベクトルの分散値を前記インター予測の難度として算出することを特徴とする。

【0011】

さらに、本発明に係る予測符号化判定装置において、前記インター／イントラ予測判定部は、前記インター予測の難度を閾値判定することにより、前記符号化対象フレームがインター予測を行うのに適しているか否かを判定することを特徴とする。

【0012】

また、上記課題を解決するため、本発明に係る符号化装置は、上記予測符号化判定装置を備え、前記インター／イントラ予測判定部により、前記符号化対象フレームがインター予測を行うのに適していると判定された場合には、前記符号化対象フレームをインター予測して符号化し、前記符号化対象フレームがインター予測を行うのに適していないと判定された場合には、前記符号化対象フレームをイントラ予測して符号化することを特徴とする。

【0013】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記予測符号化判定装置として機能させることを特徴とする。

【0014】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化装置として機能させることを特徴とする。

【発明の効果】

【0015】

本発明の予測符号化判定装置によれば、インター予測の難度を判定して符号化対象フレームがインター予測を行うのに適しているかイントラ予測を行うのに適しているかを判定することができる。また、本発明の符号化装置によれば、インター予測の難度に応じてインター予測とイントラ予測とを切り替えることにより、動きがランダムな映像の符号化画質を向上させることが可能となる。

【図面の簡単な説明】

【0016】

【図1】本発明の第１の実施形態に係る予測符号化判定装置の構成例を示すブロック図である。

【図2】ＳＵＲＦ特徴量の算出方法を説明する図である。

【図3】参照フレーム間の予測構造例を示す図である。

【図4】本発明の第２の実施形態に係る符号化装置の構成例を示すブロック図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施形態について、図面を参照して詳細に説明する。

【0018】

（第１の実施形態）
図１は、本発明の第１の実施形態に係る予測符号化判定装置の構成例を示すブロック図である。図１に示す例では、予測符号化判定装置１は、動き推定部１１と、インター予測難度測定部１２と、インター／イントラ予測判定部１３とを備える。予測符号化判定装置１は、映像（原画像群）を入力し、符号化対象フレームがインター予測を行うのに適しているかイントラ予測を行うのに適しているかを判定する。すなわち、符号化対象フレームに対して、インター予測を適用させるかイントラ予測を適用させるかを決定する。

【0019】

動き推定部１１は、映像（原画像群）を入力して、符号化対象フレーム（基準フレーム）と参照フレームとの間で動き推定を行って動きベクトルを生成し、動きベクトル情報をインター予測難度測定部１２に出力する。ここで動き推定では、本発明が対象とする「火花が飛び散る映像」のような動きがランダムな映像を高精度に動き推定するため、拡大・縮小、回転、照明変動に強いＳＵＲＦ（Speeded-Up Robust Features）特徴量を用いるのが好適である。

【0020】

図２は、ＳＵＲＦ特徴量の算出方法を説明する図である。ＳＵＲＦ特徴量は、原画像に分散値を可変としたガウシアンフィルタを適用した画像において、ヘッセ（Hessian）行列値の極大点を探すことで複数の特徴点を抽出する。図２では左図に示すように、８×８画素のブロックの中心点を特徴点としている。次に、各特徴点においてハールウェーブレット（Haar wavelet）を用いて強度の強い方向を求める。そして、強度の強い方向を原方向として、図２の右図に示すように２×２画素の領域ごとに、ハールウェーブレットを用いて水平方向の微分値ｄｘ及び垂直方向の微分値ｄｙを求めることにより、Σdx、Σ|dx|、Σdy、及びΣ|dy|の４つの特徴量を算出する。

【0021】

図２に示すように特徴点を中心とする８×８画素のブロック単位で特徴量を算出すると、８×８画素のブロックには２×２画素の領域が４×４個存在するので、１つの特徴点において６４（＝４×４×４）次元の特徴量が得られる。なお、ＳＵＲＦの詳細については、例えば H. Bay, A. Ess, T. Tuytelaars, and L. V. Gool, "Speeded-Up Robust Features (SURF)", Elsevier, vol. 110, Issue 3, p. 346-359, Jun. 2008を参照されたい。

【0022】

ＳＵＲＦ特徴量を用いる場合、動き推定部１１は、符号化対象フレームと参照フレームとの間でＳＵＲＦ特徴量のマッチングを行うことにより、特徴点ごとに動きベクトルを求める。具体的には、符号化対象フレーム内の任意の特徴点Ａにおける特徴量に対して６４次元のユークリッド距離が最小となる参照フレーム内の特徴点Ｂをマッチング点として抽出し、特徴点ＡＢ間の水平方向及び垂直方向の位置ずれ量を動きベクトルとして算出する。ＳＵＲＦ特徴量のマッチングを用いた動き推定により、ランダムな動きが多い映像におけるインター予測精度（動き推定精度）を向上させることが可能となる。

【0023】

図３は、参照フレーム間の予測構造例を示す図である。動き推定部１１は、インター予測の参照フレームを、参照フレーム間の予測構造情報を基に判定する。図３に示す例では、Ｐ₁ピクチャを符号化対象フレームとすると、Ｉ₀ピクチャが参照フレームとなるため、Ｐ₁ピクチャとＩ₀ピクチャ位置の原画像間でＳＵＲＦ特徴量によるマッチングを行う。また、Ｂ₂ピクチャを符号化対象フレームとすると、Ｉ₀ピクチャとＰ₁ピクチャが参照フレームとなるため、Ｂ₂ピクチャとＩ₀ピクチャ位置、及びＢ₂ピクチャとＰ₁ピクチャ位置の原画像間で動き推定を行う。

【0024】

なお、参照フレームの予測構造情報の入力は必須ではなく、参照フレームの予測構造情報を入力しないで、常に符号化対象フレームの１フレーム前（過去）の時間位置との原画像間で動き推定を行うようにしてもよい。

【0025】

インター予測難度測定部１２は、動き推定部１１により生成された動きベクトルから、符号化対象フレームのインター予測の難度を算出して、インター予測難度情報をインター／イントラ予測判定部１３に出力する。画面間符号化難度は、例えば動き推定部１１により生成された動きベクトルの分散値、平均値、中央値、又はこれらの組み合わせとする。特に、動きのランダム性を解析するために、動きベクトルの分散値を用いるのが簡便である。

【0026】

インター／イントラ予測判定部１３は、インター予測難度測定部１２からインター予測難度情報を入力して、符号化対象フレームがインター予測を行うのに適しているかイントラ予測を行うのに適しているかを判定し、判定結果を示す判定情報（例えば、１ビットのフラグ）を外部に出力する。

【0027】

インター／イントラ予測判定部１３は、例えばインター予測難度情報が動きベクトルの分散値の場合は、分散値が閾値Ｔｍを越えれば当該符号化対象フレームは動きがランダムであると判定して、イントラ予測を行うのに適していると判定し、分散値が閾値Ｔｍ以下であればインター予測を行うのに適していると判定する。閾値Ｔｍの値は、例えば１００００とする。

【0028】

上述したように、予測符号化判定装置１は、動き推定部１１により、符号化対象フレームと参照フレームとの間の動きベクトルを生成し、インター予測難度測定部１２により、動きベクトルから符号化対象フレームのインター予測の難度を算出し、インター／イントラ予測判定部１３により、インター予測の難度から符号化対象フレームがインター予測を行うのに適しているかイントラ予測を行うのに適しているかを判定する。かかる構成により、予測符号化判定装置１は、インター予測の難度を判定し、符号化対象フレームがインター予測を行うのに適しているかイントラ予測を行うのに適しているかを判定することが可能となる。

【0029】

なお、上述した予測符号化判定装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、予測符号化判定装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0030】

（第２の実施形態）
つぎに、本発明の第２の実施形態について説明する。図４は、本発明の第２の実施形態に係る符号化装置の構成例を示すブロック図である。図４に示す例では、符号化装置２０は、上述した予測符号化判定装置１と、減算部２１と、直交変換部２２と、量子化部２３と、逆量子化部２４と、逆直交変換部２５と、加算部２６と、デブロッキングフィルタ２７と、メモリ２８と、イントラ予測部２９と、動き補償部３０と、切替えスイッチ３１と、可変長符号化部３２とを備える。符号化装置２０は、従来のＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣや、ＩＴＵ−Ｔ Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣなどの符号化方式による符号化装置と比較して、予測符号化判定装置１を更に備える点と、イントラ予測部２９、動き補償部３０、及び可変長符号化部３２が予測符号化判定装置１から判定情報を入力して動作する点が相違する。

【0031】

減算部２１は、原画像と、切替えスイッチ３１を介してイントラ予測部２９又は動き補償部３０から入力される予測画像との差分を算出し、差分画像を直交変換部２２に出力する。

【0032】

直交変換部２２は、減算部２１から入力される差分画像に対してブロック単位で直交変換処理を施し、得られる直交変換係数を量子化部２３に出力する。

【0033】

量子化部２３は、直交変換部２２から入力される直交変換係数に対して量子化テーブルを選択して量子化処理を行い、量子化された直交変換係数を逆量子化部２４及び可変長符号化部３２に出力する。

【0034】

逆量子化部２４は、量子化部２３から入力される量子化された直交変換係数に対して逆量子化処理を行い、得られる直交変換係数を逆直交変換部２５に出力する。

【0035】

逆直交変換部２５は、逆量子化部２４から入力される直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ；Inverse Discrete Cosine Transform）処理を施し、逆直交変換した画像を加算部２６に出力する。

【0036】

加算部２６は、逆直交変換部２５から入力される逆直交変換した画像と、切替えスイッチ３１を介してイントラ予測部２９又は動き補償部３０から入力される予測画像とを加算して局部復号画像を生成し、生成した局部復号画像をデブロッキングフィルタ２７に出力する。

【0037】

デブロッキングフィルタ２７は、符号化によりブロックの境界に発生するブロックノイズを除去するために、ブロック境界強度に応じて適応的にフィルタリング処理を施し、メモリ２８に出力する。

【0038】

予測符号化判定装置１は、上述したように映像を入力して判定情報を生成し、イントラ予測部２９、動き補償部３０、及び可変長符号化部３２に出力する。

【0039】

イントラ予測部２９は、予測符号化判定装置１から入力される判定情報がイントラ予測を行うのに適している旨を示していた場合には、メモリ２８に記憶された局部復号画像を参照し、イントラ予測モードを選択してイントラ予測画像を生成する。そして、生成したイントラ予測画像を切替えスイッチ３１を介して減算部２１及び加算部２６に出力し、イントラ予測モードを可変長符号化部３２に出力する。

【0040】

動き補償部３０は、予測符号化判定装置１から入力される判定情報がインター予測を行うのに適している旨を示していた場合には、原画像に対して、メモリ２８に記憶された過去及び／又は未来のフレームを参照し、動き推定により動きベクトルを生成し、生成した動きベクトルを可変長符号化部３２に出力する。また、動き補償部３０は、メモリ２８に記憶された復号画像に対し、生成した動きベクトルを用いて動き補償を行ってインター予測したインター予測画像を生成し、生成したインター予測画像を切替えスイッチ３１を介して減算部２１及び加算部２６に出力する。

【0041】

切替えスイッチ３１は、イントラ予測部２９から入力されるイントラ予測画像と、動き補償部３０から入力されるインター予測画像とを切替えて、減算部２１及び加算部２６に出力する。

【0042】

可変長符号化部３２は、量子化部２３から入力される量子化された直交変換係数についてスキャンを行って可変長符号化処理を施し、得られる符号化データを外部に出力する。また、可変長符号化部３２は、イントラ予測部２９から入力される予測モード、動き補償部３０から入力される動きベクトルの情報、及び予測符号化判定装置１から入力される判定情報に可変長符号化処理を施し、得られる符号化データを外部に出力する。

【0043】

このように、符号化装置２０は予測符号化判定装置１を備え、インター／イントラ予測判定部１３により、符号化対象フレームがインター予測を行うのに適していると判定された場合には、符号化対象フレームをインター予測して符号化し、符号化対象フレームがインター予測を行うのに適していないと判定された場合には、符号化対象フレームをイントラ予測して符号化する。このため、動きがランダムなフレームではインター予測を避けてイントラ予測を行うことができ、符号化画質を向上させることができるようになる。

【0044】

ここで、上述した符号化装置２０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置２０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0045】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0046】

１ 予測符号化判定装置
１１ 動き推定部
１２ インター予測難度測定部
１３ インター／イントラ予測判定部
２０ 符号化装置
２１ 減算部
２２ 直交変換部
２３ 量子化部
２４ 逆量子化部
２５ 逆直交変換部
２６ 加算部
２７ デブロッキングフィルタ
２８ メモリ
２９ イントラ予測部
３０ 動き補償部
３１ 切替えスイッチ
３２ 可変長符号化部

【図1】

【図2】

【図3】

【図4】