特許 6052319 動画像符号化装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6052319

(24)【登録日】2016年12月9日

(45)【発行日】2016年12月27日

(54)【発明の名称】動画像符号化装置

(51)【国際特許分類】

   H04N 19/107 20140101AFI20161219BHJP

   H04N 19/159 20140101ALI20161219BHJP

   H04N 19/176 20140101ALI20161219BHJP

   H04N 19/14 20140101ALI20161219BHJP

【ＦＩ】

   H04N19/107

   H04N19/159

   H04N19/176

   H04N19/14

【請求項の数】3

【全頁数】11

(21)【出願番号】特願2015-62905(P2015-62905)

(22)【出願日】2015年3月25日

(65)【公開番号】特開2016-184801(P2016-184801A)

(43)【公開日】2016年10月20日

【審査請求日】2015年3月25日

【前置審査】

(73)【特許権者】

【識別番号】591230295

【氏名又は名称】ＮＴＴエレクトロニクス株式会社

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100082175

【弁理士】

【氏名又は名称】高田 守

(74)【代理人】

【識別番号】100106150

【弁理士】

【氏名又は名称】高橋 英樹

(74)【代理人】

【識別番号】100148057

【弁理士】

【氏名又は名称】久野 淑己

(72)【発明者】

【氏名】島崎 亜希子

(72)【発明者】

【氏名】中村 健

(72)【発明者】

【氏名】大西 隆之

(72)【発明者】

【氏名】佐野 卓

【審査官】 後藤 嘉宏

(56)【参考文献】

【文献】 特開２００７−２２８５１９（ＪＰ，Ａ）

【文献】 特開２００９−１１１６９１（ＪＰ，Ａ）

【文献】 特開２０１３−１３８５０２（ＪＰ，Ａ）

【文献】 特開２００６−１１５４８７（ＪＰ，Ａ）

【文献】 特開２０１４−０８２６３９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

入力画像から予測画像を減算する演算部と、
前記演算部の出力に対して直交変換を施す直交変換部と、
前記直交変換部の出力を量子化する量子化部と、
前記量子化部の出力を符号化する符号化部と、
前記入力画像がＩピクチャの場合は前記入力画像に対してイントラ予測を行ってイントラ予測モードの決定を行い、Ｐピクチャ及びＢピクチャの場合は前記入力画像に対してイントラ予測及びインター予測を行ってイントラ予測モードとインター予測モードから何れかの予測モードを決定する予測モード判定部とを備え、
前記予測モード判定部は、前記入力画像の各画素ブロックが平坦な領域であるか否かを判定するための平坦領域判別パラメータを算出し、前記入力画像の符号化対象ブロックの周囲のブロックの前記平坦領域判別パラメータに対して閾値判定した結果に応じたモードオフセット値を求め、前記符号化対象ブロックに対応する前記入力画像と前記予測画像との誤差と、重み付け係数が積算されたヘッダコストとを加算した値にさらに、前記モードオフセット値を加算した評価値をもとに、前記符号化対象ブロックにおける前記イントラ予測モードの中から最適なモードを選択して適用することを特徴とする動画像符号化装置。

【請求項2】

前記予測モード判定部は、前記入力画像の符号化対象ブロックの周囲のブロックの前記平坦領域判別パラメータに対して複数の閾値を用いて閾値判定を行って、前記平坦領域判別パラメータが大きいほど大きなオフセット値となるよう前記モードオフセット値を段階的に設定することを特徴とする請求項１に記載の動画像符号化装置。

【請求項3】

入力画像から予測画像を減算する演算部と、
前記演算部の出力に対して直交変換を施す直交変換部と、
前記直交変換部の出力を量子化する量子化部と、
前記量子化部の出力を符号化する符号化部と、
前記入力画像がＩピクチャの場合は前記入力画像に対してイントラ予測を行ってイントラ予測モードの決定を行い、Ｐピクチャ及びＢピクチャの場合は前記入力画像に対してイントラ予測及びインター予測を行ってイントラ予測モードとインター予測モードから何れかの予測モードを決定する予測モード判定部とを備え、
前記予測モード判定部は、前記入力画像の各画素ブロックが平坦な領域であるか否かを判定するための平坦領域判別パラメータを算出し、前記入力画像の符号化対象ブロックの周囲のブロックの前記平坦領域判別パラメータに対して閾値判定した結果に応じたイントラオフセット値を求め、前記符号化対象ブロックに対応する前記入力画像と前記予測画像との誤差と、重み付け係数が積算されたヘッダコストとを加算した値にさらに、前記イントラオフセット値を加算した評価値をもとに、前記符号化対象ブロックにおける前記イントラ予測モードと前記インター予測モードの何れかを選択して適用し、
前記予測モード判定部は、前記入力画像の符号化対象ブロックの周囲のブロックの前記平坦領域判別パラメータに対して複数の閾値を用いて閾値判定を行って、前記平坦領域判別パラメータが大きいほど大きなオフセット値となるよう前記イントラオフセット値を段階的に設定することを特徴とする動画像符号化装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像を符号化する動画像符号化装置に関する。

【背景技術】

【0002】

本来、符号化ではローカルデコード画像を用いてイントラ予測モードを判定し、ローカルデコード画像を用いて予測画像を生成するものである。しかし、これだと動画像符号化装置の並列処理化による高速化を行おうとした場合、高速化の効果を削ぐ。そこでイントラ予測モード判定は入力画像を用いることが多い。

【0003】

ただし、最終的な予測画像生成には必ずローカルデコード画像を用いるため、入力画像とローカルデコード画像に差があると、ローカルデコード画像から予測画像を生成したときに最適なイントラ予測モードが選択できないという問題が発生する。特に、額縁画像の黒い帯のように、画素値が平坦な領域で入力画像とローカルデコード画像に差異がある場合、適切な予測誤差が算出できず、誤差が大きいイントラ予測モードが選択されて視覚的に画質劣化が目立ってくる。額縁画像に類したものとしては、画面全体の画素値が平坦で一部に文字が書かれているタイトル画像が挙げられる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０−２８３７３９号公報

【特許文献2】特開２０１２−２４４３５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１では入力画像を用いてイントラ予測を行っているが、入力画像とローカルデコード画像の差異が大きい時には強制的にＤＣモードにしている。しかし、ＤＣモードは隣接画素データの平均を用いて予測画像を作成するため、画質劣化を抑制することは可能だが、画質改善の効果が弱い。また、入力画像とローカルデコード画像の差分を算出できない場合には特許文献１の技術を使用できない。

【0006】

特許文献２ではフェード時の画質の劣化を抑える方法である。重み付け予測のＯＮ／ＯＦＦを領域ごとに制御して切り替えるものであり、額縁の領域ではＯＦＦにするようにしている。しかし、フェードのない通常の映像では特許文献２の技術を使用できない。

【0007】

本発明は、上述のような課題を解決するためになされたもので、その目的は額縁放送のような動きのない画素値が平坦な領域を含む映像に対して画質を改善することができる動画像符号化装置を得るものである。

【課題を解決するための手段】

【0008】

本発明に係る動画像符号化装置は、入力画像から予測画像を減算する演算部と、前記演算部の出力に対して直交変換を施す直交変換部と、前記直交変換部の出力を量子化する量子化部と、前記量子化部の出力を符号化する符号化部と、前記入力画像がＩピクチャの場合は前記入力画像に対してイントラ予測を行ってイントラ予測モードの決定を行い、Ｐピクチャ及びＢピクチャの場合は前記入力画像に対してイントラ予測及びインター予測を行ってイントラ予測モードとインター予測モードから何れかの予測モードを決定する予測モード判定部とを備え、前記予測モード判定部は、前記入力画像の各画素ブロックが平坦な領域であるか否かを判定するための平坦領域判別パラメータを算出し、前記入力画像の符号化対象ブロックの周囲のブロックの前記平坦領域判別パラメータに対して閾値判定した結果に応じたモードオフセット値を求め、前記符号化対象ブロックに対応する前記入力画像と前記予測画像との誤差と、重み付け係数が積算されたヘッダコストとを加算した値にさらに、前記モードオフセット値を加算した評価値をもとに、前記符号化対象ブロックにおける前記イントラ予測モードの中から最適なモードを選択して適用することを特徴とする。

【発明の効果】

【0009】

本発明により、額縁放送のような動きのない画素値が平坦な領域を含む映像に対して画質を改善する。

【図面の簡単な説明】

【0010】

【図1】本発明の実施の形態に係る動画像符号化装置を示す図である。

【図2】予測モード判定部の処理フローを示す図である。

【図3】オフセット値算出フローを示す図である。

【図4】イントラ予測モードオフセット値算出フローを示す図である。

【図5】イントラオフセット値算出フローを示す図である。

【図6】イントラ予測モード決定フローを示す図である。

【図7】イントラ／インター判定処理フローを示す図である。

【図8】映像（入力画像）の一例を示す図である。

【図9】図８の四角で囲った平坦な部分について入力画像の画素値をａとしたときの符号化後の画素値との差分の度数分布を示す図である。

【発明を実施するための形態】

【0011】

図１は、本発明の実施の形態に係る動画像符号化装置を示す図である。演算部１は、入力画像から予測画像を減算する。直交変換部２は、演算部１の出力に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換を施す。なお、直交変換の方法は任意である。量子化部３は、直交変換部２の出力を量子化する。なお、量子化の方法は任意である。符号化部４は、量子化部３の出力を符号化してストリーム出力を生成する。

【0012】

逆量子化部５は、量子化部３の出力を逆量子化する。なお、逆量子化の方法は、量子化部３の量子化処理に対応する方法であればどのような方法でもよい。逆直交変換部６は、逆量子化部５の出力を逆直交変換する。なお、逆直交変換の方法は、直交変換部２の直交変換処理に対応する方法であればどのような方法でもよい。演算部７は、逆量子化部５の出力に予測画像を加算して、局所的に再構成された画像を得る。その再構成された画像は、デブロッキングフィルタ８とＳＡＯ(Sample Adaptive Offset)９によりフィルタ処理された後にフレームメモリ１０に記憶される。

【0013】

予測モード判定部１１は、入力画像のＩピクチャ、Ｐピクチャ、及びＢピクチャの種類に応じて異なる予測モードを判定する。具体的には、Ｉピクチャはイントラ予測のみ行うピクチャであるため、イントラ予測を行い予測モードを判定する。Ｐピクチャ又はＢピクチャの場合、イントラ予測およびインター予測を行い、イントラ予測モードとインター予測モードを判定する。次に判定したイントラ予測モードとインター予測モードの何れかを選択するイントラ／インター判定を行い予測モードを判定する。

【0014】

イントラ予測モードは符号化対象ブロックの周辺に位置する周辺領域の画像の画素値を用いてイントラ予測して判定する。また、インター予測モードは入力画像とフレームメモリ１０から供給される参照画像とを用いてインター予測を行い判定する。

【0015】

予測画像生成部１２は予測モード判定部１１で判定したモードと、フレームメモリ１０から供給される参照画像とを用いて予測画像を生成する。

【0016】

額縁放送などの画像の特徴を得るために入力画像の情報から算出できる特徴量を用いる。特徴量は輝度や色差の画素値の情報などがあり、ＣＵ(Coding Unit)やピクチャなどの単位で取得することができる。本実施の形態では額縁放送の特徴である動きのない画素値が平坦な領域を判別するために平坦領域判別パラメータを用いる。平坦領域判別パラメータの例としてアクティビティや隣接画素間差分絶対値和などが挙げられる。アクティビティは入力画像の画素値の分散度合いを示すパラメータであり、映像の複雑さを測る上で重要な特徴量である。隣接画素間差分絶対値和は隣接する画素との関係を示すパラメータであり、隣接画素の類似度や相違度を測る特徴量である。

【0017】

アクティビティは数式１から求められる。

ここで、ｎはブロックサイズ、Ｘは画素値、Ｘ（―）はブロックサイズ内の画素値Ｘの平均値を示す。なお、アクティビティを取得するブロックサイズは任意である。また、隣接画素間差分絶対値和は数式２から求められる。

ここで、ｎはブロックサイズ、Ｘ，Ｙは隣接する画素の画素値を示す。なお、隣接画素間差分絶対値和を取得するブロックサイズは任意である。

【0018】

Ｉピクチャについては、平坦領域判別パラメータをもとにオフセット値を求め、オフセット値を加算した評価値をもとにイントラ予測を実施する。また、Ｐピクチャ及びＢピクチャについては、平坦領域判別パラメータからオフセット値を求め、オフセット値を加算した評価値をもとにイントラ予測モードとインター予測モードの何れかを選択して入力画像の各ブロックに適用する。このようにモード決定に用いる評価値に平坦領域判別パラメータから求めたオフセット値を加算することで、額縁放送のような動きのない画素値が平坦な領域を含む映像に対して画質を改善する。

【0019】

図２は、予測モード判定部の処理フローを示す図である。まず、モードオフセット値及びイントラオフセット値に０を設定する。次に、符号化対象ピクチャがＩピクチャかどうかを判定する（ステップＳ１）。符号化対象ピクチャがＩピクチャの場合は、３５モードあるイントラ予測モードからイントラ予測モード評価値を用いて１モードを決定するイントラ予測を行う（ステップＳ２）。イントラ予測モード評価値は既存の評価値にイントラ予測モードオフセット値を加算した値である。イントラ予測モードオフセット値は平坦領域判別パラメータによって決まる値である。

【0020】

Ｉピクチャ以外（Ｐピクチャ又はＢピクチャ）の場合は、参照画像から動きベクトルを検出して最適な動きベクトルを決定するインター予測を行う（ステップＳ３）。また、Ｉピクチャの場合と同様にイントラ予測を行う（ステップＳ４）。こうしてインターとイントラで１つずつ最適なモードを決定する。

【0021】

次に、決定したインターの最適モードとイントラの最適モードからインター評価値とイントラ評価値を用いてベストモードを決定するイントラ／インター判定を行う（ステップＳ５）。なお、本発明はイントラ予測（ステップＳ２，Ｓ４）での改善とイントラ／インター判定（ステップＳ５）での改善を独立して設定することができる。具体的には、イントラ予測のみ有効にしたい場合はステップＳ５内のオフセット値の算出ブロックを呼ばない、イントラ／インター判定のみ有効にしたい場合はステップＳ２及びステップＳ４内のオフセット値の算出ブロックを呼ばないことで実現できる。

【0022】

また、額縁放送は平坦領域判別パラメータにより平坦であると判別される領域であるため、平坦でないと判別されたブロックからのイントラ予測方向が選択されないようにする必要がある。イントラ予測モードの決定やイントラ／インター判定では評価値が最も小さいモードが選択される。従って、モードの評価値を大きくすることで、そのモードを選択され難くすることができる。そのために、評価値をモード毎に算出し、オフセット値を評価値に加算して補正する。オフセット値は予測に用いる隣接ブロックの平坦領域判別パラメータと設定した閾値の大小関係から決定する。例えば、複数の閾値を設け、隣接ブロックの平坦領域判別パラメータが大きいほどオフセットを大きくするなど、段階的にオフセット値を変える。

【0023】

図３は、オフセット値算出フローを示す図である。まず、適応領域を限定しないかどうかを判断する（ステップＳ１１）。適用領域を特に限定しない場合には、全てのブロックにおいてオフセット値を加算した評価値を用いる（ステップＳ１２）。オフセット値算出（ステップＳ１２）において、イントラ予測時に用いるイントラ予測モードオフセット値は図４のフローを、イントラ／インター判定時に用いるイントラオフセット値は図５のフローを用いて算出する。

【0024】

適応領域を限定する場合には、符号化対象ブロックの平坦領域判別パラメータを取得する（ステップＳ１３）。符号化対象ブロックの平坦領域判別パラメータが指定した閾値以上かどうかを判断する（ステップＳ１４）。平坦領域判別パラメータが閾値より小さい場合にはオフセット値を加算した評価値を用いる（ステップＳ１５）。オフセット値算出（ステップＳ１５）において、イントラ予測時に用いるイントラ予測モードオフセット値は図４のフローを、イントラ／インター判定時に用いるイントラオフセット値は図５のフローを用いて算出する。

【0025】

平坦領域判別パラメータが閾値以上のブロックは画素値が大きく変化しており、黒い帯のような一定の画素値ではない。そこで、平坦領域判別パラメータが閾値以上の場合にはオフセット値に０を代入して本機能を適用しない（ステップＳ１６）。一般的には画素値が平坦でない領域の方が多いため、平坦領域判別パラメータに応じてオフセット値に０を代入し適用範囲を限定することで、画素値が平坦でない領域に悪影響が出ないようにする。

【0026】

図４は、イントラ予測モードオフセット値算出フローを示す図である。図５はイントラオフセット値算出フローを示す図である。図４及び図５では複数の閾値１〜ｎを設定して、閾値に従って異なるオフセット値を設定している。また、イントラ予測モードオフセット値算出では、イントラ予測に用いる隣接ブロックが変わるため、イントラ予測モード毎にオフセット値を設定する。

【0027】

イントラ予測モードは３５種類の様々な方向から予測することができ、符号化対象ブロックと類似したブロックから予測することで誤差が小さくなり、符号化効率が改善する。黒い帯のような動きのない画素値が平坦な領域では特に画素値の差が小さくても主観的に画質劣化が目立つ。そこで、算出したオフセット値を既存の評価値に加算することで、類似したブロックからの予測が選択し易くなる。

【0028】

図６はイントラ予測モード決定フローを示す図である。まず、ベストイントラ評価値に最大値を設定する（ステップＳ２１）。次に、イントラ予測モード（０〜３４）のループを開始する（ステップＳ２２）。次に、既存の評価値を算出する（ステップＳ２３）。既存の評価値は以下の数式３から算出する。
既存の評価値 ＝ Ｄ ＋ λ ＊ Ｈ ・・・数式３
ここで、Ｄは入力画像と予測画像の誤差、λは重み付け係数、Ｈは予測時に必要なヘッダコストを示す。評価値が小さい程、データ量が小さい又は入力画像との誤差も小さく符号化効率が良いモードであることを意味する。本実施の形態は、数式２に示した既存の評価値を見直さずそのまま使用しオフセット値を加算するだけで容易に実施することができる。

【0029】

次に、既存の評価値にモードオフセット値を加算して評価値（モード）を求める（ステップＳ２４）。次に、評価値（モード）がベストイントラ評価値より小さいかどうか判定する（ステップＳ２５）。大きい場合には、ベストイントラモードを更新せず次のイントラ予測モードの評価を行う。一方、小さい場合には、ベストイントラ評価値を評価値（モード）に、ベストイントラモードをモードに更新し（ステップＳ２６）、次のイントラ予測モードの評価を行う。全てのイントラ予測モードの評価が終了したら、イントラ予測モード（０〜３４）のループを終了する（ステップＳ２７）。

【0030】

このように予測モード毎に算出したオフセット値を用いることで、適切な予測モードが選択できるようになっている。例えば、上下が黒い帯の額縁放送の映像において、符号化対象ブロックが画面下部分の黒い帯の境界に接している場合に上隣接ブロックの平坦領域判別パラメータが大きいと、上方向の予測モードのオフセット値が大きくなり、上方向のイントラ予測が選択されにくくなる。これにより、黒い帯部分を符号化する場合には黒い帯部分をもとに予測をするため、予測残差が小さくなり、イントラブロックの画質が改善される。

【0031】

Ｐピクチャ及びＢピクチャについては、黒い帯のような動きのない画素値が平坦な領域では、イントラ予測よりインター予測を優先するように評価値にオフセットを加算する。一般的に平坦な領域ではインター予測で用いる参照画像の劣化は少なく、予測誤差が小さくなりやすい。さらに画素値が平坦な領域のインター予測は動きベクトルが小さいため符号量が小さくなる。よって、インター予測を優先する方がよい。

【0032】

図７は、イントラ／インター判定処理フローを示す図である。まず、既存イントラ評価値と既存インター評価値を算出する（ステップＳ３１，Ｓ３２）。次に、既存イントラ評価値にイントラオフセット値を加算してイントラ評価値を求める（ステップＳ３３）。次に、イントラ評価値が既存インター評価値より小さいかどうか判定する（ステップＳ３４）。イントラ評価値の方が小さい場合にはベストモードをイントラに決定する（ステップＳ３５）。そうでない場合にはベストモードをインターに決定する（ステップＳ３６）。このように本実施の形態ではイントラ／インター判定で用いる既存イントラ評価値にオフセット値を加算する処理を追加する。

【0033】

イントラ／インター判定では評価値が小さいほうが選択される。イントラオフセット値に正の値を設定すれば、イントラの評価値が大きくなりイントラが選択されにくくなる。逆にイントラオフセット値に負の値を設定すれば、イントラが選択されやすくなる。画質が劣化しているブロックがイントラの場合、イントラオフセット値に正の値を設定することで、予測誤差の大きいイントラをより選択しにくくし、インター予測を優先して選択することで画質を改善させることができる。イントラ／インター判定においてイントラブロックが選択された場合には既にイントラ予測で画像の改善が実施されている。

【0034】

図８は、映像（入力画像）の一例を示す図である。図９は、図８の四角で囲った平坦な部分について入力画像の画素値をａとしたときの符号化後の画素値との差分の度数分布を示す図である。本実施の形態の適用前と適用後の度数分布を比較すると適用後の方がａに近い画素値が多い。一般的に、符号化後の画素値は入力画像の画素値に近い方が劣化の少ない画質であると言える。従って、本実施の形態を適用することにより、入力画像の画素値に近く、劣化の少ない画像となることが確認された。

【符号の説明】

【0035】

１ 演算部、２ 直交変換部、３ 量子化部、４ 符号化部、１１ 予測モード判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】