特許 7068925 予測符号化法決定装置、動画像符号化装置、及び動画像復号装置、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-09

(45)【発行日】2022-05-17

(54)【発明の名称】予測符号化法決定装置、動画像符号化装置、及び動画像復号装置、並びにプログラム

(51)【国際特許分類】

   H04N 19/107 20140101AFI20220510BHJP

   H04N 19/136 20140101ALI20220510BHJP

   H04N 19/169 20140101ALI20220510BHJP

   H04N 19/177 20140101ALI20220510BHJP

   H04N 19/63 20140101ALI20220510BHJP

【ＦＩ】

H04N19/107

H04N19/136

H04N19/169 300

H04N19/177

H04N19/63

【請求項の数】 10

(21)【出願番号】P 2018098591

(22)【出願日】2018-05-23

(65)【公開番号】P2019205054

(43)【公開日】2019-11-28

【審査請求日】2021-04-21

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100143568

【弁理士】

【氏名又は名称】英 貢

(72)【発明者】

【氏名】松尾 康孝

(72)【発明者】

【氏名】市ヶ谷 敦郎

(72)【発明者】

【氏名】神田 菊文

【審査官】岩井 健二

(56)【参考文献】

【文献】特開２００９－１３０８６４（ＪＰ，Ａ）

【文献】特開２００２－０１０２５９（ＪＰ，Ａ）

【文献】特開２０００－２６１８０９（ＪＰ，Ａ）

【文献】坂本 悠輔 他，画像解析を用いたＨ．２６５／ＨＥＶＣ符号化の事前パラメータ推定に関する一検討，第３２回 画像符号化シンポジウム／第２２回 映像メディア処理シンポジウム，PCSJ/IMPS2017，2017年11月20日，P-4-12，pp.152-153

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

予測符号化処理前の動画像について複数の画面群に分割した所定グループ内の予測符号化法を自動選択し決定する予測符号化法決定装置であって、
前記予測符号化法の判定対象として予め定めた基準画像及び判定画像を当該所定グループ内から抽出し、ｐ（ｐ≧２）階ウェーブレットパケット解析処理によって、前記基準画像と前記判定画像のそれぞれについて周波数解析係数を算出するウェーブレットパケット解析部と、
前記周波数解析係数における任意の位相位置における各周波数帯域の要素値を特徴量として、前記基準画像と前記判定画像のそれぞれについて画面間マッチング処理を行い、所定の類似度評価指数に基づくマッチング量を算出するマッチング処理部と、
前記マッチング量に基づいて、当該所定グループ内の予測符号化法として画面間予測符号化処理とするか画面内予測符号化処理とするかを選択決定する予測符号化法選択決定部と、
を備えることを特徴とする予測符号化法決定装置。

【請求項2】

前記基準画像を当該所定グループ内の先頭フレームとし、前記判定画像を前記先頭フレーム以外の１以上のフレームとした当該マッチング量に基づいて、当該所定グループ内の各フレームの予測符号化法を逐次選択決定することを特徴とする、請求項１に記載の予測符号化法決定装置。

【請求項3】

前記基準画像を当該所定グループ内の先頭フレームとし、前記判定画像を前記先頭フレーム以外の１つのフレームとした当該マッチング量に基づいて、当該所定グループ内の全てのフレームの予測符号化法を一括して選択決定することを特徴とする、請求項１又は２に記載の予測符号化法決定装置。

【請求項4】

前記予測符号化法選択決定部は、当該所定グループ内の各画面に対し予め定めた基本の予測符号化法を適用することを前提とし、前記マッチング量に基づいて前記基本の予測符号化法とは異なる第２の予測符号化法を適用するよう切り替えて、当該所定グループ内の予測符号化法を決定することを特徴とする、請求項３に記載の予測符号化法決定装置。

【請求項5】

前記予測符号化法選択決定部は、当該所定グループ内の各画面に対し画面間予測符号化処理を含む予め定めた基本の予測符号化法を適用することを前提とし、前記マッチング量に基づいて、当該所定グループ内の全ての画面に対し画面内予測符号化処理のみを適用するよう切り替えて、当該所定グループ内の予測符号化法を決定することを特徴とする、請求項３又は４に記載の予測符号化法決定装置。

【請求項6】

前記マッチング処理部は、前記マッチング量を算出する際に、当該画面間マッチング処理に係る周波数解析係数毎のマッチング重みを設定し、少なくとも階数２の周波数帯域におけるマッチング重みの値を階数１の周波数帯域におけるマッチング重みの値より大きくして、当該マッチング量を算出することを特徴とする、請求項１から５のいずれか一項に記載の予測符号化法決定装置。

【請求項7】

前記マッチング処理部は、前記マッチング量を算出する際に、当該画面間マッチング処理に係る周波数解析係数毎のマッチング重みを設定し、当該基準画像と当該判定画像との間の時間距離が大きいほど該マッチング重みを大きくして、当該マッチング量を算出することを特徴とする、請求項１から６のいずれか一項に記載の予測符号化法決定装置。

【請求項8】

予測符号化処理前の動画像を入力して複数の画面群に分割し、当該複数の画面群に分割した所定グループを設定するグループ設定部と、
該所定グループ内の予測符号化法を自動選択し決定する、請求項１から７のいずれか一項に記載の予測符号化法決定装置と、
該所定グループ内の複数の画面群について、該予測符号化法決定装置によって指示された予測符号化法に基づき画面間予測符号化処理又は画面内予測符号化処理による予測符号化処理を施し、該予測符号化処理が施された符号化信号と、該予測符号化法決定装置によって指示された予測符号化法を示すヘッダ情報とを生成する予測符号化部と、
前記符号化信号に対し所定のエントロピー符号化処理を施し、前記ヘッダ情報を所定のストリームヘッダに書き込み、ビットストリームを生成するストリーム生成部と、
を備えることを特徴とする動画像符号化装置。

【請求項9】

請求項８に記載の動画像符号化装置からビットストリームを入力し、該ビットストリームから当該所定グループ単位で当該ヘッダ情報及び当該符号化信号を抽出するストリーム入力部と、
当該所定グループ単位で当該ヘッダ情報を基に、画面間予測符号化処理又は画面内予測符号化処理による予測符号化法を判別し、当該符号化信号に対して予測復号処理を施し、復元した動画像を生成する予測復号部と、
を備えることを特徴とする動画像復号装置。

【請求項10】

コンピューターを、請求項１から７のいずれか一項に記載の予測符号化法決定装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像の予測符号化処理を行う動画像符号化装置にて、予測符号化処理前の動画像について複数の画面群に分割した所定グループ内の予測符号化法を決定する予測符号化法決定装置、動画像符号化装置、及び動画像復号装置、並びにプログラムに関する。

【背景技術】

【0002】

動画像の圧縮符号化技術として、例えばＨ.２６４／ＭＰＥＧ－４ ＡＶＣ，Ｈ.２６５／ＭＰＥＧ－Ｈ ＨＥＶＣなど、予測符号化処理前の動画像について複数の画面群に分割した所定グループを設定し、その所定グループ内で、予測符号化法として予め選択された画面間予測符号化処理や画面内予測符号化処理を行ない、伝送するためのビットストリームを生成する技法が知られている。

【0003】

Ｈ.２６４／ＭＰＥＧ－４ ＡＶＣでは、当該所定グループとして予測符号化前の動画像について複数の画面群に分割したＧＯＰ（Group of Pictures）を設定する。そして、ＧＯＰ内の各画面（フレーム、又はスライス画面）について、画面内予測符号化処理を行うＩピクチャー、時間的に過去の画面から画面間予測符号化処理を行うＰピクチャー、又は時間的に前後に位置する画面から画面間予測符号化処理を行うＢピクチャーが予め選択される。尚、Ｈ.２６４／ＭＰＥＧ－４ ＡＶＣでは、ＧＯＰ内の全ての画面について画面内予測符号化処理のみの圧縮符号化方式による圧縮も可能である。

【0004】

また、Ｈ.２６５／ＭＰＥＧ－Ｈ ＨＥＶＣにおいても、当該所定グループとして予測符号化前の動画像について複数の画面群に分割したシーケンスを設定する。ＨＥＶＣ規格上ではＧＯＰという概念を導入していないが、このシーケンスがＧＯＰに相当する。そして、シーケンス内の各画面（フレーム画面、スライス画面、又はタイル画面）について、画面内予測符号化処理や画面間予測符号化処理を行う処理ユニットが予め選択される（例えば、非特許文献１参照）。尚、Ｈ.２６５／ＭＰＥＧ－Ｈ ＨＥＶＣにおいても、シーケンス内の全ての画面について画面内予測符号化処理のみの圧縮符号化方式による圧縮も可能である。

【0005】

ところで、画像内の周波数解析の１つとして、例えばウェーブレット解析やウェーブレットパケット解析が知られている（例えば、非特許文献２参照）。

【先行技術文献】

【非特許文献】

【0006】

【文献】大久保 榮監修、鈴木 輝彦、外２名、“Ｈ.２６５／ＨＥＶＣ教科書"、株式会社インプレスジャパン発行、２０１３年１０月２１日 初版発行

【文献】新井康平、“ウェーブレット解析の基礎理論”、森北出版株式会社、２０００年１１月 初版発行

【発明の概要】

【発明が解決しようとする課題】

【0007】

従来の動画像符号化装置では、符号化対象の動画像がどのような特徴量を持つものであるかを自動判定せずに、当該所定グループ内で固定の予測符号化法とするか、又は予め用意した複数種類の予測符号化法の組み合わせを基に主観的に決定することが多い。

【0008】

しかし、画面間予測符号化処理はその符号化信号の削減効果が大きいが、一般に、複雑な動きを持つなどのクリティカルな動画像に対し画面間予測符号化処理を施すと、符号化ビットレートが十分ではない場合、ブロック歪やフリッカなどのアーテイファクトが発生しやすい。このため、固定の予測符号化法や主観的な決定に基づく予測符号化法の選択では、予測符号化処理に対応する予測復号後の動画像品質の向上が望めない。

【0009】

従って、動画像の予測符号化処理を行う動画像符号化装置にて、当該所定グループ内の予測符号化法を決定するには、画質の観点から自動選択する技法が望まれる。

【0010】

また、従来技法において、当該所定グループ内の予測符号化法を自動選択する技法があったとしても、符号化対象の動画像における画面を分割した単位ブロックの信号値（画素値や、輝度信号又は色差信号等）そのものを特徴量とすることが想定される。しかし、この場合でも、その判別精度に改善の余地がある。従って、より高精度、且つ自動的に当該所定グループ内の予測符号化法を選択決定する技法が望まれる。

【0011】

そこで、本発明の目的は、予測符号化処理前の動画像について複数の画面群に分割した所定グループ内の予測符号化法を画質の観点から高精度に自動選択し決定する予測符号化法決定装置、動画像符号化装置、及び動画像復号装置、並びにプログラムを提供することにある。

【課題を解決するための手段】

【0012】

本発明の予測符号化法決定装置は、予測符号化処理前の動画像について複数の画面群に分割した所定グループ内の予測符号化法を自動選択し決定する予測符号化法決定装置であって、前記予測符号化法の判定対象として予め定めた基準画像及び判定画像を当該所定グループ内から抽出し、ｐ（ｐ≧２）階ウェーブレットパケット解析処理によって、前記基準画像と前記判定画像のそれぞれについて周波数解析係数を算出するウェーブレットパケット解析部と、前記周波数解析係数における任意の位相位置における各周波数帯域の要素値を特徴量として、前記基準画像と前記判定画像のそれぞれについて画面間マッチング処理を行い、所定の類似度評価指数に基づくマッチング量を算出するマッチング処理部と、前記マッチング量に基づいて、当該所定グループ内の予測符号化法として画面間予測符号化処理とするか画面内予測符号化処理とするかを選択決定する予測符号化法選択決定部と、を備えることを特徴とする。

【0013】

また、本発明の予測符号化法決定装置において、前記基準画像を当該所定グループ内の先頭フレームとし、前記判定画像を前記先頭フレーム以外の１以上のフレームとした当該マッチング量に基づいて、当該所定グループ内の各フレームの予測符号化法を逐次選択決定することを特徴とする。

【0014】

また、本発明の予測符号化法決定装置において、前記基準画像を当該所定グループ内の先頭フレームとし、前記判定画像を前記先頭フレーム以外の１つのフレームとした当該マッチング量に基づいて、当該所定グループ内の全てのフレームの予測符号化法を一括して選択決定することを特徴とする。

【0015】

また、本発明の予測符号化法決定装置において、前記予測符号化法選択決定部は、当該所定グループ内の各画面に対し予め定めた基本の予測符号化法を適用することを前提とし、前記マッチング量に基づいて前記基本の予測符号化法とは異なる第２の予測符号化法を適用するよう切り替えて、当該所定グループ内の予測符号化法を決定することを特徴とする。

【0016】

また、本発明の予測符号化法決定装置において、前記予測符号化法選択決定部は、当該所定グループ内の各画面に対し画面間予測符号化処理を含む予め定めた基本の予測符号化法を適用することを前提とし、前記マッチング量に基づいて、当該所定グループ内の全ての画面に対し画面内予測符号化処理のみを適用するよう切り替えて、当該所定グループ内の予測符号化法を決定することを特徴とする。

【0017】

また、本発明の予測符号化法決定装置において、前記マッチング処理部は、前記マッチング量を算出する際に、当該画面間マッチング処理に係る周波数解析係数毎のマッチング重みを設定し、少なくとも階数２の周波数帯域におけるマッチング重みの値を階数１の周波数帯域におけるマッチング重みの値より大きくして、当該マッチング量を算出することを特徴とする。

【0018】

また、本発明の予測符号化法決定装置において、前記マッチング処理部は、前記マッチング量を算出する際に、当該画面間マッチング処理に係る周波数解析係数毎のマッチング重みを設定し、当該基準画像と当該判定画像との間の時間距離が大きいほど該マッチング重みを大きくして、当該マッチング量を算出することを特徴とする。

【0019】

更に、本発明の動画像符号化装置は、予測符号化処理前の動画像を入力して複数の画面群に分割し、当該複数の画面群に分割した所定グループを設定するグループ設定部と、該所定グループ内の予測符号化法を自動選択し決定する、本発明の予測符号化法決定装置と、該所定グループ内の複数の画面群について、該予測符号化法決定装置によって指示された予測符号化法に基づき画面間予測符号化処理又は画面内予測符号化処理による予測符号化処理を施し、該予測符号化処理が施された符号化信号と、該予測符号化法決定装置によって指示された予測符号化法を示すヘッダ情報とを生成する予測符号化部と、前記符号化信号に対し所定のエントロピー符号化処理を施し、前記ヘッダ情報を所定のストリームヘッダに書き込み、ビットストリームを生成するストリーム生成部と、を備えることを特徴とする。

【0020】

更に、本発明の動画像復号装置は、本発明の動画像符号化装置からビットストリームを入力し、該ビットストリームから当該所定グループ単位で当該ヘッダ情報及び当該符号化信号を抽出するストリーム入力部と、当該所定グループ単位で当該ヘッダ情報を基に、画面間予測符号化処理又は画面内予測符号化処理による予測符号化法を判別し、当該符号化信号に対して予測復号処理を施し、復元した動画像を生成する予測復号部と、を備えることを特徴とする。

【0021】

更に、本発明のプログラムは、コンピューターを、本発明の予測符号化法決定装置として機能させるためのプログラムとして構成する。

【発明の効果】

【0022】

本発明によれば、画面間予測符号化処理ではクリティカルな動画像で発生しやすい符号化劣化を抑制し、トータルでの主観画質を向上させることができる。

【図面の簡単な説明】

【0023】

【図1】本発明による一実施形態の予測符号化法決定装置を備える動画像符号化装置の概略構成を示すブロック図である。

【図2】本発明による一実施形態の予測符号化法決定装置における処理を示すフローチャートである。

【図3】本発明による一実施形態の予測符号化法決定装置における２階ウェーブレットパケット解析によって得られる周波数帯域を示す図である。

【図4】本発明による一実施形態の予測符号化法決定装置におけるマッチング処理部による周波数解析係数に基づくフレーム間マッチング処理の説明図である。

【図5】本発明による一実施形態の動画像復号装置の概略構成を示すブロック図である。

【図6】（ａ）は、或る動画像のフレームの画面間予測符号化処理によって符号化された信号を復号した際の画像例を示す図であり、（ｂ）は当該フレームについて本発明による一実施形態の予測符号化法決定装置によって画面内予測符号化処理を自動選択し、本発明に係る動画像符号化装置によって符号化された信号を動画像復号装置によって符号化された信号を復号した際の画像例を示す図である。

【発明を実施するための形態】

【0024】

以下、本発明による一実施形態の予測符号化法決定装置１０、及びこれを備える動画像符号化装置１、並びに動画像復号装置２について、図面を参照して詳細に説明する。

【0025】

〔動画像符号化装置〕
図１は、本発明による一実施形態の予測符号化法決定装置１０を備える動画像符号化装置１の概略構成を示すブロック図である。動画像符号化装置１は、例えばＨ.２６４／ＭＰＥＧ－４ ＡＶＣ，Ｈ.２６５／ＭＰＥＧ－Ｈ ＨＥＶＣなどに代表される、予測符号化法として画面間予測符号化処理及び画面内予測符号化処理を有する装置であり、予測符号化法決定装置１０、グループ設定部１１、予測符号化部１２、及びストリーム生成部１３を備える。

【0026】

グループ設定部１１は、予測符号化処理前の動画像を入力して複数の画面群に分割し、当該複数の画面群に分割した所定グループを設定し、当該所定グループ内の複数の画面群を予測符号化部１２に出力する。ここで、当該画面は、フレーム画面、スライス画面、又はタイル画面とすることができる。

【0027】

予測符号化法決定装置１０は、まず、当該所定グループ内に含まれる、予測符号化法の判定対象の予め定めた複数の入力画像（基準画像及び判定画像）を抽出する。続いて、予測符号化法決定装置１０は、当該複数の入力画像（基準画像及び判定画像）を基に、当該所定グループ内の全てのフレームについて、画面間予測符号化処理又は画面内予測符号化処理による予測符号化法を決定する。そして、予測符号化法決定装置１０は、予測符号化部１２に対し、その決定した予測符号化法を指示する。

【0028】

ここで、基準画像は当該所定グループ内の先頭に位置する画面であり、判定画像は当該所定グループ内の基準画像以外の１以上の画面であり、好適には当該所定グループ内の最終フレーム内の一画面とすることができる。

【0029】

予測符号化部１２は、グループ設定部１１から入力される当該所定グループ内の複数の画面群について、予測符号化法決定装置１０によって指示された予測符号化法に基づき画面間予測符号化処理又は画面内予測符号化処理による予測符号化処理を施し、該予測符号化処理が施された符号化信号をストリーム生成部１３に出力する。尚、予測符号化部１２は、予測符号化法決定装置１０によって指示された予測符号化法を示すヘッダ情報も併せてストリーム生成部１３に出力する。

【0030】

ストリーム生成部１３は、予測符号化部１２から得られる符号化信号に対し所定のエントロピー符号化処理（ＣＡＶＬＣやＣＡＢＡＣ等）を施し、予測符号化部１２から得られるヘッダ情報をＧＯＰヘッダやシーケンスヘッダ等の所定のストリームヘッダに書き込み、後述する動画像復号装置２へ伝送するためのビットストリームを生成する。

【0031】

〔予測符号化法決定装置〕
図１に示すように、予測符号化法決定装置１０は、ウェーブレットパケット解析部１０１、マッチング処理部１０２、及び予測符号化法選択決定部１０３を備える。図２は、予測符号化法決定装置１０における処理を示すフローチャートであり、図２を参照しながら、図１に示す予測符号化法決定装置１０を詳細に説明する。

【0032】

まず、ウェーブレットパケット解析部１０１は、符号化処理前の動画像の当該所定グループ内に含まれる、予測符号化法の判定対象の予め定めた複数の入力画像（基準画像及び判定画像）を抽出する。そして、ウェーブレットパケット解析部１０１は、外部設定されるウェーブレットパケット解析階数ｐ（ｐは２以上の整数）に基づき、抽出した複数の入力画像（基準画像及び判定画像）の各々に対し、パーセバルの定理を満たすようにｐ階ウェーブレットパケット解析処理を実行する（ステップＳ１）。これにより、位相遅延を補償して安定した高速処理が実現される。ｐ階ウェーブレットパケット解析処理に用いるウェーブレットフイルタは、パーセバルの定理を満たすものであればよく、例えば線形位相性を持ち、差分特徴量を求めることができるＨａａｒフィルタとしてもよい。

【0033】

ここで、理解を簡単化するために、ｐ＝２とし、当該所定グループはフレーム単位で分割（本例では８分割）されているものとし、基準画像は当該所定グループ内の先頭フレーム（時刻ｔ＝ｔ_１）、判定画像は最終フレーム（時刻ｔ＝ｔ_８）とする。

【0034】

（ウェーブレットパケット解析部）
ウェーブレットパケット解析部１０１は、ｐ階ウェーブレットパケット解析処理によって、基準画像と判定画像のそれぞれについて周波数解析係数Ｃ^ｍ，ｎ（ｔ）を算出し、マッチング処理部１０２に出力する。

【0035】

例えば、図３には、ｐ＝２としたときの２階ウェーブレットパケット解析処理によって得られる周波数解析係数Ｃ^ｍ，ｎ（ｔ）を示している。尚、図３は放送カメラで撮像された所謂８Ｋの動画像の画像サイズ（水平解像度８Ｋ（７６８０画素）×垂直解像度４Ｋ（４３２０画素））のフレーム画像を入力画像とした例であり、この入力画像に対しそれぞれ水平・垂直方向に２階ウェーブレットパケット解析処理を行うことで、水平周波数×垂直周波数で表される図示するような周波数解析係数Ｃ^ｍ，ｎに分解される。ここで、ｍ，ｎは、それぞれ周波数解析係数Ｃ^ｍ，ｎの水平，垂直方向の帯域番号である。そして周波数解析係数Ｃ^ｍ，ｎは任意の位相位置｛ｉ，ｊ｝における各周波数帯域の要素値α^ｍ，ｎ _ｉ，ｊから構成される。ここで、ｉ，ｊは、それぞれＣ^ｍ，ｎ内の水平，垂直方向の位相位置である。そして、ウェーブレットパケット解析処理時の各階の係数値間には、パーセバルの法則が成り立つものとする。

【0036】

このように、複数の入力画像（基準画像及び判定画像）の各々に対し、ｐ階ウェーブレットパケット解析処理を施すことで、各周波数帯域の要素値α^ｍ，ｎ _ｉ，ｊ（ｔ）を持つ各周波数解析係数Ｃ^ｍ，ｎ（ｔ）を得ることができる。

【0037】

（マッチング処理部）
次に、マッチング処理部１０２は、ウェーブレットパケット解析部１０１から得られる複数の入力画像（基準画像及び判定画像）の各々における各周波数解析係数Ｃ^ｍ，ｎ（ｔ）の要素値α^ｍ，ｎ _ｉ，ｊに基づき、位置合わせを行う画面間（本例ではフレーム間）の位置合わせを行うマッチング処理を行う。まず、マッチング処理部１０２は、そのマッチング処理に先立って、外部設定により、当該画面間（本例ではフレーム間）のマッチング処理に係る各周波数解析係数Ｃ^ｍ，ｎ（ｔ）毎のマッチング重みｂ^ｍ，ｎを設定する（ステップＳ２）。

【0038】

マッチング重みｂ^ｍ，ｎの設定値は、常にｂ^ｍ，ｎ＝１とすることも可能である。しかし、例えばＨａａｒフィルタによる２階ウェーブレットパケット解析処理を経て、階数２の周波数帯域の周波数解析係数｛Ｃ^３，３，Ｃ^４，３，Ｃ^３，４，Ｃ^４，４｝を算出すると、この階数２の周波数解析係数は、予測符号化法を選択決定するためのマッチング処理にとって重要な２次微分成分となる。このため、階数１の周波数帯域の周波数解析係数のマッチング処理ではｂ^ｍ，ｎ＝１とし、階数２の周波数帯域の周波数解析係数のマッチング処理ではそのマッチング重みの値を増してｂ^ｍ，ｎ＞１（例えば、ｂ^ｍ，ｎ＝１．７等）とすることができる。

【0039】

更に、マッチング重みｂ^ｍ，ｎの設定値は、ｐ＞３とした３階以上のウェーブレットパケット解析処理を経ているときも、階数２の帯域の周波数解析係数のマッチング処理におけるマッチング重みｂ^ｍ，ｎの値が他の階層に比べて最大になるようにするのが好適である。例えば、マッチング重みｂ^ｍ，ｎの設定値として、階数１に係るマッチング処理ではｂ^ｍ，ｎ＝１とし、階数２に係るマッチング処理ではｂ^ｍ，ｎ＝１．７とし、階数３に係るマッチング処理ではｂ^ｍ，ｎ＝０．８とし、階数４に係るマッチング処理ではｂ^ｍ，ｎ＝０．７とするなどとするのが好適である。

【0040】

更に、マッチング重みｂ^ｍ，ｎの設定値として、当該所定グループ内のマッチングを行うフレーム間の時間距離に応じて、当該基準画像と当該判定画像との間の時間距離が大きいほどマッチング重みｂ^ｍ，ｎを大きくする（影響を大きくする）のが好適である。例えば、当該所定グループがフレーム単位で８分割されている場合、先頭フレーム（時刻ｔ＝ｔ_１）と、これに続く第２フレーム（時刻ｔ＝ｔ_２）との間でマッチング量を判定する場合ではｂ^ｍ，ｎに係数ａ_１を乗じるものとする。一方で、先頭フレーム（時刻ｔ＝ｔ_１）と最終フレーム（時刻ｔ＝ｔ_８）との間でマッチング量を判定する場合ではｂ^ｍ，ｎに係数ａ_８を乗じるものとする。そして、ａ_１＜ａ_８となるようにする。

【0041】

続いて、マッチング処理部１０２は、ウェーブレットパケット解析部１０１から得られる複数の入力画像（基準画像及び判定画像）を互いに比較して、当該マッチング重みｂ^ｍ，ｎに従う周波数解析係数Ｃ^ｍ，ｎの各周波数待機における要素値α^ｍ，ｎ _ｉ，ｊに基づく位置合わせを行う画面（本例ではフレーム）間マッチング処理により、マッチング量を算出する（ステップＳ３）。

【0042】

より具体的には、マッチング処理部１０２は、複数の入力画像（基準画像及び判定画像）の各々における周波数解析係数Ｃ^ｍ，ｎ、及び外部設定されたマッチング重みｂ^ｍ，ｎを入力し、Ｃ^ｍ，ｎ内の任意の位相位置｛ｉ，ｊ｝の要素値α^ｍ，ｎ _ｉ,ｊを特徴量として、画面（本例ではフレーム）間のマッチング処理を行い、その結果にｂ^ｍ，ｎを乗じた値が所定の閾値を超える個数をマッチング量としてカウントする。

【0043】

ところで、予測符号化法決定装置１０は、当該所定グループ内の各画面（本例ではフレーム）間のマッチング処理を経て、各画面を個別に、画面間予測符号化処理又は画面内予測符号化処理のいずれかの予測符号化法を決定する構成とすることができる。

【0044】

ただし、予測符号化法決定装置１０の処理の高速化のために、当該所定グループとして例えばＧＯＰを例にすると、ＧＯＰサイズが８、ＧＯＰ構造の各ピクチャーが先頭から｛Ｉ，Ｐ，Ｂ，Ｂ，Ｂ，Ｂ，Ｂ，Ｂ，Ｂ｝のランダムアクセス（Random Access）を基本の予測符号化法としておく。そして、予測符号化法決定装置１０は、マッチング処理部１０２によるフレーム間マッチング処理を経て、当該基本の予測符号化法を、これとは異なる第２の予測符号化法に切り替える構成とするのが好適である。

【0045】

例えば第２の予測符号化法として、当該所定グループ（例えばＧＯＰ）内の全ての画面について画面内予測符号化処理のみの圧縮符号化方式とすることができる。

【0046】

好適には、予測符号化法決定装置１０は、その処理の高速化の観点から、基準画像である先頭フレームから、最も時間方向の距離が遠い最終フレームを判定画像とし、この先頭フレームと最終フレームとのフレーム間マッチング処理のみで、当該所定グループ内の全てのフレームに対する当該基本の予測符号化法を、これとは異なる第２の予測符号化法に切り替えるのが好適である。

【0047】

そこで、本例では、予測符号化法決定装置１０は、最も時間方向の距離が遠い関係にある先頭フレームと最終フレームとの類似度が高い場合には当該基本の予測符号化法とし、先頭フレームと最終フレームとの類似度が低い場合では第２の予測符号化法として切り替えるようにする。

【0048】

また、本発明に係る予測符号化法決定装置１０は、単位ブロックの信号値（画素値や、輝度信号又は色差信号等）そのものを特徴量とするものではなく、階層ｐ≧２とした複数次元の周波数解析係数Ｃ^ｍ，ｎ（ｔ）の要素値α^ｍ，ｎ _ｉ,ｊ（ｔ）を特徴量とし、周波数解析係数Ｃ^ｍ，ｎ（ｔ）に基づく画面間マッチング処理であるため、その類似度判定の確度が高くなる。

【0049】

図４は、予測符号化法決定装置１０におけるマッチング処理部１０２による周波数解析係数に基づくフレーム間マッチング処理の説明図である。基準画像は当該所定グループ内の先頭フレーム（時刻ｔ＝ｔ_１）、判定画像は最終フレーム（時刻ｔ＝ｔ_８）である。任意の位相位置｛ｉ，ｊ｝からの位相移動量を｛ｘ，ｙ｝、マッチング処理の類似度評価指数として例えばＳＡＤ（Sum of Absolute Difference）を用いて、そのＳＡＤ評価による差分値を評価値ｄ_ｉ，ｊ（ｔ）とする。尚、類似度評価指数として、ＳＡＤ以外にも、ＳＳＤ（Sum of Squared Difference），ＮＣＣ（Normalized Cross-Correlation)，ＺＮＣＣ（Zero-means Normalized Cross-Correlation）等を利用できる。

【0050】

図４に示すように、本例のマッチング処理部１０２は、先頭フレームの周波数解析係数Ｃ^ｍ，ｎ（ｔ_１）と、最終フレームの周波数解析係数Ｃ^ｍ，ｎ（ｔ_８）におけるそれぞれの任意の位相位置｛ｉ，ｊ｝の要素値α^ｍ，ｎ _ｉ,ｊ（ｔ_１）とα^ｍ，ｎ _ｉ,ｊ（ｔ_８）の画面（本例ではフレーム）間マッチング処理を行う。

【0051】

このフレーム間マッチング処理によるマッチング点の評価値ｄ_ｉ，ｊ（ｔ）は、以下の式（１）より算出される。

【0052】

【数1】

【0053】

つまり、本例のマッチング処理部１０２は、先頭フレームの要素値α^ｍ，ｎ _ｉ,ｊ（ｔ_１）に対する最終フレームの周波数解析係数Ｃ^ｍ，ｎ（ｔ_８）内のマッチング点を、式（１）の右辺に示されるように、
Σ⁴ _m=1Σ⁴ _n=1｜α^m,n _i,j(t₁)-α^m,n _i+x,j+y(t₈)｜b^m,n
が最小となる位相移動量｛ｘ，ｙ｝であるα^ｍ，ｎ _{ｉ＋ｘ,ｊ＋ｙ}（ｔ_８）として判定できる。

【0054】

そして、マッチング処理部１０２は、以下の式（２）に示すカウント関数Countに基づいて、閾値をτとして、∀｛ｉ，ｊ｝における評価値ｄ_ｉ，ｊ（ｔ）がτ以下となる個数ｎｕｍ（ｔ）を算出する。ここでτは、例えば３２とする。

【0055】

【数2】

【0056】

マッチング処理部１０２は、式（２）により、評価値ｄ_ｉ，ｊ（ｔ）が閾値τ以下となる個数ｎｕｍ（ｔ）を算出すると、そのｎｕｍ（ｔ）を当該所定グループ内のフレーム間マッチング処理のマッチング量として予測符号化法選択決定部１０３に出力する。尚、位相移動量｛ｘ，ｙ｝の範囲は、動画像符号化の画面間（本例ではフレーム間）予測に係る動き探索範囲が既知である場合には、その範囲に合わせることで、より高速な処理が可能となる。

【0057】

（予測符号化法選択決定部）
予測符号化法選択決定部１０３は、マッチング処理部１０２から当該所定グループ（例えばＧＯＰ）内のマッチング量ｎｕｍ（ｔ）を入力し、そのマッチング量ｎｕｍ（ｔ）の個数に基づいて、当該所定グループ内の予測符号化法として画面間予測符号化処理とするか画面内予測符号化処理とするかを選択決定し、予測符号化部１２に対し、その決定した予測符号化法を指示する（ステップＳ４）。

【0058】

より具体的に、予測符号化法選択決定部１０３は、そのマッチング量ｎｕｍ（ｔ）の個数が第２閾値以上であれば画面間予測符号化処理とし、当該第２閾値未満であれば画面内予測符号化処理として選択決定する。

【0059】

尚、当該所定グループ（例えばＧＯＰ）内で、基準画像である先頭フレーム（ｔ_１）と、そこから最も時間方向の距離が遠い最終フレーム（ｔ_８）のみとの比較でマッチング処理を行う構成とする以外に、当該所定グループ（例えばＧＯＰ）内で、より多くのフレームに対しマッチング処理を行うことができる。

【0060】

そして、当該所定グループ（例えばＧＯＰ）内で、より多くのフレームに対しマッチング処理を行う場合でも、１つでも画面間予測符号化処理として選択決定するときは、予測符号化法選択決定部１０３は、当該所定グループ（例えばＧＯＰ）内の全てのフレームを画面内予測符号化処理として選択決定するのが好適である。これにより、主観画質が高くなり、処理速度も向上する。

【0061】

また、予測符号化法決定装置１０が処理する当該複数の入力画像（基準画像及び判定画像）は、予測符号化処理前の動画像から切り出されたＲＧＢ色の色空間毎とすることも可能であるが、グレー化するか又は輝度信号に変換された画像とすることができる。そして、ＲＧＢ色の色空間毎に基準画像と判定画像の類似度を判定する場合において、その色空間の１つでも画面間予測符号化処理として選択決定するときは、予測符号化法選択決定部１０３は、当該所定グループ（例えばＧＯＰ）内の全てのフレームを画面内予測符号化処理として選択決定するのが好適である。これにより、主観画質が高くなり、処理速度も向上する。

【0062】

以上のように、予測符号化法決定装置１０は、当該所定グループに対する基本の予測符号化法を予め定めておき、階層ｐ≧２とした複数次元の周波数解析係数Ｃ^ｍ，ｎ（ｔ）の要素値α^ｍ，ｎ _ｉ,ｊ（ｔ）を特徴量とし、基準画像と１以上の判定画像における周波数解析係数Ｃ^ｍ，ｎ（ｔ）に基づくマッチング処理に基づき、当該基本の予測符号化法を、これとは異なる第２の予測符号化法に切り替えるのが好適である。特に、基本の予測符号化法は画面間予測符号化処理を含むものとし、第２の予測符号化法は画面内予測符号化処理のみとするのが好適である。

【0063】

これにより、予測符号化法決定装置１０は、動画像の予測符号化部１２の前段で画面間予測符号化の難易度を推定して、難易度が高い場合は当該所定グループ（例えばＧＯＰ）内では画面内予測符号化処理へ切り替えさせることができる。

【0064】

そして、動画像符号化装置１における予測符号化部１２は、グループ設定部１１から入力される当該所定グループ内の複数の画面群について、予測符号化法決定装置１０によって指示された予測符号化法に基づく予測符号化処理を施し、該予測符号化処理が施された符号化信号と、当該予測符号化法を示すヘッダ情報をストリーム生成部１３に出力する。

【0065】

動画像符号化装置１におけるストリーム生成部１３は、予測符号化部１２から得られる符号化信号に対し所定のエントロピー符号化処理（ＣＡＶＬＣやＣＡＢＡＣ等）を施し、予測符号化部１２から得られるヘッダ情報をＧＯＰヘッダやシーケンスヘッダ等の所定のストリームヘッダに書き込み、後述する動画像復号装置２へ伝送するためのビットストリームを生成する。

【0066】

〔動画像符号化装置〕
図５は、本発明による一実施形態の動画像復号装置２の概略構成を示すブロック図である。動画像復号装置２は、ストリーム入力部２１、及び予測復号部２２を備える。

【0067】

ストリーム入力部２１は、動画像符号化装置１から伝送されるビットストリームを入力し、ビットストリームから当該所定グループ単位で当該ヘッダ情報及び当該符号化信号を抽出し、予測復号部２２に出力する。

【0068】

予測復号部２２は、当該所定グループ単位で当該ヘッダ情報を基に、画面間予測符号化処理又は画面内予測符号化処理による予測符号化法を判別し、当該符号化信号に対して予測復号処理を施し、復元した動画像を生成して外部に出力する。

【0069】

これにより、複雑な動きを持つなどの画面間予測符号化処理ではクリティカルな動画像で発生しやすい符号化劣化を抑制することができ、トータルでの主観画質を向上させることができる。

【0070】

図６（ａ）は、或る動画像のフレームの画面間予測符号化処理によって符号化された信号を復号した際の画像例を示す図である。これに対し、図６（ｂ）は当該フレームについて本発明による一実施形態の予測符号化法決定装置１０によって画面内予測符号化処理を自動選択し、本発明に係る動画像符号化装置１によって符号化された信号を動画像復号装置２によって復号した際の画像例を示す図である。

【0071】

図６（ａ）に対比して示す図６（ｂ）に示すように、複雑な動きを持つなどの画面間予測符号化処理ではクリティカルな動画像で発生しやすい符号化劣化が抑制されていることが分かる。

【0072】

以上の実施形態における予測符号化法決定装置１０、並びに動画像符号化装置１及び動画像復号装置２は、それぞれコンピューターにより構成することができ、予測符号化法決定装置１０の各処理部を機能させるためのプログラムを用いることができる。具体的には、予測符号化法決定装置１０、或いは動画像符号化装置１又は動画像復号装置２の各処理部を制御するための制御部をコンピューター内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各処理部を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピューターに、ＣＰＵによって該プログラムを実行させることにより、予測符号化法決定装置１０、或いは動画像符号化装置１又は動画像復号装置２の各処理部の有する機能を実現させることができる。更に、予測符号化法決定装置１０、或いは動画像符号化装置１又は動画像復号装置２の各処理部の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納させることができる。そのような記憶部は、装置内部のＲＡＭ又はＲＯＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、コンピューターで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。更に、そのようなコンピューターに、予測符号化法決定装置１０、或いは動画像符号化装置１又は動画像復号装置２の各処理部として機能させるためのプログラムは、コンピューター読取り可能な記録媒体に記録することができる。また、予測符号化法決定装置１０、或いは動画像符号化装置１又は動画像復号装置２の各処理部をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。

【0073】

以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述の実施形態の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した実施形態の例では、主として、Ｈａａｒフィルタによる２階ウェーブレットパケット解析処理を用いて周波数解析係数を算出する例を説明したが、Ｈａａｒフィルタ以外でもよく、更に３階以上のウェーブレットパケット解析処理とすることもできる。

【0074】

また、上述した実施形態の例では、主として、予測符号化法決定装置１０は、基準画像を当該所定グループ内の先頭フレームとし、判定画像は前記先頭フレーム以外の１つのフレームとし当該マッチング量に基づいて、当該所定グループ内の全てのフレームの予測符号化法を一括して選択決定する例を説明した。一方で、予測符号化法決定装置１０は、基準画像を当該所定グループ内の先頭フレームとし、判定画像は前記先頭フレーム以外の１以上のフレームとした当該マッチング量に基づいて、当該所定グループ内の各フレームの予測符号化法を逐次選択決定する構成とすることもできる。

【0075】

従って、本発明に係る予測符号化法決定装置１０、並びに動画像符号化装置１及び動画像復号装置２は、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。

【産業上の利用可能性】

【0076】

本発明によれば、画面間予測符号化処理ではクリティカルな動画像で発生しやすい符号化劣化を抑制し、トータルでの主観画質を向上させることができるため、画面間予測符号化処理又は画面内予測符号化処理の予測符号化法を選択する用途に有用である。

【符号の説明】

【0077】

１ 動画像符号化装置
２ 動画像復号装置
１０ 予測符号化法決定装置
１１ グループ設定部
１２ 予測符号化部
１３ ストリーム生成部
２１ ストリーム入力部
２２ 予測復号部
１０１ ウェーブレットパケット解析部
１０２ マッチング処理部
１０３ 予測符号化法選択決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】