特許 7557298 映像符号化装置、映像復号装置及びこれらのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-18

(45)【発行日】2024-09-27

(54)【発明の名称】映像符号化装置、映像復号装置及びこれらのプログラム

(51)【国際特許分類】

   H04N 19/124 20140101AFI20240919BHJP

   H04N 19/186 20140101ALI20240919BHJP

   H04N 19/154 20140101ALI20240919BHJP

   H04N 19/46 20140101ALI20240919BHJP

   H04N 19/176 20140101ALI20240919BHJP

【ＦＩ】

H04N19/124

H04N19/186

H04N19/154

H04N19/46

H04N19/176

【請求項の数】 5

(21)【出願番号】P 2020122673

(22)【出願日】2020-07-17

(65)【公開番号】P2022019091

(43)【公開日】2022-01-27

【審査請求日】2023-06-16

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100143568

【弁理士】

【氏名又は名称】英 貢

(72)【発明者】

【氏名】森田 泰子

(72)【発明者】

【氏名】井口 和久

【審査官】間宮 嘉誉

(56)【参考文献】

【文献】特開２０２０－０２８０２２（ＪＰ，Ａ）

【文献】国際公開第２０１９／０５０９７２（ＷＯ，Ａ２）

【文献】特表２０１８－５３４８８３（ＪＰ，Ａ）

【文献】特開２０１５－５３６８０（ＪＰ，Ａ）

【文献】特開２０１６－２０１８２４（ＪＰ，Ａ）

【文献】特開平７－２８８８４５（ＪＰ，Ａ）

【文献】XU, Meng et al.，Adaptive Chroma QP Offset on top of Tencent's CfP Response，JVET-J0055 (version 3)，ITU，2018年04月15日，pp.1-3，[online]，[retrieved on 2024-06-27]，Retrieved from the Internet: <URL: https://jvet-experts.org/doc_end_user/documents/10_San%20Diego/wg11/JVET-J0055-v3.zip>，JVET-J0055-v3.docx

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

輝度信号と色差信号からなる映像フレームを符号化する映像符号化装置であって、
前記映像フレームについて所定のブロック単位で輝度信号及び色差信号をそれぞれ個別に符号化する映像符号化部と、
符号化パラメータを可変制御して、前記映像符号化部を制御する符号化制御部と、を備え、
前記符号化制御部は、符号化対象とする所定のブロックの輝度信号の劣化が大きくなるか否かを予測し、当該劣化が大きくなると予測した場合には色差信号の再現度を高くするように前記映像符号化部を制御するとともに、前記劣化が大きいと予測した場合に、更に前記映像フレームの前記符号化対象とする所定のブロックの色差信号が無彩色から所定範囲内に有るか否かを判定し、無彩色から所定範囲内に有ると判定した場合には当該色差信号を無彩色とみなし、完全に無彩色化する符号化パラメータを決定するか、又は無彩色化するよう指示するメタ情報を補助情報に含めて映像復号装置側に伝送可能にする制御を行う機能を有することを特徴とする映像符号化装置。

【請求項2】

前記符号化制御部は、当該色差信号が無彩色から所定範囲内に無い場合に、当該色差信号が予め定めた知覚度の高い範囲内に有るか否かを判定し、その判定結果を基に、色差信号の符号化パラメータを決定する機能を更に有することを特徴とする、請求項１に記載の映像符号化装置。

【請求項3】

請求項２に記載の映像符号化装置によって符号化された映像フレームの映像符号化信号を入力して復号する映像復号装置であって、
前記映像符号化装置から伝送された補助情報に基づいた符号化パラメータにより、前記映像符号化信号に対して復号処理を施す映像復号部と、
前記映像符号化装置から伝送された補助情報に基づいて、前記映像符号化信号に対する復号処理を施すように前記映像復号部を制御する復号制御部と、を備え、
前記復号制御部は、前記補助情報として復号対象のブロックにおける色差信号を無彩色化するよう指示するメタ情報が伝送されているときは、その指定されるブロックの色差信号に関して完全に無彩色化するように符号化パラメータを変更して前記映像復号部を制御することを特徴とする映像復号装置。

【請求項4】

コンピュータを、請求項１又は２に記載の映像符号化装置として機能させるためのプログラム。

【請求項5】

コンピュータを、請求項３に記載の映像復号装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、広色域映像を圧縮伝送するための映像符号化装置、映像復号装置及びこれらのプログラムに関する。

【背景技術】

【0002】

近年、ＩＴＵ－Ｒ勧告ＢＴ．７０９のような従来の色域映像よりも鮮やかな色を再現可能とする広色域映像の普及が進んでいる。例えば、８Ｋ／４Ｋ放送にはＩＴＵ－Ｒ勧告ＢＴ．２０２０に規定の色域が採用されており、ＢＴ．２０２０で再現できる色域のｘｙ色度図上の面積比は２Ｋ放送で使用されているＢＴ．７０９の約１．５倍である。

【0003】

図６には、ＩＴＵ－Ｒ勧告ＢＴ．７０９，ＢＴ．２０２０に関するＣＩＥ ＸＹＺ表色系のｘｙ色度図を示している。図６において、点線で囲まれた部分は人間が肉眼で視認できる色の範囲である。ＢＴ．７０９，ＢＴ．２０２０の色域は、図示するように、各色ＲＧＢの頂点座標を結んだ三角形で表される（尚、ＣＩＥ標準光源Ｄ６５による白色点Ｗは無彩色点でもある）。そして、ＢＴ．７０９，ＢＴ．２０２０の規格に従う映像において、その三角形の色域を超える色は再現できないため、映像符号化装置により圧縮伝送する映像についても広色域化することで、映像復号装置側における色再現を高めることができる。また、幅広い明るさを表現可能なＨＤＲ（High Dynamic Range：高ダイナミックレンジ）技術と組み合わせることにより、臨場感のある映像を表現することができる。

【0004】

ところで、映像符号化装置により輝度信号及び色差信号からなる映像フレームの信号を圧縮伝送する際には、人間の視覚が輪郭情報に寄与する輝度信号の劣化に敏感であり、色彩情報に寄与する色差信号の劣化に鈍感であることを考慮した処理が行われる。例えば、カメラで撮影されたカラー映像は光の三原色であるＲ，Ｇ，Ｂの３つの成分から構成されるが、映像符号化装置に入力する際に輝度信号Ｙと色差信号Ｃｂ，Ｃｒの３つの成分に変換されるとともに、色差信号を間引くサブサンプリング処理が行われる（例えば、非特許文献１参照）。

【0005】

前述の８Ｋ／４Ｋ放送には、色差信号の水平及び垂直方向の画素数が輝度信号のそれぞれの２分の１である４：２：０の映像フォーマットが用いられている。更に、映像符号化装置では、色差信号に対するＱＰ（Quantization Parameter：量子化ステップ値）や量子化マトリックスの係数を輝度信号よりも大きくし、色差信号の再現性を低くすることによって、符号量を削減する処理が行われる。

【先行技術文献】

【非特許文献】

【0006】

【文献】大久保榮監修、“Ｈ．２６５／ＨＥＶＣ教科書”、初版、インプレスジャパン、２０１３年１０月２１日発行

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述したように、映像符号化装置により圧縮伝送する映像についても広色域化することで、映像復号装置側における色再現を高めることができる。一方で、映像符号化装置においては、人間の視覚が輪郭情報に寄与する輝度信号の劣化に敏感であり、色彩情報に寄与する色差信号の劣化に鈍感であることを考慮した処理が行われる。

【0008】

しかしながら、映像符号化装置によりＢＴ．２０２０の規格に従う広色域映像を高圧縮率で符号化する場合に、従来通り色差信号に対する符号量を削減すると主観品質が低くなることがあるという問題がある。即ち、輝度信号の劣化が著しく目立つ複雑な絵柄の画像であっても、劣化が少ない色差信号を組み合わせると主観品質が向上することがあり、これは実験的に確認できる。

【0009】

従って、本発明の目的は、上述の問題に鑑みて、広色域映像を圧縮する際の主観品質を向上させる映像符号化装置、映像復号装置及びこれらのプログラムを提供することにある。

【課題を解決するための手段】

【0010】

本発明の映像符号化装置は、輝度信号と色差信号からなる映像フレームを符号化する映像符号化装置であって、前記映像フレームについて所定のブロック単位で輝度信号及び色差信号をそれぞれ個別に符号化する映像符号化部と、符号化パラメータを可変制御して、前記映像符号化部を制御する符号化制御部と、を備え、前記符号化制御部は、符号化対象とする所定のブロックの輝度信号の劣化が大きくなるか否かを予測し、当該劣化が大きくなると予測した場合には色差信号の再現度を高くするように前記映像符号化部を制御するとともに、前記劣化が大きいと予測した場合に、更に前記映像フレームの前記符号化対象とする所定のブロックの色差信号が無彩色から所定範囲内に有るか否かを判定し、無彩色から所定範囲内に有ると判定した場合には当該色差信号を無彩色とみなし、完全に無彩色化する符号化パラメータを決定するか、又は無彩色化するよう指示するメタ情報を補助情報に含めて映像復号装置側に伝送可能にする制御を行う機能を有することを特徴とする。

【0012】

また、本発明の映像符号化装置において、前記符号化制御部は、当該色差信号が無彩色から所定範囲内に無い場合に、当該色差信号が予め定めた知覚度の高い範囲内に有るか否かを判定し、その判定結果を基に、色差信号の符号化パラメータを決定する機能を更に有することを特徴とする。

【0013】

更に、本発明の映像復号装置は、本発明の映像符号化装置によって符号化された映像フレームの映像符号化信号を入力して復号する映像復号装置であって、前記映像符号化装置から伝送された補助情報に基づいた符号化パラメータにより、前記映像符号化信号に対して復号処理を施す映像復号部と、前記映像符号化装置から伝送された補助情報に基づいて、前記映像符号化信号に対する復号処理を施すように前記映像復号部を制御する復号制御部と、を備え、前記復号制御部は、前記補助情報として復号対象のブロックにおける色差信号を無彩色化するよう指示するメタ情報が伝送されているときは、その指定されるブロックの色差信号に関して完全に無彩色化するように符号化パラメータを変更して前記映像復号部を制御することを特徴とする。

【0014】

更に、本発明によるプログラムは、コンピュータを、本発明の映像符号化装置として機能させるためのプログラムとして構成される。

【0015】

更に、本発明によるプログラムは、コンピュータを、本発明の映像復号装置として機能させるためのプログラムとして構成される。

【発明の効果】

【0016】

本発明によれば、広色域映像を圧縮伝送する際の主観品質を向上させることができる。

【図面の簡単な説明】

【0017】

【図1】本発明による一実施形態の映像符号化装置の概略構成を示すブロック図である。

【図2】本発明による一実施形態の映像符号化装置における符号化制御部の概略構成を示すブロック図である。

【図3】本発明に係る符号化制御部による実施例１の符号化制御を示すフローチャートである。

【図4】本発明に係る符号化制御部による実施例２の符号化制御を示すフローチャートである。

【図5】本発明による一実施形態の映像復号装置の概略構成を示すブロック図である。

【図6】ＩＴＵ－Ｒ勧告ＢＴ．７０９，ＢＴ．２０２０に関するＣＩＥ ＸＹＺ表色系のｘｙ色度図を示す図である。

【発明を実施するための形態】

【0018】

以下、図面を参照して、本発明による一実施形態の映像符号化装置１、及び映像復号装置２を説明する。

【0019】

〔映像符号化装置〕
（全体構成）
図１は、本発明による一実施形態の映像符号化装置１の概略構成を示すブロック図である。本実施形態の映像符号化装置１は、処理対象フレームを構成する輝度信号及び色差信号からなる映像フレームの信号を入力し、所定の単位で当該輝度信号及び色差信号をそれぞれ個別に符号化する。典型的には、所定の単位はブロック単位であり、通常は、複数フレームから構成されるＧＯＰ（Group of Picture）単位、フレーム単位、フレーム内の分割領域であるスライス単位、或いはタイル単位、フレーム、スライス及びタイル内の分割領域であるブロック単位に階層的に細分化して符号化処理が行われる。このため、総括して、本実施形態の映像符号化装置１は、輝度信号及び色差信号から映像フレームの信号について「所定のブロック単位」で処理するとして説明する。

【0020】

より具体的に、本実施形態の映像符号化装置１は、符号化制御部１１、及び映像符号化部１２を備える。

【0021】

符号化制御部１１は、映像符号化部１２に対して、輝度信号及び色差信号からなる映像フレームの信号について、所定のブロック単位で輝度信号及び色差信号をそれぞれ個別に符号化する映像符号化部１２の制御を行う。特に、詳細な実施例は後述するが、本発明に係る符号化制御部１１は、輝度信号に関する所定の符号化結果から得られる予め定めた複雑度と、所定の判定用パラメータのいずれか一方、又は双方を基に輝度信号の劣化予測の判定を行い、その輝度信号の劣化予測の判定結果を基に色差信号に関する符号化パラメータを決定し、映像符号化部１２に出力して制御する。また、符号化制御部１１は、輝度信号及び色差信号の映像符号化部１２における各符号化パラメータを必要に応じて映像符号化信号の補助情報として外部出力する。この補助情報は、映像符号化信号のビットストリームに多重するようにエントロピー符号化したビットストリームで映像復号装置２側に伝送してもよいし、別のファイル形式とするなど伝送形式や伝送経路を変えて伝送する形態としてもよい。

【0022】

映像符号化部１２は、符号化制御部１１によって制御され、輝度信号及び色差信号からなる動画像の映像フレームを入力し、符号化パラメータに基づいて、例えばＨ．２６５／ＨＥＶＣ等のブロックベース符号化により符号化する処理部である。典型例として、映像符号化部１２は、前処理部１２１、減算部１２２、直交変換部１２３、量子化部１２４、逆量子化・逆直交変換部１２５、加算部１２６、画面内予測部１２７、ループフィルタ１２８、画面間予測部１２９、切替部１３０、エントロピー符号化部１３１、及び出力部１３２を有する。

【0023】

前処理部１２１は、動画像の或る処理対象の映像フレームを入力し、符号化パラメータに基づいて、符号化タイプ（画面内符号化、画面間符号化）や符号化順、予測の参照関係、符号化単位である符号化ブロック、或いはスライス等の第２の符号化信号の生成に必要な全ての前処理を行って、輝度信号及び色差信号毎に設定される所定のブロック単位の原信号を減算部１２２に出力する。

【0024】

減算部１２２は、輝度信号及び色差信号毎に、前処理部１２１から得られる所定のブロック単位の原信号と、切替部１３０から得られる対応するブロック単位の予測信号とを差分した差分信号を形成し、直交変換部１２３に出力する。

【0025】

直交変換部１２３は、減算部１２２から得られる差分信号に対して直交変換係数に基づく周波数変換を施し、量子化部１２４に出力する。

【0026】

量子化部１２４は、直交変換部１２３から得られる直交変換係数の信号に対して量子化処理を施し、エントロピー符号化部１３１及び逆量子化・逆直交変換部１２５に出力する。

【0027】

逆量子化・逆直交変換部１２５は、量子化部１２４から得られる直交変換係数の信号の量子化値に対して量子化部１２４の逆処理を施して、直交変換係数の信号を復元し、更に、この直交変換係数の信号に対して直交変換部１２３の逆処理を施して、差分信号を復元し、加算部１２６に出力する。

【0028】

加算部１２６は、逆量子化・逆直交変換部１２５から得られる差分信号と、切替部１３０から得られ予測信号とを加算して局部復号ブロックを生成し、イントラ符号化時には画面内予測部１２７に出力し、インター符号化時にはループフィルタ１２８経由で画面間予測部１２９に出力する。

【0029】

画面内予測部１２７は、イントラ符号化時に、加算部１２６から得られる局部復号ブロックを次の符号化対象ブロックの隣接ブロックとして一時記憶し、その隣接ブロックを基に次の符号化対象ブロックの予測信号を生成して切替部１３０経由で、減算部１２２及び加算部１２６に出力する。

【0030】

ループフィルタ１２８は、加算部１２６から得られる局部復号ブロックに対して、所謂、デブロッキングフィルタや帯域通過フィルタ、ブロック単位にオフセット処理を行うＳＡＯ（Sample adaptive offset）などを施す処理部である。

【0031】

画面間予測部１２９は、インター符号化時に、ループフィルタ１２８から得られる局部復号ブロックをピクチャ単位で一時記憶し、動き予測として参照する参照ピクチャにおけるブロックマッチングを基に次の符号化対象ブロックの予測信号を生成して切替部１３０経由で、減算部１２２及び加算部１２６に出力する。

【0032】

また、切替部１３０は、符号化タイプに応じてイントラ符号化、又はインター符号化の切り替えを行う機能部である。

【0033】

エントロピー符号化部１３１は、量子化部１２４から得られる直交変換係数の信号の量子化値に対してエントロピー符号化処理を施して輝度信号及び色差信号に関する映像符号化信号を生成し、ビットストリームの形式で出力部１３２に出力する。

【0034】

出力部１３２は、エントロピー符号化部１３１によって生成した映像符号化信号をビットストリームの形式で外部出力する。尚、出力部１３２は、符号化制御部１１からの出力制御信号により、一回（１パス）符号化により生成した映像符号化信号を外部出力する形態とする以外にも、マルチパス符号化処理を行うにより生成した映像符号化信号を外部出力する形態とすることができる。マルチパス符号化は、映像フレームをブロックベース符号化により符号化する際に、一度簡易な既知の手法で符号化、解析し、全体像を把握した上で符号化処理を行うものであり、処理遅延やエネルギー効率を考慮して二回（ツーパス）符号化が多く用いられている。

【0035】

（符号化制御部の構成）
図２は、本発明による一実施形態の映像符号化装置１における符号化制御部１１の概略構成を示すブロック図である。図２に示す符号化制御部１１は、事前計測部１１１、輝度符号化パラメータ決定部１１２、符号化パラメータ設定部１１３、輝度複雑度判定部１１４、輝度劣化予測判定部１１５、色差符号化パラメータ決定部１１６、出力制御部１１７、及び判定結果記憶部１１８を備える。尚、図２に示す符号化制御部１１の構成例は、後述する図３及び図４に係る各実施例の符号化制御の全てを実現可能とするとしたときの機能部を有する構成例であり、必ずしもその全ての機能部を有している必要はない。

【0036】

事前計測部１１１は、動画像の今回の符号化対象の映像フレームを入力し、輝度信号に関する任意に定めた符号化パラメータを輝度符号化パラメータ決定部１１２に対して決定するよう指示する。また、事前計測部１１１は、輝度信号の分散値又は周波数の解析を少なくとも含む予め定めた判定基準に基づいて輝度信号に関する複雑度を事前計測し、輝度複雑度判定部１１４に出力する。尚、事前計測部１１１において、輝度信号に関する複雑度を事前計測しない形態とするときは、この事前計測処理は省略できる。

【0037】

輝度符号化パラメータ決定部１１２は、事前計測部１１１からの指示に基づき、任意の基準で輝度信号に関する符号化パラメータを決定（例えば、数多くの動画像に適しているとする事前準備された輝度信号に関する符号化パラメータを決定）し、符号化パラメータ設定部１１３に出力する。

【0038】

輝度複雑度判定部１１４は、直前の映像フレームの輝度信号の符号化結果（直前の映像フレームの符号化結果又は２パス符号化における１パス目の符号化結果）のＰＳＮＲ（Peak Signal-to-Noise Ratio）、ＳＳＩＭ（Structural SIMilarity index）、及びＱＰと符号量を掛け合わせた値のうち１以上の解析を少なくとも含む予め定めた判定基準に基づいて輝度信号に関する複雑度を判定する。また、輝度複雑度判定部１１４は、事前計測部１１１から輝度信号に関する複雑度の判定結果を得る形態とするときは、映像符号化部１２から得られる輝度信号の符号化結果に基づく複雑度の判定処理を省略してもよいし、その双方を考量し予め重み付けした総合判定で輝度信号の複雑度を判定するとしてもよい。そして、輝度複雑度判定部１１４は、判定した輝度信号の複雑度を輝度劣化予測判定部１１５に出力する。

【0039】

輝度劣化予測判定部１１５は、輝度複雑度判定部１１４から得られる輝度信号の複雑度と、予め入力される判定用パラメータ（映像フレームの映像フォーマットに対するビットレートに関する設定、又は動き補償予測に係る参照ブロックの劣化予測履歴の考慮指示）のいずれか一方、又は双方を基に、輝度信号の劣化予測の判定を行う。そして、輝度劣化予測判定部１１５は、符号化対象ブロックの輝度信号の劣化が大きいことが予測されるか否かを判定すると、その判定結果を色差符号化パラメータ決定部１１６に出力する。

【0040】

尚、輝度信号の複雑度が大きいと輝度信号の劣化が生じることが推定でき、更に、映像フレームの映像フォーマットに対するビットレートに関する設定から輝度信号の劣化が生じることが推定できる。また、輝度信号の劣化予測の判定結果は、少なくともＧＯＰの期間中、判定結果記憶部１１８に一時記憶される。これにより、輝度劣化予測判定部１１５は、符号化対象ブロックが参照する動き補償予測に係る参照ブロックの履歴として、輝度信号の劣化が大きいことが予測されると判定されていたときは、当該符号化対象ブロックについても輝度信号の劣化が大きいことが予測されると判定するのに利用できる。

【0041】

色差符号化パラメータ決定部１１６は、輝度劣化予測判定部１１５から得られる輝度信号の劣化予測の判定結果を基に色差信号の再現度を高くするか低くするかを決定し、決定した再現度に対応する色差信号の符号化パラメータを決定し、符号化パラメータ設定部１１３に出力する。

【0042】

また、色差符号化パラメータ決定部１１６は、当該輝度信号の劣化が大きくなるか否かを予測し、当該劣化が大きくなると予測した場合には、当該符号化対象のブロックの色差信号に対し、色差信号が無彩色に近いか否か（無彩色から所定範囲内に有るか否か）を判定する機能、当該符号化対象のブロックの色差信号に対し、色差信号が無彩色に近い（無彩色から所定範囲内に有る）場合に、当該色差信号は無彩色とみなし、完全に無彩色化する符号化パラメータを決定するか、又は出力制御部１１７に対して無彩色化するよう指示するメタ情報を補助情報に含めて映像復号装置２側に伝送可能にする制御を行う機能、及び当該色差信号に対して、当該色差信号が無彩色から所定範囲内に無い場合に、当該色差信号が予め定めた知覚度の高い範囲内に有るか否かを判定し、その判定結果を基に、色差信号の符号化パラメータを決定する機能を有する構成とすることもできる。

【0043】

そして、符号化パラメータ設定部１１３は、輝度符号化パラメータ決定部１１２によって決定した輝度信号に関する符号化パラメータ、及び色差符号化パラメータ決定部１１６によって決定した色差信号に関する符号化パラメータを映像符号化部１２に設定し、その旨を出力制御部１１７に出力する。

【0044】

出力制御部１１７は、輝度信号及び色差信号の映像符号化部１２における各符号化パラメータを設定後、各符号化パラメータを必要に応じて映像符号化信号の補助情報として映像復号装置２へ伝送可能に外部出力する。また、出力制御部１１７は、映像符号化部１２における出力部１３２に対して出力制御信号を送信し、エントロピー符号化部１３１によって生成した映像符号化信号をビットストリームの形式で映像復号装置２へ伝送可能に外部出力するように制御する。前述したように、出力部１３２は、符号化制御部１１からの出力制御信号により、一回（１パス）符号化により生成した映像符号化信号を外部出力する形態とする以外にも、２パス符号化処理を行うにより生成した映像符号化信号を外部出力する形態とすることができる。

【0045】

（実施例１の符号化制御）
図３は、本発明に係る符号化制御部１１による実施例１の符号化制御を示すフローチャートである。

【0046】

まず、符号化制御部１１は、事前計測部１１１、輝度符号化パラメータ決定部１１２、輝度複雑度判定部１１４、輝度劣化予測判定部１１５の機能により、動画像の今回の符号化対象の映像フレームをブロックベース符号化する際に、符号化対象の所定のブロックにおける輝度信号の劣化が大きいことが予想されるか否かを判定する（ステップＳ１）。

【0047】

より具体的に、ステップＳ１において、符号化制御部１１は、動画像の今回の符号化対象の映像フレームをブロックベース符号化する際に、処理対象とする今回の映像フレームの事前計測結果から得られる予め定めた複雑度、及び、直前の映像フレームの符号化結果又は所定の２パス符号化における１パス目の符号化結果から得られる予め定めた複雑度、並びに、予め入力される判定用パラメータのうち１以上を基に、符号化対象のブロックの輝度信号の劣化が大きいことが予測されるか否かを判定する劣化予測判定処理を行う。

【0048】

複雑度を用いた劣化予測判定は、以下の判定基準（Ａ１）～（Ａ５）のうちの１以上を用いるものとし、このうち複数の判定基準を用いるときは予め重み付けした総合判定とする。
（Ａ１）直前の映像フレームの符号化結果又は２パス符号化における１パス目の符号化結果のＰＳＮＲが所定値以下。
（Ａ２）直前の映像フレームの符号化結果又は２パス符号化における１パス目の符号化結果のＳＳＩＭが所定値以下。
（Ａ３）直前の映像フレームの符号化結果又は２パス符号化における１パス目の符号化結果のＱＰと符号量（映像符号化装置の出力）を掛け合わせた値が所定値以上。
（Ａ４）処理対象の今回の映像フレームの輝度信号の事前計測した分散値が所定値以上。
（Ａ５）処理対象の今回の映像フレームの輝度信号の事前計測した周波数変換後の分散値が所定値以上。

【0049】

また、予め入力される判定用パラメータとして使用する符号化パラメータによる劣化予測判定は、以下の判定基準（Ｂ１）～（Ｂ３）のうちの１以上を用いるものとし、このうち複数の判定基準を用いるときは予め重み付けした総合判定とする。
（Ｂ１）処理対象の今回の映像フレームの映像フォーマットに対する固定のビットレート設定値が所定値以下（今回の映像フレームの輝度信号の分散値が事前計測済みであり、伝送の都合により設定される固定のビットレート設定値が所定値以下のときに、予め複雑度が高いとして事前設定）。
（Ｂ２）処理対象の今回の映像フレームの映像フォーマットに対してビットレート制御を行うときの目標ビットレートが所定値以下（今回の映像フレームの輝度信号の分散値が事前計測済みであり、伝送の都合により用いるビットレート制御のビットレート目標値が所定値以下のときに、予め複雑度が高いとして事前設定）。
（Ｂ３）今回の映像フレームの輝度信号の符号化対象ブロックが参照する動き補償予測の参照ブロックが劣化予測判定の対象として処理されているときは、処理対象のブロックも劣化予測判定の対象として処理。

【0050】

そして、符号化制御部１１は、当該輝度信号の劣化が大きいことが予想されないと判定したときは（ステップＳ１：Ｎｏ）、色差符号化パラメータ決定部１１６の機能により、当該符号化対象のブロックの色差信号に対し、輝度信号の再現度よりも低くする予め定めた符号化パラメータ（例えば、量子化ステップ数又は予測モード）を決定し、符号量を削減させる（ステップＳ２）。

【0051】

尚、輝度信号の劣化がほぼない場合に、色差信号の再現度を極端に低くすると、主観品質が低くなることが実験的に明らかになっている。従って、例えば、輝度信号と色差信号のＱＰの差を大きくしすぎないようにするなど、劣化度に大きな差が出ないようにすることが望ましい。

【0052】

一方、符号化制御部１１は、当該輝度信号の劣化が大きいことが予想されると判定したときは（ステップＳ１：Ｙｅｓ）、色差符号化パラメータ決定部１１６の機能により、当該符号化対象のブロックの色差信号に対し、当該輝度信号の劣化が大きくないと予測したときに用いる予め定めた符号化パラメータ（例えば、量子化ステップ数又は予測モード）を変更し、より再現度を高くする予め定めた符号化パラメータ（例えば、量子化ステップ数又は予測モード）を決定し、符号量を増加させる（ステップＳ３）。

【0053】

具体的には、当該符号化対象のブロックにおいて、輝度信号の劣化が大きいことが予測されると判定した場合の色差信号に対し、当該輝度信号の劣化が大きくないと予測したときに用いる予め定めたＱＰ（即ち、量子化ステップ数）又は量子化マトリックス係数を変更するか、或いは予測モード（Ｈ．２６５やＶＶＣではモード番号で指定される。）を選択して、色差信号を所定量小さくする符号化パラメータを決定する。尚、色差信号をロスレスや視覚的なロスレスで符号化する符号化パラメータを決定してもよい。ＱＰを変更する場合（即ち、量子化マトリックス係数を変更する場合）には、画質が急激に変化すると劣化が目立つため、例えば、ＱＰが５以上変化しないようにするなど、クリッピング処理をすることが望ましい。

【0054】

このように、輝度信号の複雑度が高い映像を低い目標ビットレートで符号化する場合など、大きな劣化が予測される場合には、輝度信号に対する符号量を大幅に増やさなければ画質改善が見込めない。その一方で、一般的に色差信号は輝度信号に比べて平坦で分散が小さく、サブサンプリングによって画素数が少なくなっているために符号化難易度が低く、色差信号に対して割り当てる符号量をわずかに増やすことで主観的な品質の向上が期待できる。

【0055】

この実施例１の符号化制御によれば、広色域映像を圧縮伝送する際の主観品質を向上させることができる。

【0056】

（実施例２の符号化制御）
図４は、本発明に係る符号化制御部１１による実施例２の符号化制御を示すフローチャートである。

【0057】

まず、符号化制御部１１は、実施例１のステップＳ１と同様に、事前計測部１１１、輝度符号化パラメータ決定部１１２、輝度複雑度判定部１１４、輝度劣化予測判定部１１５の機能により、動画像の今回の符号化対象の映像フレームをブロックベース符号化する際に、符号化対象の所定のブロックにおける輝度信号の劣化が大きいことが予想されるか否かを判定する（ステップＳ１１）。

【0058】

そして、符号化制御部１１は、当該輝度信号の劣化が大きいことが予想されないと判定したときは（ステップＳ１１：Ｎｏ）、実施例１のステップＳ２と同様に、色差符号化パラメータ決定部１１６の機能により、当該符号化対象のブロックの色差信号に対し、輝度信号の再現度よりも低くする予め定めた符号化パラメータ（例えば、量子化ステップ数又は予測モード）を決定し、符号量を削減させる（ステップＳ１２）。

【0059】

一方、符号化制御部１１は、当該輝度信号の劣化が大きいことが予想されると判定したときは（ステップＳ１１：Ｙｅｓ）、当該符号化対象のブロックの色差信号に対し、色差信号が無彩色に近いか否か（無彩色から所定範囲内に有るか否か）を判定する（ステップＳ１３）。

【0060】

例えば、ＢＴ．２０２０に規定の輝度・色差信号Ｙ，Ｃｂ，Ｃｒの場合、色差信号Ｃｂ，Ｃｒが共に中間値（１０ビットの場合は５１２）に近いか否かを判定することができる。

【0061】

そして、符号化制御部１１は、色差符号化パラメータ決定部１１６の機能により、当該符号化対象のブロックの色差信号に対し、色差信号が無彩色から所定範囲内に有る場合に（ステップＳ１３：Ｙｅｓ）、当該色差信号は無彩色とみなし、完全に無彩色化する符号化パラメータを決定するか、又は出力制御部１１７に対して無彩色化するよう指示するメタ情報を補助情報に含めて映像復号装置２側に伝送可能にする制御を行う（ステップＳ１４）。

【0062】

また、符号化制御部１１は、色差符号化パラメータ決定部１１６の機能により、当該符号化対象のブロックの色差信号に対して、当該色差信号が無彩色から所定範囲内に無い場合に（ステップＳ１３：Ｎｏ）、当該色差信号が予め定めた知覚度の高い範囲内に有るか否かを判定する（ステップＳ１５）。

【0063】

例えば、ｘｙ色度図上で等色に感じる範囲を調査したマクアダムの楕円を基に、その等色に感じる知覚度の高い範囲内に有るか否かの判定を行うことで、狭い色域か否か、肌色等の色変化に敏感な色域に相当するか否かを判定できる。

【0064】

そして、符号化制御部１１は、色差符号化パラメータ決定部１１６の機能により、当該色差信号が予め定めた知覚度の高い範囲内に有る場合に（ステップＳ１５：Ｙｅｓ）、実施例１のステップＳ３と同様の処理を行う。即ち、符号化制御部１１は、当該符号化対象のブロックの色差信号に対し、当該輝度信号の劣化が大きくないと予測したときに用いる予め定めた符号化パラメータ（例えば、量子化ステップ数又は予測モード）を変更し、より再現度を高くする予め定めた符号化パラメータ（例えば、量子化ステップ数又は予測モード）を決定し、符号量を増加させる（ステップＳ１６）。

【0065】

また、符号化制御部１１は、色差符号化パラメータ決定部１１６の機能により、当該色差信号が予め定めた知覚度の高い範囲内に無い場合に（ステップＳ１５：Ｎｏ）、実施例１のステップＳ２と同様の処理を行う。即ち、符号化制御部１１は、当該符号化対象のブロックの色差信号に対し、輝度信号の再現度よりも低くする予め定めた符号化パラメータ（例えば、量子化ステップ数又は予測モード）を決定し、符号量を削減させる（ステップＳ１２）。

【0066】

この実施例２の符号化制御によれば、色差信号の知覚度を考慮しつつ、広色域映像を圧縮伝送する際の主観品質を向上させることができる。

【0067】

〔映像復号装置〕
（全体構成）
図５は、本発明による一実施形態の映像復号装置２の概略構成を示すブロック図である。本実施形態の映像復号装置２は、復号制御部２１、及び映像復号部２２を備える。

【0068】

復号制御部２１は、映像符号化装置１から伝送された補助情報に基づいて、映像符号化装置１により符号化された映像符号化信号に対する復号処理を施すように映像復号部２２を制御する。

【0069】

映像復号部２２は、復号制御部２１によって制御され、当該補助情報に基づいた符号化パラメータにより、映像符号化装置１により符号化された映像符号化信号に対して復号処理を施し、復号映像信号を生成する処理部である。典型例として、映像復号部２２は、エントロピー復号部２２１、逆量子化・逆直交変換部２２２、加算部２２３、画面内予測部２２４、ループフィルタ２２５、画面間予測部２２６、及び切替部２２７を有する。

【0070】

エントロピー復号部２２１は、映像符号化装置１により符号化された映像符号化信号をビットストリームとして入力し、当該ビットストリームに係る可変長符号に対して映像符号化装置１によるエントロピー符号化の逆処理となる復号処理を施し、符号化パラメータにより指定される所定のブロック単位の信号である直交変換係数の信号の量子化値を逆量子化・逆直交変換部２２２に出力する。

【0071】

逆量子化・逆直交変換部２２２は、エントロピー復号部２２１から得られる直交変換係数の信号の量子化値に対して映像符号化装置１における量子化部１２４の逆処理を施して、直交変換係数の信号を復元し、更に、この直交変換係数の信号に対して映像符号化装置１における直交変換部１２３の逆処理を施して、差分信号を復元し、加算部２２３に出力する。

【0072】

加算部２２３は、逆量子化・逆直交変換部２２２から得られる差分信号と、切替部２２７から得られ予測信号とを加算して復号ブロックを生成し、イントラ符号化復号時には画面内予測部２２４に出力し、インター符号化復号時にはループフィルタ２２５経由で画面間予測部２２６に出力する。また、加算部２２３は、生成した復号ブロックの信号を映像復号信号としてディスプレイや記録部（図示略）に向けて外部出力する。

【0073】

画面内予測部２２４は、イントラ符号化復号時に、加算部２２３から得られる復号ブロックを次の復号対象ブロックの隣接ブロックとして一時記憶し、その隣接ブロックを基に次の復号対象ブロックの予測信号を生成して切替部２２７経由で、加算部２２３に出力する。

【0074】

ループフィルタ２２５は、加算部２２３から得られる復号ブロックに対して、所謂、デブロッキングフィルタや帯域通過フィルタ、ブロック単位にオフセット処理を行うＳＡＯなどを施す処理部である。

【0075】

画面間予測部２２６は、インター符号化復号時に、ループフィルタ２２５から得られる復号ブロックをピクチャ単位で一時記憶し、動き予測として参照する参照ピクチャにおけるブロックマッチングを基に次の復号対象ブロックの予測信号を生成して切替部２２７経由で、加算部２２３に出力する。

【0076】

切替部２２７は、符号化タイプに応じてイントラ符号化復号、又はインター符号化復号の切り替えを行う機能部である。

【0077】

ここで、映像符号化装置１において図３に示す実施例１の符号化制御で映像符号化信号が伝送されているときは、既存の復号制御と同様に、復号制御部２１は、映像符号化装置１から伝送された補助情報に基づいて、映像符号化装置１により符号化された映像符号化信号に対して復号処理を施すように映像復号部２２を制御する。

【0078】

一方、映像符号化装置１において図４に示す実施例２の符号化制御で映像符号化信号が伝送されているときは、無彩色化するよう指示するメタ情報が補助情報に含まれている形態もある。この場合、復号制御部２１は、映像符号化装置１から伝送された補助情報に基づいて、映像符号化装置１により符号化された映像符号化信号に対して復号処理を施すよう制御する点で同様であるが、メタ情報が伝送されているときは、その指定されるブロックの色差信号に関して完全に無彩色化するように符号化パラメータを変更して映像復号部２２を制御する。

【0079】

以上のように構成される本発明に係る映像符号化装置１、及び映像復号装置２によれば、好適には色差信号の知覚度を考慮しつつ、広色域映像を圧縮伝送する際の主観品質を向上させることができる。

【0080】

上述した一実施形態の映像符号化装置１、及び映像復号装置２に関して、映像符号化装置１として機能するコンピュータの各手段を機能させるためのプログラム、或いは映像復号装置２として機能するコンピュータの各手段を機能させるためのプログラムを好適に用いることができる。具体的には、各手段を制御するための制御部をコンピュータ内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各手段を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピュータに、ＣＰＵによって該プログラムを実行させることにより、上述した各手段の有する機能を実現させることができる。また、上述した各手段をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。

【0081】

上述の実施形態及び実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換することができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

【産業上の利用可能性】

【0082】

本発明によれば、広色域映像を圧縮伝送する際の主観品質を向上させることができるので、広色域映像を圧縮伝送するための映像符号化の用途に有用である。

【符号の説明】

【0083】

１ 映像符号化装置
２ 映像復号装置
１１ 符号化制御部
１２ 映像符号化部
２１ 復号制御部
２２ 映像復号部
１１１ 事前計測部
１１２ 輝度符号化パラメータ決定部
１１３ 符号化パラメータ設定部
１１４ 輝度複雑度判定部
１１５ 輝度劣化予測判定部
１１６ 色差符号化パラメータ決定部
１１７ 出力制御部
１１８ 判定結果記憶部
１２１ 前処理部
１２２ 減算部
１２３ 直交変換部
１２４ 量子化部
１２５ 逆量子化・逆直交変換部
１２６ 加算部
１２７ 画面内予測部
１２８ ループフィルタ
１２９ 画面間予測部
１３０ 切替部
１３１ エントロピー符号化部
１３２ 出力部
２２１ エントロピー復号部
２２２ 逆量子化・逆直交変換部
２２３ 加算部
２２４ 画面内予測部
２２５ ループフィルタ
２２６ 画面間予測部
２２７ 切替部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】