特許 6796435 レート制御装置、映像復号装置、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6796435

(24)【登録日】2020年11月18日

(45)【発行日】2020年12月9日

(54)【発明の名称】レート制御装置、映像復号装置、及び、プログラム

(51)【国際特許分類】

   H04N 19/117 20140101AFI20201130BHJP

   H04N 19/154 20140101ALI20201130BHJP

   H04N 19/172 20140101ALI20201130BHJP

   H04N 19/86 20140101ALI20201130BHJP

【ＦＩ】

   H04N19/117

   H04N19/154

   H04N19/172

   H04N19/86

【請求項の数】8

【全頁数】16

(21)【出願番号】特願2016-179578(P2016-179578)

(22)【出願日】2016年9月14日

(65)【公開番号】特開2018-46407(P2018-46407A)

(43)【公開日】2018年3月22日

【審査請求日】2019年7月30日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100171446

【弁理士】

【氏名又は名称】高田 尚幸

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100171930

【弁理士】

【氏名又は名称】木下 郁一郎

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100108578

【弁理士】

【氏名又は名称】高橋 詔男

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】境田 慎一

(72)【発明者】

【氏名】神田 菊文

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２０１３−２５８４６５（ＪＰ，Ａ）

【文献】 特開２００７−０７４５５９（ＪＰ，Ａ）

【文献】 特開２００５−１７５６２１（ＪＰ，Ａ）

【文献】 特開２００４−２９７７６８（ＪＰ，Ａ）

【文献】 特開２００２−０７７９０９（ＪＰ，Ａ）

【文献】 特開平１１−２３４６６７（ＪＰ，Ａ）

【文献】 特開平０８−０７９７６５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

第１の映像信号から特定の成分を除去した第２の映像信号を出力する信号処理部と、
前記第２の映像信号を符号化した符号化映像信号のビットレートと、前記符号化映像信号を復号した復号映像信号の符号化歪と、の少なくともいずれかに係る制御信号に基づいて、前記信号処理部による特定の成分の除去の度合いを制御する制御部と、
を備え、
前記信号処理部は、前記第２の映像信号の符号化における非可逆な情報圧縮過程とは異なる演算によって前記特定の成分を除去するものであり、
前記特定の成分とは、雑音成分であり、
前記信号処理部は、パラメータによって除去の強度が可変な中央値フィルタを用いて前記雑音成分を除去するものであり、
前記信号処理部は、下記の式（１）、（２）の演算により、前記第１の映像信号を前記第２の映像信号に変換する（但し、ｍｅｄは中央値演算であり、領域Ｋは中央値を求める対象の座標範囲であり、Ｉは前記第１の映像信号のフレームであり、Ｊｐは前記第２の映像信号のフレームであり、ｐは雑音成分の前記除去の強度を示すパラメータ（０≦ｐ≦１）である）、

【数1】

レート制御装置。

【請求項2】

前記領域Ｋは、下の式（３）に示す通りである、

【数2】

請求項１に記載のレート制御装置。

【請求項3】

前記信号処理部は、前記制御部からの制御信号の値に応じて前記パラメータｐを下の式（４）のように更新する（但し、ｃは前記制御信号の値であり、ａは−１≦ａ＜０の実定数であり、ｂは０＜ｂ≦１の実定数である）、

【数3】

請求項１又は請求項２に記載のレート制御装置。

【請求項4】

前記信号処理部による特定の信号成分の除去量を演算する演算部、
を備える請求項１から請求項３のいずれか一項に記載のレート制御装置。

【請求項5】

前記符号化映像信号を一時的に蓄積する蓄積部、を備え、
前記制御信号とは、前記蓄積部による前記符号化映像信号の蓄積量に係る信号である、
請求項１から請求項４のいずれか一項に記載のレート制御装置。

【請求項6】

請求項４に記載のレート制御装置が演算した特定の成分の前記除去量に基づいて、特定の成分の信号を発生する信号発生部と、
前記符号化映像信号を復号する映像復号部と、
前記映像復号部が復号した前記復号映像信号に、前記信号発生部が発生した信号を重畳する重畳部と、
を備える映像復号装置。

【請求項7】

コンピュータを、
請求項１から請求項５のいずれか一項に記載のレート制御装置、
として機能させるためのプログラム。

【請求項8】

コンピュータを、
請求項６に記載の映像復号装置、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像符号化におけるビットレート制御を実現する装置、及び、ビットレート制御されたビット列から映像を復号する装置に関する。

【背景技術】

【0002】

映像符号化におけるビットレート制御法としては、これまでの発生符号量の多寡に応じて直交変換係数の量子化幅（量子化パラメータ）を増減するのが一般的である。例えば、固定ビットレート（ＣＢＲ、Ｃｏｎｓｔａｎｔ Ｂｉｔｒａｔｅ）の実現方法としては、下記のものが知られている。まず、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）型メモリ等の出力バッファを設ける。この出力バッファは、符号化後のビット列を一旦収めてから出力する。そして、出力バッファ内に現在蓄積されているデータ量がある所定の上限閾値を超えた場合には、量子化パラメータを増加する。また、出力バッファ内に現在蓄積されているデータ量が所定の下限閾値を超えた場合には、量子化パラメータを減少する。このように映像符号化処理を制御することで発生符号量を調整し、固定ビットレートを実現することができる。

【0003】

映像の符号化では、符号化対象の映像に細かいテクスチャが多く含まれていると、発生符号量が増加する傾向がある。特に雑音等のランダム性のあるテクスチャは、発生符号量を顕著に増加させる。このため、符号化対象の映像から雑音を除去することにより発生符号量を抑制することが可能である。しかしながら、符号化前に雑音除去を行うと、復号により得られる映像が平坦化してしまい、元の映像の質感が損なわれてしまう。この質感の損失を補う方式として、特許文献１の復号化装置及び復号化プログラムが提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５７２７８７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、量子化パラメータの増減はブロック歪の発生に影響するため、上記のような量子化パラメータの増減により発生符号量を制御する方式の場合、映像符号化が困難な映像の場合にはブロック歪が増加し、映像符号化が容易な映像の場合にはブロック歪が小さくなる。ブロック歪は矩形状の目立ちやすいパターンを呈するため、時々刻々の歪の増減が目障りになる。従って、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることが望まれている。

【0006】

本発明のいくつかの態様は、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることができるレート制御装置、映像復号装置、及び、プログラムを提供することを目的の一つとする。

【0007】

また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にするレート制御装置、映像復号装置、及び、プログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0008】

上述した課題を解決するために、本発明の一態様は、第１の映像信号から特定の成分を除去した第２の映像信号を出力する信号処理部と、前記第２の映像信号を符号化した符号化映像信号のビットレートと、前記符号化映像信号を復号した復号映像信号の符号化歪と、の少なくともいずれかに係る制御信号に基づいて、前記信号処理部による特定の成分の除去の度合いを制御する制御部と、を備え、前記信号処理部は、前記第２の映像信号の符号化における非可逆な情報圧縮過程とは異なる演算によって前記特定の成分を除去するレート制御装置である。
また、本発明の一態様は、上記のレート制御装置であって、前記特定の成分とは、雑音成分であり、前記信号処理部は、パラメータによって除去の強度が可変な中央値フィルタ又は低域通過型フィルタを用いて前記雑音成分を除去する。
また、本発明の一態様は、上記のレート制御装置であって、前記信号処理部による特定の信号成分の除去量を演算する演算部、を備える。
また、本発明の一態様は、上記のレート制御装置であって、前記符号化映像信号を一時的に蓄積する蓄積部、を備え、前記制御信号とは、前記蓄積部による前記符号化映像信号の蓄積量に係る信号である。
また、本発明の一態様は、上記のレート制御装置が演算した特定の成分の前記除去量に基づいて、特定の成分の信号を発生する信号発生部と、前記符号化映像信号を復号する映像復号部と、前記映像復号部が復号した前記復号映像信号に、前記信号発生部が発生した信号を重畳する重畳部と、を備える映像復号装置である。
また、本発明の一態様は、コンピュータに、第１の映像信号から特定の成分を除去した第２の映像信号を出力する第１ステップと、前記第２の映像信号を符号化した符号化映像信号のビットレートと、前記符号化映像信号を復号した復号映像信号の符号化歪と、の少なくともいずれかに係る制御信号に基づいて、前記第１の映像信号からの特定の成分の除去の度合いを制御する第２ステップと、を実行させるためのプログラムであって、前記第１ステップでは、前記第２の映像信号の符号化における非可逆な情報圧縮過程とは異なる演算によって前記特定の成分を除去するプログラムである。
また、本発明の一態様は、コンピュータに、上記のレート制御装置が演算した特定の成分の前記除去量に基づいて、特定の成分の信号を発生する第１ステップと、前記符号化映像信号を復号して復号映像信号を取得する第２ステップと、前記第２ステップにおいて復号した復号映像信号に、前記第１ステップにおいて発生した信号を重畳する第３ステップと、を実行させるためのプログラムである。

【発明の効果】

【0009】

本発明の一態様によれば、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることができる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施形態に係る映像符号化復号システムの構成を示すブロック図である。

【図2】同実施形態に係るレート制御装置の構成を示すブロック図である。

【図3】同実施形態に係る映像復号装置の構成を示すブロック図である。

【図4】本発明の第２の実施形態に係るレート制御装置の構成を示すブロック図である。

【図5】同実施形態に係る映像復号装置の構成を示すブロック図である。

【図6】本発明の第３の実施形態に係るレート制御装置の構成を示すブロック図である。

【図7】本発明の第４の実施形態に係るレート制御装置の構成を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態について、図面を参照して説明する。
[第１の実施形態]
本発明の第１の実施形態について説明する。
まず、映像符号化復号システム１の構成について説明する。
本実施形態に係る映像符号化復号システム１は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４やＭＰＥＧ−Ｈ ＨＥＶＣ／Ｈ．２６５等の映像符号化方式により、映像の符号化・復号を行うシステムである。なお、映像符号化方式の種類は任意であり、可逆符号化であってもよいし、非可逆符号化であってもよい。

【0012】

図１は、本実施形態に係る映像符号化復号システム１の構成を示すブロック図である。
映像符号化復号システム１は、レート制御装置１０と、映像符号化装置３０と、伝送蓄積部５０と、映像復号装置７０と、を備える。レート制御装置１０と、映像符号化装置３０と映像復号装置７０とは、例えば、コンピュータシステムを備える電子機器である。

【0013】

レート制御装置１０は、映像符号化装置３０と通信可能に接続され、映像符号化装置３０による映像信号の圧縮符号化のビットレートを制御する装置である。レート制御装置１０は、符号化対象の映像信号（入力映像信号）から特定の成分を除去する。特定の成分とは、周波数、波長、振幅、位相の少なくともいずれかに係る成分である。本実施形態では、一例として、特定の成分とは、高周波数の雑音成分であるとして説明する。

【0014】

レート制御装置１０は、映像信号からの雑音成分の除去の度合い（以下、「除去度」と称する。）を、所定の制御信号に応じて制御する。これにより、レート制御装置１０は、所定の制御信号とは、符号化映像信号のビットレートと、復号映像信号の符号化歪との少なくともいずれかに係るパラメータである。

【0015】

レート制御装置１０は、特定の成分を除去した映像信号（以下、「雑音除去映像信号」と称する。）を、映像符号化装置３０に出力する。レート制御装置１０は、雑音成分の除去度を調整することにより、映像信号の符号化難易度（クリティカリティ）を調整することで映像信号の符号化のビットレートを制御する。除去度を高くすれば映像信号のクリティカリティが減少するため、映像符号化の発生符号量を相対的に少なくすることができ、除去度を低くすれば映像信号のクリティカリティが増加するため、映像符号化の発生符号量を相対的に大きくすることができる。これにより、レート制御装置１０は、固定ビットレートを実現することができる。ただし、レート制御装置１０は、固定ビットレートではなく、可変ビットレート（ＶＢＲ、Ｖａｒｉａｂｌｅ Ｂｉｔｒａｔｅ）としてもよいし、平均ビットレート（ＡＶＲ、Ａｖｅｒａｔｅ Ｂｉｔｒａｔｅ）としてもよい。

【0016】

映像符号化装置３０は、レート制御装置１０から雑音除去映像信号を圧縮符号化する。映像符号化装置３０は、圧縮符号化した映像信号（以下、「符号化映像信号」と称する。）のビット列を、レート制御装置１０に出力する。

【0017】

レート制御装置１０は、映像符号化装置３０から符号化映像信号のビット列を取得する。レート制御装置１０は、取得した符号化映像信号のビット列を一旦蓄積し、ビット列の順序を保ったまま伝送蓄積部５０に出力する。本実施形態では、一例として、上記の制御信号とは、レート制御装置１０による符号化映像信号のビット列の蓄積量に係るパラメータであるとして説明する。つまり、レート制御装置１０は、符号化映像信号のビット列の蓄積量に応じて、雑音成分の除去度を制御する。

【0018】

伝送蓄積部５０は、符号化映像信号のビット列、すなわち符号を伝送又は蓄積する。伝送蓄積部５０は、必要に応じ、映像符号化装置３０側で伝送路符号化や信号の変調を行う。そして、伝送蓄積部５０は、無線や有線、又はこれらの組み合わせによる伝送路を通じて信号伝送を行う。伝送蓄積部５０の映像復号装置７０側で、必要に応じて復調や伝送路復号を行い、符号を出力する。伝送蓄積部５０は、暗号化を施したり、電子署名を付加したり、他の信号との多重化や逆多重化を行ったりしてもよい。また、伝送蓄積部５０は、伝送路の途中経路において分配、交換、再変調、遅延、増幅等を行ってもよい。

【0019】

また、伝送蓄積部５０は、符号を蓄積する場合、取得した符号を記憶媒体に保存する。伝送蓄積部５０は、符号の保存と同時に符号を出力してもよいし、一旦保存された符号を読み出して出力してもよい。伝送蓄積部５０は、取得した符号を記憶媒体に保存する際に、誤り訂正符号等による符号化や暗号化、電子署名付加等を行ってもよい。この記憶媒体は、固体メモリであってもよいし、磁気や光による記録媒体であってもよい。

【0020】

また、伝送蓄積部５０は、伝送と蓄積を複合した形態であってもよい。この場合、伝送蓄積部５０は、例えば、いわゆるクラウドのように、遠隔にある記憶媒体に符号を伝送し、当該遠隔にある記憶媒体にその符号を保存する。そして、伝送蓄積部５０は、符号の保存と同時に符号を映像復号装置７０に伝送したり、一旦保存された符号を読み出して映像復号装置７０に出力したりする。
なお、ここでは、伝送蓄積部５０は、伝送、蓄積の過程において、信号の誤りや信号劣化を生じないものとする。つまり、伝送蓄積部５０は、レート制御装置１０から取得した符号を、そのまま映像復号装置７０に出力する。

【0021】

映像復号装置７０は、伝送蓄積部５０から符号、すなわち符号化映像信号のビット列を取得する。映像復号装置７０は、取得した符号化映像信号のビット列を復号する。映像復号装置７０は、復号した映像信号（以下、「復号映像信号」と称する。）を、例えば、映像の再生装置等に出力する。
以上が、映像符号化復号システム１の構成についての説明である。

【0022】

次に、レート制御装置１０の構成について説明する。
図２は、本実施形態に係るレート制御装置１０の構成を示すブロック図である。
レート制御装置１０は、雑音除去部１１と、送信バッファ１２と、制御部１３と、を備える。雑音除去部１１と、送信バッファ１２と、制御部１３とは、レート制御装置１０のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が記憶部に記憶されたプログラムを実行することにより実装されてよいし、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の集積回路として実装されてもよい。

【0023】

雑音除去部１１は、入力された映像信号から雑音成分を除去し、雑音除去映像信号を生成する。雑音除去部１１は、雑音除去映像信号を映像符号化装置３０に対して出力する。雑音除去部１１による雑音成分の除去度は可変である。雑音除去部１１は、後述の制御部１３から取得する制御信号ｃに応じて雑音成分の除去度を変更する。

【0024】

前記雑音成分とは、撮像素子や回路で発生する熱雑音、光量が少ない場合に光の粒子性に起因して生じるショット雑音、撮像素子の画素欠陥による点状や線状の画像信号パターン（いわゆる白傷や黒傷）など、被写体本来の像から逸脱して露呈する微小な（例えば、１画素乃至１０画素程度の連結領域、あるいは１ライン又は１カラム程度の）画素値の乱れを指す。また、前記雑音成分の除去とは、映像符号化における非可逆な情報圧縮過程（例えば、直交変換係数の量子化）とは異なる演算によって、映像信号波形の特定の波形成分を除去する操作を指すものとする。

【0025】

ここで、雑音除去部１１による雑音成分の除去の具体例について説明する。
例えば、雑音除去部１１は、入力映像信号のフレームＩを処理対象とする。そして、フレームＩの画像座標［ｘ，ｙ］^Ｔにおける画素値を、画素値Ｉ（［ｘ，ｙ］^Ｔ）とする。上付きのＴは、行列やベクトルの転置を表す。つまり、画像座標（［ｘ，ｙ］^Ｔ）とは、列ベクトルで表現された画像座標である。雑音除去部１１は、雑音成分の除去度を示すパラメータｐに応じて雑音成分を除去し、雑音除去映像信号Ｊ_ｐを生成する。そして、雑音除去部１１は、雑音除去映像信号Ｊ_ｐを、映像符号化装置３０に出力する。
例えば、雑音除去部１１は、下記の式（１）、（２）の演算により、フレームＩを雑音除去映像信号のフレームＪ_ｐに変換する。

【0026】

【数1】

【0027】

ここで、ｍｅｄは中央値演算であり、領域Ｋは中央値を求める対象の座標範囲とする。また、以下では、画像Ｍを中央値画像と称する。例えば領域Ｋは、以下の式（３）に示すように設定されてよい。

【0028】

【数2】

【0029】

すなわち、領域Ｋをチェビシェフ距離における半径１の円内（円周を含む）の格子点の集合とすることができる。なお、領域Ｋは、チェビシェフ距離の代わりにユークリッド距離やマンハッタン距離により設定されてもよい。また、領域Ｋは、円以外であってもよいし、円の場合には半径は１以外の正の実数（１以上とする。）であってもよい。パラメータｐは実数とし、例えば、０以上１以下の値（０≦ｐ≦１）としてよい。この場合、式（１）において、パラメータｐの値を大きくすれば大きくする程、中央値処理による雑音除去の効果が大きくなる。

【0030】

雑音除去部１１は、制御部１３からの制御信号ｃの値に応じて、雑音成分の除去度を変化させる。例えば、下記の式（４）に示すように、制御信号ｃの値に応じて、実定数ａ及び実定数ｂを用いてパラメータｐを逐次更新する。

【0031】

【数3】

【0032】

なお、式（４）において矢印（←）は、その左辺値を右辺値で逐次更新することを表す。この逐次更新のタイミングは、例えばフレーム単位とする。実定数ａは、「−１」以上ゼロ未満の値（−１≦ａ＜０）としてよい。また、実定数ｂは、（０＜ｂ≦＋１）としてよい。例えば、実定数ａ、ｂの値は、下記の式（５）、（６）のように設定してよい。

【0033】

【数4】

【0034】

なお、雑音除去部１１による雑音成分の除去方法は、上述した中央値演算に限られない。例えば、雑音除去部１１は、低域通過型フィルタにより雑音成分を除去してもよい。この場合、例えば低域通過型フィルタの遮断周波数をパラメータｐによって制御してもよい。この場合、パラメータｐが大きい程、遮断周波数を小さくするようにしてよい。また、例えば、ガウシアンフィルタによる低域通過型フィルタの分散値をパラメータｐに応じて制御してもよい。この場合、パラメータｐが大きい程、分散値が大きくなるようにしてもよい。

【0035】

送信バッファ１２は、映像符号化装置３０から取得した符号化映像信号のビット列を一時的に記憶するメモリである。例えば、送信バッファは、ＦＩＦＯ型メモリである。送信バッファ１２は、メモリ内に保持したビット列を、その順序を保ったまま適切なタイミングで順次出力する。ここで、適切なタイミングとは、例えば一定のビットレートであってもよいし、伝送蓄積部５０のデータ輻輳状況に応じたタイミングであってもよい。

【0036】

また、送信バッファ１２は、未送信量情報を制御部１３へ出力する。
未送信量情報とは、送信バッファ１２に蓄積され、未送信のデータの総量に関する情報である。例えば、未送信量情報とは、送信バッファ１２内に蓄積されている未送信のデータの量そのものを示す情報であってもよいし、送信バッファ１２内に蓄積されている未送信のデータの量が１、又は、複数の閾値を超えているか否かを示すフラグ情報であってもよい。以下では、一例として、未送信量情報とは、送信バッファ１２内に蓄積されている未送信のデータの量を示す情報であるとして説明する。また、送信バッファ１２内に蓄積されている未送信のデータの量を、未送信データ量ｕとし、送信バッファの記憶可能な最大容量を、容量Ｂとして説明する。

【0037】

制御部１３は、未送信データ量ｕの多寡に応じて後述する雑音除去部１１を制御するための制御信号ｃを生成する。
例えば、制御信号ｃは、未送信データ量ｕの増減に応じて３つの値をとる。具体的には、制御信号ｃは、増加の場合「１」（ｃ＝１）、保持の場合「０」（ｃ＝０）、減少の場合「−１」（ｃ＝−１）である。また、別の例では、未送信データ量ｕがない場合（ｕ＝０）、制御信号ｃを「１」（ｃ＝−１）とし、未送信データ量ｕが所定の閾値ｋ・Ｂ以下の場合（０＜ｕ≦ｋ・Ｂ）、制御信号ｃを「０」（ｃ＝０）とし、未送信データ量ｕが所定の閾値より大きい場合（ｕ＞ｋＢ）、制御信号ｃを「１」（ｃ＝１）としてもよい。このとき、係数ｋは０より大きく１以下（０＜ｋ≦１）の実定数とする。例えば、係数ｋの値は「０．８」（ｋ＝０．８）であってもよい。
以上が、レート制御装置１０の構成についての説明である。

【0038】

ここで、係数ｋの値が「０．８」（ｋ＝０．８）の場合の雑音の除去度の制御の具体例について説明する。送信バッファ１２が空（ｕ＝０）の場合には、制御信号ｃは「−１」（ｃ＝−１）となり、制御部１３は、雑音成分の除去度が下がるように雑音除去部１１を制御する。これにより、発生符号量が増加し、映像の劣化が抑制される。未送信データ量ｕが送信バッファ１２の容量Ｂの８割を超えた場合（ｕ＞ｋＢ）には、制御信号ｃは「１」（ｃ＝１）となり、制御部１３は、雑音成分の除去度が上がるように雑音除去部１１を制御する。これにより、発生符号量が低下する。その他の場合（０＜ｕ≦ｋ・Ｂ）には、制御部１３は、雑音成分の除去度が現状のまま維持されるように雑音除去部１１を制御する。
以上が、係数ｋの値が「０．８」（ｋ＝０．８）の場合の雑音の除去度の制御の具体例についての説明である。

【0039】

次に、映像復号装置７０の構成について説明する。
図３は、映像復号装置７０の構成を示すブロック図である。
映像復号装置７０は、映像復号部７１を備える。
映像復号部７１は、映像符号化装置３０（映像符号化部）と対をなす構成である。映像復号部７１は、伝送蓄積部５０を介して、レート制御装置１０から出力された符号化映像信号のビット列を取得する。映像復号部７１は、符号化映像信号を復号し、復号映像信号Ｒを生成する。映像復号部７１は、復号映像信号Ｒを、表示装置等に出力する。
以上が、映像復号装置７０の構成についての説明である。

【0040】

従来のレート制御装置は、発生符号量の多寡に応じて量子化パラメータを変更することにより、ビットレートを調整していた。そのため、従来のレート制御装置では、フレーム間でブロック歪の増減が生じることになり、目立ちやすかった。

【0041】

これに対して、本実施形態に係るレート制御装置１０は、第１の映像信号（例えば、入力映像信号）から特定の成分（例えば、雑音成分）を除去した第２の映像信号（例えば、雑音除去映像信号）を出力する雑音除去部１１と、前記第２の映像信号を符号化した符号化映像信号のビットレートに係る制御信号に基づいて、前記雑音除去部１１による特定の成分の除去の度合いを制御する制御部１３と、を備え、雑音除去部１１は、前記第２の映像信号の符号化における非可逆な情報圧縮過程とは異なる演算によって前記特定の成分を除去する。

【0042】

つまり、レート制御装置１０は、入力映像信号から特定の成分を除去して発生符号量を抑制する。また、レート制御装置１０は、発生符号量の多寡に応じて、特定の成分の除去の度合いを制御し、発生符号量を調整する。そのため、レート制御装置１０は、ビットレートの制御を行いながらも、フレーム間で、量子化パラメータの増減に起因するブロック歪の増減を生じない。従って、レート制御装置１０は、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることができる。つまり、映像符号化復号システム１は、レート制御によって生じる画質の時間的変化をブロック歪のような目立つものではなく、例えば、より目立ちにくい雑音量の増減とするため、主観的な映像の品質を向上することができる。

【0043】

また、レート制御装置１０において、前記特定の成分とは、雑音成分であり、雑音除去部１１は、パラメータによって除去の強度が可変な中央値フィルタ又は低域通過型フィルタを用いて前記雑音成分を除去する。
雑音成分は、被写体本来の像から逸脱して露呈する微小な画素値の乱れであるため、中央値フィルタや低域通過型フィルタにより除去することが可能である。従って、レート制御装置１０は、量子化パラメータを変更して発生符号量を調整する場合に比して、映像の品質を維持したままレート制御を行うことができる。

【0044】

また、レート制御装置１０は、前記符号化映像信号を一時的に蓄積する送信バッファ１２、を備え、前記制御信号とは、前記送信バッファ１２による前記符号化映像信号の蓄積量（例えば、未送信データ量ｕ）に係る信号である。
つまり、レート制御装置１０は、符号化映像信号の発生符号量や伝送蓄積部５０のデータ輻輳状況に応じて、特定の成分の除去の度合いを制御する。従って、レート制御装置１０は、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることができる。

【0045】

［第２の実施形態］
本発明の第２の実施形態について説明する。ここでは、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る映像符号化復号システム１Ａ（不図示）は、映像符号化復号システム１と同様に、映像の符号化・復号を行うシステムである。ただし、映像符号化復号システム１Ａは、入力映像信号から除去した雑音成分の量（除去量）を演算し、除去量に応じた雑音を復号時に加える。これにより、符号化時の発生符号量を抑制しつつ、復号時に入力映像信号の質感を再現することができる。

【0046】

次に、映像符号化復号システム１Ａの構成について説明する。
映像符号化復号システム１Ａは、映像符号化復号システム１が備えるレート制御装置１０と映像復号装置７０とに代えて、レート制御装置１０Ａと映像復号装置７０Ａとを備える。

【0047】

図４は、レート制御装置１０Ａの構成を示すブロック図である。
レート制御装置１０Ａは、レート制御装置１０が備える各種構成に加え、雑音電力演算部１４Ａと、多重化部１５Ａと、を備える。
雑音電力演算部１４Ａは、入力映像信号と、雑音除去映像信号との間で、映像フレームを比較し、雑音成分の除去量を定量化する。例えば、雑音電力演算部１４Ａは、入力映像信号のフレームＩと、雑音除去映像信号のフレームＪ_ｐとに基づき、雑音電力Ｐを演算する。そして、雑音電力演算部１４Ａは、雑音電力Ｐを示す情報（すなわち、除去量に関する情報）を、多重化部１５Ａに出力する。この除去量に関する情報とは、雑音成分の除去に伴う画質変化を、復号時に補償するための情報である。雑音電力Ｐは、例えば、下記の式（７）により演算する。

【0048】

【数5】

【0049】

多重化部１５Ａは、送信バッファ１２から読み出した符号化映像信号のビット列と、雑音電力演算部１４Ａから取得した除去量に関する情報と、を多重化したビット列を、伝送蓄積部５０に出力する。なお、多重化部１５Ａは、除去量に関する情報をそのまま多重化してもよいし、量子化してから多重化してもよい。また、多重化部１５Ａは、除去量に関する情報を、予測符号化やエントロピー符号化してから多重化してもよいし、予測符号化の後にエントロピー符号化して多重化してもよい。

【0050】

図５は、映像復号装置７０Ａの構成を示すブロック図である。
映像復号装置７０Ａは、映像復号装置７０が備える各種構成に加えて、逆多重化部７２Ａと、雑音発生部７３Ａと、重畳部７４Ａと、を備える。
逆多重化部７２Ａは、レート制御装置１０Ａの多重化部１５Ａにより多重化されたビット列から、符号化映像信号のビット列と、雑音成分の除去量に関する情報と、を分離する。逆多重化部７２Ａは、分離した符号化映像信号のビット列を、映像復号部７１に出力する。また、逆多重化部７２Ａは、雑音成分の除去量に関する情報を雑音発生部７３Ａに出力する。

【0051】

雑音発生部７３Ａは、逆多重化部７２Ａから雑音成分の除去量に関する情報を取得する。雑音発生部７３Ａは、雑音成分の除去量に関する情報に基づき、雑音信号Ｎを生成する。例えば、雑音発生部７３Ａは、雑音電力Ｐに応じた分散値を有する雑音を生成し、これを画像化したものを雑音信号Ｎとする。雑音発生部７３Ａは、例えば、ガウス雑音を生成する。雑音発生部７３Ａは、生成した雑音信号Ｎを、重畳部７４Ａに出力する。

【0052】

重畳部７４Ａは、映像復号部７１から復号映像信号Ｒを取得する。重畳部７４Ａは、雑音発生部７３Ａから雑音信号Ｎを取得する。重畳部７４Ａは、復号映像信号Ｒと、雑音信号Ｎと、を重畳し、出力映像信号Ｏとして出力する。例えば、重畳部７４Ａは、下記の式（８）に示すように、復号映像信号Ｒと、雑音信号Ｎと、を加算処理することにより重畳してよい。

【0053】

【数6】

【0054】

以上が、映像符号化復号システム１Ａの構成についての説明である。
以上説明したように、レート制御装置１０Ａは、雑音除去部１１による特定の信号成分（例えば、雑音成分）の除去量を演算する雑音電力演算部１４Ａ、を備える。
また、映像復号装置７０Ａは、レート制御装置１０Ａが演算した特定の成分の前記除去量に基づいて、特定の成分の信号を発生する雑音発生部７３Ａと、前記符号化映像信号を復号する映像復号部７１と、前記復号部が復号した前記復号映像信号に、前記信号発生部が発生した信号を重畳する重畳部７４Ａと、を備える映像復号装置である。

【0055】

つまり、レート制御装置１０Ａは、入力映像信号から除去された成分の量を特定する。例えば、レート制御装置１０Ａは、符号化映像信号のビット列とともに雑音量の増減に伴う画質変化を補償するための情報を付して送信することができる。そして、映像復号装置７０Ａは、レート制御装置１０Ａにより除去された量の成分を、復号映像信号に追加する。つまり、映像復号装置７０Ａは、例えば、符号化映像信号に対して符号化の前に除去された雑音量を補うことができる。従って、映像符号化復号システム１Ａは、雑音除去処理、符号化・復号処理による映像の時間的な質感の変化を抑制し、主観的な画質を向上することができる。

【0056】

［第３の実施形態］
本発明の第３の実施形態について説明する。ここでは、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る映像符号化復号システム１Ｂ（不図示）は、映像符号化復号システム１Ａと同様に、映像の符号化・復号を行うシステムであり、除去量に応じた雑音を復号時に加える。ただし、映像符号化復号システム１Ａは、入力映像信号と、雑音除去映像信号との比較により除去量を演算したのに対して、映像符号化復号システム１Ｂは、入力映像信号と、復号映像信号との比較により除去量を演算する点が異なる。

【0057】

次に、映像符号化復号システム１Ｂの構成について説明する。
映像符号化復号システム１Ｂは、映像符号化復号システム１Ａが備えるレート制御装置１０Ａに代えてレート制御装置１０Ｂを備える。
図６は、レート制御装置１０Ｂの構成を示すブロック図である。
レート制御装置１０Ｂは、レート制御装置１０Ａが備える各種構成に加え、映像復号部１６Ｂを備える。

【0058】

映像復号部１６Ｂは、映像復号部７１と同様の構成である。映像復号部１６Ｂは、復号映像信号を、雑音電力演算部１４Ａに出力する。
本実施形態に係る雑音電力演算部１４Ａは、雑音除去映像信号のフレームに代えて、映像復号部１６Ｂから取得する復号映像信号のフレームを用い、雑音電力Ｐを演算する。これにより、映像復号装置７０Ａは、雑音成分の除去量に応じた雑音を、復号映像信号に加えることができる。
以上が、映像符号化復号システム１Ｂの構成についての説明である。

【0059】

このように、レート制御装置１０Ｂは、復号時に追加する特定の成分の量を、入力映像信号と、符号化・復号処理後の映像信号との比較により特定してもよい。

【0060】

［第４の実施形態］
本発明の第４の実施形態について説明する。ここでは、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る映像符号化復号システム１Ｃ（不図示）は、映像符号化復号システム１と同様に、映像の符号化・復号を行うシステムである。ただし、映像符号化復号システム１は、送信バッファ１２の未送信データ量ｕに基づいて、入力映像信号からの雑音成分の除去度を制御したのに対して、映像符号化復号システム１Ｃは、符号化映像信号の符号化歪に基づいて、雑音成分の除去度を制御する点が異なる。

【0061】

次に、映像符号化復号システム１Ｃの構成について説明する。
映像符号化復号システム１Ｃは、映像符号化復号システム１が備えるレート制御装置１０に代えてレート制御装置１０Ｃを備える。
図７は、レート制御装置１０Ｃの構成を示すブロック図である。
レート制御装置１０Ｃは、レート制御装置１０が備える制御部１３に代えて、制御部１３Ｃを備える。また、レート制御装置１０Ｃは、レート制御装置１０が備える各種構成に加え、映像復号部１６Ｂを備える。

【0062】

制御部１３Ｃは、送信バッファ１２の未送信データ量ｕに代えて、符号化歪に基づいて制御信号ｃを決定する。制御部１３Ｃは、任意の方法により符号化歪を演算してよい。例えば、制御部１３Ｃは、雑音除去映像信号と、復号映像信号との比較により符号化歪を演算してよい。具体的には、ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌにおける歪評価関数を用いて符号化歪を演算してよい。そして、制御部１３Ｃは、例えば、符号化歪が大きい場合には、制御信号ｃの値を「−１」（ｃ＝−１）とし、符号化歪が小さい場合には、制御信号ｃの値を「１」（ｃ＝１）としてよい。これにより、映像復号装置７０Ａは、符号化歪に基づいて雑音成分の除去度を制御することができる。
以上が、映像符号化復号システム１Ｃの構成についての説明である。

【0063】

このように、レート制御装置１０Ｃは、送信バッファ１２の未送信データ量ｕ以外にも、符号化歪の程度に応じて特定の成分の除去の度合いを制御してもよい。この場合も、レート制御装置１０Ｃは、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることができる。

【0064】

［変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第１〜４の実施形態において説明した各構成は、任意に組み合わせることができる。また、例えば、上述の第１〜第４において説明した各構成は、別体の装置に分離して備えられてもよい。
例えば、制御信号ｃは、第１の実施形態で説明した送信バッファ１２の未送信データ量ｕと、第４の実施形態で説明した符号化歪との両方に基づいて決定されてもよい。例えば、制御信号ｃは、Ｒ−Ｄ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）コストに基づいて決定されてよい。

【0065】

また、上述のレート制御装置１０、１０Ａ、１０Ｂ、１０Ｃ、映像符号化装置３０、映像復号装置７０、７０Ａの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりレート制御装置１０、１０Ａ、１０Ｂ、１０Ｃ、映像符号化装置３０、映像復号装置７０、７０Ａとしての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0066】

以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0067】

１、１Ａ、１Ｂ、１Ｃ…映像符号化復号システム、１０、１０Ａ、１０Ｂ、１０Ｃ…レート制御装置、３０…映像符号化装置、５０…伝送蓄積部、７０、７０Ａ…映像復号装置、１１…雑音除去部、１２…送信バッファ、１３、１３Ｃ…制御部、１４Ａ…雑音電力演算部、１５Ａ…多重化部、１６Ｂ…映像復号部、７１…映像復号部、７２Ａ…逆多重化部、７３Ａ…雑音発生部、７４Ａ…重畳部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】