(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2016-165054(P2016-165054A)
(43)【公開日】2016年9月8日
(54)【発明の名称】符号化装置、復号装置、及びプログラム
(51)【国際特許分類】
H04N 19/117 20140101AFI20160815BHJP
H04N 19/59 20140101ALI20160815BHJP
H04N 19/36 20140101ALI20160815BHJP
H04N 19/67 20140101ALI20160815BHJP
H04N 19/46 20140101ALI20160815BHJP
【FI】
H04N19/117
H04N19/59
H04N19/36
H04N19/67
H04N19/46
【審査請求】未請求
【請求項の数】5
【出願形態】OL
【全頁数】11
(21)【出願番号】特願2015-44732(P2015-44732)
(22)【出願日】2015年3月6日
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】100161148
【弁理士】
【氏名又は名称】福尾 誠
(72)【発明者】
【氏名】三須 俊枝
(72)【発明者】
【氏名】境田 慎一
(72)【発明者】
【氏名】松尾 康孝
(72)【発明者】
【氏名】岩村 俊輔
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159LB05
5C159LB11
5C159MA01
5C159MA31
5C159PP04
5C159RA06
5C159RB04
5C159RC12
5C159RC40
5C159RF27
5C159TA01
5C159TA05
5C159TA08
5C159TA69
5C159TA76
5C159TB04
5C159TB10
5C159TC03
5C159TC21
5C159TD02
5C159UA02
5C159UA05
5C159UA12
(57)【要約】 (修正有)
【課題】高効率な圧縮伝送を行う際に、入力信号を再現しきれない残差成分を符号化装置から復号装置へ送信して、復号信号の品質を向上させる。
【解決手段】符号化装置1は、入力信号を変換処理して前処理信号を生成する前処理部11と、前処理信号を符号化して符号化信号を生成する符号化部31と、符号化信号を復号して局部復号信号を生成する局部復号部32と、局部復号信号に対して複数のパラメータを用いて変換処理し複数の後処理模擬信号を生成する後処理模擬部12と、入力信号との差が最小となる後処理模擬信号の生成に用いられたパラメータを示す最適判定信号を符号化して補助情報符号化信号を生成する補助情報符号化部14と、入力信号と、入力信号との差が最小となる後処理模擬信号との差分である残差信号を符号化して残差符号化信号生成する残差符号化部16とを備え、符号化信号、補助情報符号化信号、及び残差符号化信号を送信する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
入力信号に対して変換処理を行って前処理信号を生成する前処理部と、
前記前処理信号を符号化して符号化信号を生成する符号化部と、
前記符号化信号を復号して局部復号信号を生成する局部復号部と、
前記局部復号信号に対して複数のパラメータを用いて変換処理を行い、複数の後処理模擬信号を生成する後処理模擬部と、
前記入力信号との差が最小となる前記後処理模擬信号の生成に用いられたパラメータを示す最適判定信号を符号化して補助情報符号化信号を生成する補助情報符号化部と、
前記入力信号と、前記入力信号との差が最小となる前記後処理模擬信号との差分である残差信号を符号化して残差符号化信号を生成する残差符号化部と、を備え、
前記符号化信号、前記補助情報符号化信号、及び前記残差符号化信号を送信することを特徴とする符号化装置。
【請求項2】
前記符号化信号、前記補助情報符号化信号、及び前記残差符号化信号は、前記符号化信号、前記補助情報符号化信号、前記残差符号化信号の順に誤り耐性が高くなるように、それぞれ異なる伝送路又は変調方式により符号化されることを特徴とする、請求項1に記載の符号化装置。
【請求項3】
コンピュータを、請求項1又は2に記載の符号化装置として機能させるためのプログラム。
【請求項4】
請求項1又は2に記載の符号化装置から前記符号化信号、前記補助情報符号化信号、及び前記残差符号化信号を取得する復号装置であって、
前記符号化信号を復号して復号信号を生成する復号部と、
前記補助情報符号化信号を復号して補助情報復号信号を生成する補助情報復号部と、
前記復号信号に対して前記補助情報復号信号により示されるパラメータを用いて変換処理を行って後処理信号を生成する後処理部と、
前記残差符号化信号を復号して残差復号信号を生成する残差復号部と、
前記後処理信号に前記残差復号信号を加算した信号を外部に出力する加算部と、
を備えることを特徴とする復号装置。
【請求項5】
コンピュータを、請求項4に記載の復号装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、符号化装置、復号装置、及びそれらのプログラムに関する。
【背景技術】
【0002】
信号の符号化方式として、波形を予測し、予測残差を符号化する手法がある。とくに映像信号を符号化する場合においては、あるフレームを符号化する際に、映像をブロックに分割し、符号化対象ブロックごとに既に符号化済みの別のフレーム又は当該フレーム内の画像から予測処理を行い、該予測処理の結果と符号化対象ブロックとの誤差に対して離散コサイン変換などの変換処理を行い、該変換処理の結果たる変換係数を量子化し、さらに該量子化結果をエントロピー符号化することによってデータ圧縮を実現する手法が用いられている。このような符号化方式は、ハイブリッド符号化あるいはMC−DCT(Motion Compensation / Discrete Cosine Transform)符号化と呼ばれている。例えば、MPEG−1、MPEG−2、MPEG−4、MPEG−4 AVC/H.264、及びMPEG−H HEVC/H.265の各映像符号化方式はMC−DCT符号化に属する方式である。
【0003】
また、特許文献1には、MC−DCT符号化を含む既存の映像符号化方式に、前処理及び後処理を設けることで、符号化効率や主観画質を向上する手法が開示されている。この手法では、前処理に解像度削減処理を用いることで既存の映像符号化方式における圧縮率を緩和し、一方、後処理として超解像技術を応用することで、ぼやけの少ない解像度復元を実現している。このとき、解像度復元の処理を調整可能とし、入力映像を最も良く再現できる最適な調整値(パラメータ)を符号化装置で予め求めて、該最適な調整値を復号装置へ補助情報として伝送することで、高効率な圧縮伝送を可能とする。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第5419795号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献1の手法では、解像度復元の最適な調整により符号化効率を向上できるものの、該最適な調整を行ってもなお入力信号(原画)を再現しきれない残差成分についてはまったく信号伝送を行っていない。このため、必要な画質まで復元結果を追い込みきれない場合には、画質劣化が調整の単位(例えばブロック単位)で顕在化し、ブロック歪として検知されることがあった。
【0006】
かかる事情に鑑みてなされた本発明の目的は、特許文献1の手法のように高効率な圧縮伝送を行う際に、最適な調整を行ってもなお入力信号(原画)を再現しきれない残差成分を符号化装置から復号装置へ伝送して、復号装置の出力信号の品質を向上させることが可能な符号化装置、復号装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明に係る符号化装置は、入力信号に対して変換処理を行って前処理信号を生成する前処理部と、前記前処理信号を符号化して符号化信号を生成する符号化部と、前記符号化信号を復号して局部復号信号を生成する局部復号部と、前記局部復号信号に対して複数のパラメータを用いて変換処理を行い、複数の後処理模擬信号を生成する後処理模擬部と、前記入力信号との差が最小となる前記後処理模擬信号の生成に用いられたパラメータを示す最適判定信号を符号化して補助情報符号化信号を生成する補助情報符号化部と、前記入力信号と、前記入力信号との差が最小となる前記後処理模擬信号との差分である残差信号を符号化して残差符号化信号を生成する残差符号化部と、を備え、前記符号化信号、前記補助情報符号化信号、及び前記残差符号化信号を送信することを特徴とする。
【0008】
さらに、本発明に係る符号化装置において、前記符号化信号、前記補助情報符号化信号、及び前記残差符号化信号は、前記符号化信号、前記補助情報符号化信号、前記残差符号化信号の順に誤り耐性が高くなるように、それぞれ異なる伝送路又は変調方式により符号化されることを特徴とする。
【0009】
また、本発明に係るプログラムは、コンピュータを、上記符号化装置として機能させることを特徴とする。
【0010】
また上記課題を解決するため、本発明に係る復号装置は、上記符号化装置から前記符号化信号、前記補助情報符号化信号、及び前記残差符号化信号を取得する復号装置であって、前記符号化信号を復号して復号信号を生成する復号部と、前記補助情報符号化信号を復号して補助情報復号信号を生成する補助情報復号部と、前記復号信号に対して前記補助情報復号信号により示されるパラメータを用いて変換処理を行って後処理信号を生成する後処理部と、前記残差符号化信号を復号して残差復号信号を生成する残差復号部と、前記後処理信号に前記残差復号信号を加算した信号を外部に出力する加算部と、を備えることを特徴とする。
【0011】
また、本発明に係るプログラムは、コンピュータを、上記復号装置として機能させることを特徴とする。
【発明の効果】
【0012】
本発明によれば、高効率な圧縮伝送を行う際に、最適な調整を行ってもなお入力信号を再現しきれない残差成分を、符号化装置から復号装置へさらに伝送することができるようになるため、復号装置の出力信号の質を向上することができるようになる。
【図面の簡単な説明】
【0013】
【
図1】本発明の一実施形態に係る符号化装置及び復号装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0014】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。実施形態では、伝送する対象の信号が映像信号であるものとして説明するが、静止画信号や音声信号などの他の形態の信号を伝送する場合においても、同様に構成し、同様に動作させることができる。
【0015】
図1は、本発明の一実施形態に係る符号化装置及び復号装置の構成例を示すブロック図である。符号化装置1及び復号装置2をまたぐ既存処理部3により、既存の符号化方式による信号の符号化及び復号が行われる。なお、図示は省略するが、符号化装置1及び復号装置2の間に記録媒体を介在させてもよい。その場合、符号化装置1は符号化信号を記録媒体に記録し、復号装置2は記録媒体から符号化信号を取得する。つまり、符号化装置1は符号化信号を復号装置2に、直接、又は記録媒体を介して間接的に送信する。
【0016】
[符号化装置]
まず符号化装置1の詳細について以下に説明する。
図1に示すように、符号化装置1は、前処理部11と、後処理模擬部12と、最適化部13と、補助情報符号化部14と、減算部15と、残差符号化部16と、符号化部31と、局部復号部32とを備える。
【0017】
伝送する対象の信号が映像信号である場合、既存処理部3としては、例えば、MPEG−1、MPEG−2、MPEG−4、MPEG−4 AVC/H.264、MPEG−H HEVCなど、規格標準化された映像符号化方式を用いることができる。
【0018】
前処理部11は、入力信号Hに対して変換処理を行って前処理信号Lを生成し、符号化部31に出力する。前処理部11は、入力信号Hの有するデータ量やビット深度を削減するか、各画素のデータ値を可変又は不変の変換式に代入して別のデータ値に変換する。例えば、前処理部11は、入力信号Hを再標本化し、データの標本数を削減する。このとき再標本化に先だって、低域通過型フィルタなどの間引きフィルタを適用してもよい。間引きフィルタの遮断周波数は、再標本化時のナイキスト周波数に応じて決定してもよいし、再標本化対象の信号波形の変化(例えば、フレーム間での画像の変化)に応じて変化させてもよい。
【0019】
入力信号Hが水平方向X画素、垂直方向Y画素の大きさの画像信号の場合について説明する。ここで、入力信号Hの画像座標(x,y)における画素値をH(x,y)と表記する(他の画像についても同様)。前処理部11は、例えば、式(1)又は(2)に示す変換により、大きさが水平方向X/2画素、垂直方向Y/2画素である前処理信号L(x,y)を得る。
【0022】
なお、式(2)のgは間引きフィルタ、Gは間引きフィルタgのカーネルの大きさを表す領域であり、例えば式(3)で表される。
【0024】
符号化部31は、前処理部11により生成された前処理信号Lを、例えば規格標準化された映像符号化方式により符号化を行って符号化信号を生成し、局部復号部32に出力する。また、符号化部31は符号化信号を復号装置2に、直接、又は記録媒体を介して間接的に送信する。
【0025】
局部復号部32は、符号化部31により生成された符号化信号を復号して、局部復号信号Dを生成し、後処理模擬部12に出力する。局部復号信号Dは、後述する復号部33により生成される復号信号と同一となる。局部復号部32は、復号部33と同一であってもよい。なお、符号化部31が内部で生成した局部復号信号を外部に出力する構成である場合には、局部復号部32を別途設ける必要は無く、符号化部31が出力する局部復号信号を後処理模擬部12に入力させる。
【0026】
後処理模擬部12は、復号装置2における後処理を模擬するために、局部復号部32により生成された局部復号信号Dに対して、N個(Nは1以上の自然数)のパラメータを用いて信号処理を行ってN個の後処理模擬信号E
1乃至E
Nを生成し、最適化部13に出力する。例えば、後処理模擬部12は、典型的には前処理部11と逆の変換又はこれを近似する変換を行う。例えば、前処理部11がデータの標本数を1/M倍(例えば、MはM>1なる実数)に減ずる場合には、後処理模擬部12はデータの標本数をM倍に増加する。
【0027】
局部復号信号Dが画像信号である場合には、後処理模擬部12は、例えば、局部復号信号Dに対し最近傍補間(パラメータ1)を用いて処理して2×2倍の解像度(標本数)に増加した信号を後処理模擬信号E
1とし、局部復号信号Dに対し双一次補間(パラメータ2)を用いて処理して2×2倍の解像度に増加した信号を後処理模擬信号E
2とし、局部復号信号Dに対し双三次補間(パラメータ3)を用いて処理して2×2倍の解像度に増加した信号を後処理模擬信号E
3とする。このように異なる補間処理によって後処理模擬信号E
1乃至E
Nを生成することができる。このほかに、あるいはこれに加えて、超解像処理により解像度変換を行ってもよい。例えば、画像信号である局部復号信号Dに対するウェーブレット超解像や、局部復号信号D及びその前後のフレームを用いた複数フレーム超解像などにより解像度変換を行うことができる。
【0028】
最適化部13は、後処理模擬部12により生成されたN個の後処理模擬信号E
1乃至E
Nと、入力信号Hとを比較し、入力信号Hとの差が最小となる後処理模擬信号En(1≦n≦N)の生成に用いられたパラメータを示す最適判定信号を生成する。最適化部13は、画面を分割した領域ごとに最適性の判定をしてもよいし、画像全体の領域を評価対象として最適性の判定をしてもよい。さらに、最適化部13は、入力信号Hのそれぞれ複数の時点からなる画像列(複数フレーム)をひとまとまりにして、該ひとまとまりの単位で最適性の判定をしてもよい。一般的には、最適化部13は、後処理模擬信号E
1乃至E
Nと、入力信号Hについて時空間的な部分領域を定義し、該部分領域ごとに後処理模擬信号E
1乃至E
Nのいずれが最適であるかを判定する。
【0029】
例えば、最適化部13は、画像の部分領域R
p(pは1以上P以下の自然数、Pは部分領域の総数であって1以上の整数。)ごとに、最適な後処理模擬信号のインデックス(E
1乃至E
Nの添え字)である最適判定信号n
opt(p)を、式(4)又は(5)の判定式を用いて判定する。
【0032】
さらに、最適化部13は、最適判定信号n
opt(p)に基づき、後処理模擬信号E
1乃至E
Nを合成して最適化信号Fを生成し、減算部15に出力する。最適化信号Fは例えば、式(6)によって得られる。
【0034】
補助情報符号化部14は、最適化部13により生成された最適判定信号n
opt(p)を符号化して補助情報符号化信号を生成し、復号装置2に直接、又は記録媒体を介し間接的に送信する。このとき、補助情報符号化部14は、可逆的な圧縮符号化を適用してもよい。可逆的な圧縮符号化には、例えばハフマン符号化や算術符号化などのエントロピー符号化と、必要に応じてシンボル間の予測(例えば、シンボル間の差分など)を用いることができる。
【0035】
減算部15は、入力信号Hと、最適化部13によって生成された最適化信号Fとの差分である残差信号Qを算出し、残差符号化部16に出力する。入力信号Hが映像信号や画像信号の場合には、例えば、式(7)によって残差信号Qを求める。
【0037】
残差符号化部16は、減算部15により生成された残差信号Qを可逆又は非可逆の圧縮符号化を施して残差符号化信号を生成し、復号装置2に直接、又は記録媒体を介して間接的に送信する。例えば、入力信号Hが映像信号の場合には、残差符号化部16として、既存の映像符号化方式(例えば、MPEG−1、MPEG−2、MPEG−4、MPEG−4 AVC/H.264、MPEG−H HEVCなど)や既存の静止画像符号化方式(JPEGなど)を用いることができる。
【0038】
[復号装置]
つぎに、復号装置2の詳細について以下に説明する。
図1に示すように、復号装置2は、補助情報復号部21と、後処理部22と、残差復号部23と、加算部24と、復号部33とを備える。復号装置2は符号化装置1から符号化信号、補助情報符号化信号、及び残差符号化信号を直接取得するか、あるいは符号化装置1及び復号装置2の間に記録媒体が介在する場合には記録媒体を介して取得する。
【0039】
復号部33は、符号化装置1の符号化部31及び局部復号部32とともに、既存処理部3を構成する。復号部33は、符号化部31と対をなし、符号化部31により生成された符号化信号を取得し、例えば規格標準化された映像符号化方式により復号して復号信号Dを生成し、後処理部22に出力する。復号部33が生成する復号信号Dは、局部復号部32が生成する局部復号信号Dと一致する。
【0040】
補助情報復号部21は、補助情報符号化部14により符号化された補助情報符号化信号を取得し、該補助情報符号化信号を復号して補助情報復号信号である最適判定信号n
opt(p)を生成し、後処理部22に出力する。
【0041】
後処理部22は、復号部33により生成された復号信号に対して、後処理模擬部12の実行するN個の処理のいずれをも実行可能なよう実装され、最適判定信号n
opt(p)によって指定されるパラメータ用いて変換処理を行って後処理信号を生成し、加算部24に出力する。最適判定信号n
opt(p)が領域単位で最適判定を行う場合には、該領域ごとに処理結果を切り替える。この動作により、後処理部22の出力は、最適化部13の出力する最適化信号Fに一致する。例えば、後処理部22は、後処理模擬部12と同様の実装によりN個の変換処理結果をすべて演算しておき、入力された最適判定信号n
opt(p)に応じて、これらN個の処理結果の中から最適なものを選択するよう領域ごとに切り替えつつ出力するようしてもよい。
【0042】
残差復号部23は、残差符号化部16により符号化された残差符号化信号を取得し、該残差符号化信号を復号して残差復号信号Rを生成し、加算部24に出力する。
【0043】
加算部24は、式(8)に示すように、後処理部22により生成される最適化信号Fと、残差復号部23により生成される残差復号信号Rとを加算して出力信号Sを生成し、外部に出力する。
【0045】
残差符号化部16が非可逆符号化を行う場合には、残差復号信号Rと残差信号Qとは必ずしも完全には一致しない。一方、残差符号化部16が可逆符号化を行う場合には、残差復号信号Rと残差信号Qとは完全に一致し、その結果、加算部24の出力する出力信号Sと入力信号Hも完全に一致する。
【0046】
上述したように、本発明に係る符号化装置1は、符号化部31によって符号化された符号化信号と、補助情報符号化部14によって符号化された補助情報符号化信号と、残差符号化部16によって符号化された残差符号化信号とを送信し、復号装置2はこれらの信号を取得する。このため、高効率な圧縮伝送を行う場合においても、復号装置2の出力信号Sの品質を向上させることができる。
【0047】
符号化装置1から復号装置2に伝送されるこれらの信号は、符号化信号、補助情報符号化信号、残差符号化信号の順で優先度を高く伝送するのが好適である。換言すれば、符号化信号のみを伝送する場合でも、後処理部22を既定の処理によって動作させることにより、誤差は大きいものの信号再生は可能である。
【0048】
符号化信号及び補助情報符号化信号のみを伝送する場合には、後処理部22を最適な状態で制御することができるため、符号化信号しか伝送しない場合よりも高い精度で信号を再生することができる。
【0049】
そして、符号化信号、補助情報符号化信号、及び残差符号化信号のすべてを伝送する場合には、符号化信号及び補助情報符号化信号のみを伝送する場合よりも高い精度で信号を再生することができる。
【0050】
このような特性から、伝送路や伝送路符号化を考慮する場合には、符号化信号、補助情報符号化信号、残差符号化信号の順で誤り耐性を高くするのが好適である。例えば、変調多値数の少ない変調方式を用いることにより誤り耐性を高くすることができる。
【0051】
なお、符号化信号、補助情報符号化信号、及び残差符号化信号は、すべて同じ媒体(伝送路)上で伝送してもよいし、すべて別々の媒体上で伝送してもよいし、うち二つと残り一つとで異なる媒体上で伝送してもよい。例えば、映像信号を伝送する場合においては、符号化信号を放送波の主たる伝送路において高い誤り耐性で伝送し、補助情報符号化信号を放送波の副たる伝送路上において低い誤り耐性で伝送し、さらに残差符号化信号をIP(Internet Protocol)上で伝送するような構成も可能である。すなわち、符号化信号、補助情報符号化信号、及び残差符号化信号によって、品質上スケーラブルな伝送が可能となる。
【0052】
なお、上述した符号化装置1又は復号装置2として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置1又は復号装置2の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【0053】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態では入力信号Hを映像信号として説明したが、入力信号Hは静止画信号や音声信号であってもよい。また、実施形態に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【0054】
1 符号化装置
2 復号装置
3 既存処理部
11 前処理部
12 後処理模擬部
13 最適化部
14 補助情報符号化部
15 減算部
16 残差符号化部
21 補助情報復号部
22 後処理部
23 残差復号部
24 加算部
31 符号化部
32 局部復号部
33 復号部