特開2024-44347映像符号化装置及びプログラム、映像復号装置及びプログラム、並びに、映像処理システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024044347
(43)【公開日】2024-04-02
(54)【発明の名称】映像符号化装置及びプログラム、映像復号装置及びプログラム、並びに、映像処理システム
(51)【国際特許分類】
H04N 19/433 20140101AFI20240326BHJP
H04N 19/46 20140101ALI20240326BHJP
【ＦＩ】
H04N19/433
H04N19/46
【審査請求】未請求
【請求項の数】46
【出願形態】ＯＬ
(21)【出願番号】P 2022149825
(22)【出願日】2022-09-21
(71)【出願人】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100180275
【弁理士】
【氏名又は名称】吉田 倫太郎
(74)【代理人】
【識別番号】100161861
【弁理士】
【氏名又は名称】若林 裕介
(72)【発明者】
【氏名】中川 聰
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
5C159MA05
5C159MA23
5C159MC11
5C159ME01
5C159PP04
5C159RC11
5C159UA02
5C159UA05
5C159UA16
5C159UA38
(57)【要約】
【課題】内部的な映像表現を、対象画像のビット深度に依存した、符号なしビット深度の映像表現とする標準方式の符号化・復号処理と互換動作する。
【解決手段】本発明の映像符号化装置は、符号化対象画像を、装置内部での演算に使用する符号付き固定ビット深度画像に変換する符号付き固定ビット深度化変換手段と、符号化処理によって符号付き固定ビット深度画像として再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファとを備え、符号化処理は、演算結果を、対象画像のビット深度に応じたビット精度に丸める処理、又は切り捨てる処理が既存標準方式に規定されている場合に、符号付き固定ビット深度の画素値表現のまま、既存標準方式の処理を模倣する処理を行う。
【選択図】 図１
【解決手段】本発明の映像符号化装置は、符号化対象画像を、装置内部での演算に使用する符号付き固定ビット深度画像に変換する符号付き固定ビット深度化変換手段と、符号化処理によって符号付き固定ビット深度画像として再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファとを備え、符号化処理は、演算結果を、対象画像のビット深度に応じたビット精度に丸める処理、又は切り捨てる処理が既存標準方式に規定されている場合に、符号付き固定ビット深度の画素値表現のまま、既存標準方式の処理を模倣する処理を行う。
【選択図】 図１
【特許請求の範囲】
【請求項1】
入力された符号化対象画像を、映像符号化装置内部での演算に使用する符号付き固定ビット深度画像に変換する符号付き固定ビット深度化変換手段と、
符号付き固定ビット深度の領域で符号化処理を行う符号化処理手段と、
前記符号化処理によって符号付き固定ビット深度画像として再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファと
を備え、
前記符号化処理手段による前記符号化処理は、演算結果を、対象画像のビット深度に応じたビット精度に丸める処理、又は切り捨てる処理が既存映像標準符号化方式に規定されている場合に、符号付き固定ビット深度の画素値表現のまま、既存映像標準符号化方式の処理を模倣する互換動作モードで処理を行う
ことを特徴とする映像符号化装置。
符号付き固定ビット深度の領域で符号化処理を行う符号化処理手段と、
前記符号化処理によって符号付き固定ビット深度画像として再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファと
を備え、
前記符号化処理手段による前記符号化処理は、演算結果を、対象画像のビット深度に応じたビット精度に丸める処理、又は切り捨てる処理が既存映像標準符号化方式に規定されている場合に、符号付き固定ビット深度の画素値表現のまま、既存映像標準符号化方式の処理を模倣する互換動作モードで処理を行う
ことを特徴とする映像符号化装置。
【請求項2】
前記予測画像は、符号付き固定ビット深度の画像として生成されるものであることを特徴とする請求項１に記載の映像符号化装置。
【請求項3】
前記符号付き固定ビット深度参照画像バッファ内の前記参照画像を参照して、動き補償予測や双方向予測を用いて、符号付き固定ビット深度のインター予測画像を生成するインター予測手段をさらに備えることを特徴とする請求項１に記載の映像符号化装置。
【請求項4】
前記インター予測手段が、ビットマスク処理によって、既存映像標準符号化方式と互換可能なインター予測画像を生成することを特徴とする請求項３に記載の映像符号化装置。
【請求項5】
符号付き固定ビット深度の画像として生成された同じ画面内の画素を参照して、イントラ予測処理を行って、符号付き固定ビット深度のイントラ予測画像を生成するイントラ予測手段をさらに備えることを特徴とする請求項１に記載の映像符号化装置。
【請求項6】
前記イントラ予測手段が、ビットマスク処理によって、既存映像標準符号化方式と互換な前記イントラ予測画像を生成することを特徴とする請求項５に記載の映像符号化装置。
【請求項7】
前記再構成画像に対して、ループ内フィルタ処理を施した、符号付き固定ビット深度の復号画像を生成するループ内フィルタ手段を備え、
前記符号付き固定ビット深度参照画像バッファは、得られた符号付き固定ビット深度の前記復号画像を、前記参照画像として保持する
ことを特徴とする請求項１に記載の映像符号化装置。
前記符号付き固定ビット深度参照画像バッファは、得られた符号付き固定ビット深度の前記復号画像を、前記参照画像として保持する
ことを特徴とする請求項１に記載の映像符号化装置。
【請求項8】
前記ループ内フィルタ手段が、
ビットマスク処理によって、既存映像標準符号化方式と互換な復号画像を生成するものであり、
得られた既存映像標準符号化方式における復号画像を符号付き固定ビット深度の画像として表現して得た符号付き固定ビット深度の復号画像を、前記符号付き固定ビット深度参照画像バッファに、前記参照画像として保持させることを特徴とする請求項７に記載の映像符号化装置。
ビットマスク処理によって、既存映像標準符号化方式と互換な復号画像を生成するものであり、
得られた既存映像標準符号化方式における復号画像を符号付き固定ビット深度の画像として表現して得た符号付き固定ビット深度の復号画像を、前記符号付き固定ビット深度参照画像バッファに、前記参照画像として保持させることを特徴とする請求項７に記載の映像符号化装置。
【請求項9】
前記符号付き固定ビット深度化変換手段により変換された対象画像と、符号付き固定ビット深度の画像として生成された前記予測画像との差分から予測残差信号を求める差分処理手段を備え、
前記符号化処理は、前記予測残差信号を基にして行う
ことを特徴とする請求項１に記載の映像符号化装置。
前記符号化処理は、前記予測残差信号を基にして行う
ことを特徴とする請求項１に記載の映像符号化装置。
【請求項10】
符号化された残差信号を復元する処理を行い、符号付き固定ビット深度の画像として生成された前記予測画像と、復元された残差信号を加算する加算処理手段を備え、
前記符号化処理は、前記加算処理手段による加算処理によって得られた結果から、符号付き固定ビット深度の前記再構成画像を生成する
ことを特徴とする請求項１に記載の映像符号化装置。
前記符号化処理は、前記加算処理手段による加算処理によって得られた結果から、符号付き固定ビット深度の前記再構成画像を生成する
ことを特徴とする請求項１に記載の映像符号化装置。
【請求項11】
前記加算処理手段が、ビットマスク処理によって、既存映像標準符号化方式と互換な前記再構成画像を生成することを特徴とする請求項１０に記載の映像符号化装置。
【請求項12】
前記予測残差信号に対して、所定の変換処理を施して変換係数領域に変換する変換手段と、
前記変換手段によって変換された変換係数を量子化する量子化手段と
をさらに備えることを特徴とする請求項９に記載の映像符号化装置。
前記変換手段によって変換された変換係数を量子化する量子化手段と
をさらに備えることを特徴とする請求項９に記載の映像符号化装置。
【請求項13】
量子化された前記変換係数を逆量子化する逆量子化手段と、
前記逆量子化手段によって得られた前記変換係数に対して、所定の変換処理を施して、前記予測残差信号を復元した復元予測残差信号を取得する逆変換手段と
をさらに備え、
前記復元予測残差信号は、符号付き固定ビット深度の再構成画像の生成に利用されることを特徴とする請求項１２に記載の映像符号化装置。
前記逆量子化手段によって得られた前記変換係数に対して、所定の変換処理を施して、前記予測残差信号を復元した復元予測残差信号を取得する逆変換手段と
をさらに備え、
前記復元予測残差信号は、符号付き固定ビット深度の再構成画像の生成に利用されることを特徴とする請求項１２に記載の映像符号化装置。
【請求項14】
前記逆変換手段が、前記復元予測残差信号に対して、ビットマスク処理によって既存映像標準符号化方式と互換な符号付き固定ビット深度の残差信号を生成することを特徴とする請求項１３に記載の映像符号化装置。
【請求項15】
量子化された前記変換係数を、前記符号付き固定ビット深度化変換手段で用いられた、入力された前記符号化対象画像のビット深度を表すビット深度パラメーターを含む変換パラメーターとともに多重化してエントロピー符号化するエントロピー符号化手段をさらに備えたことを特徴とする請求項１２に記載の映像符号化装置。
【請求項16】
前記エントロピー符号化手段が、既存映像標準符号化方式に準拠する符号化ストリームを出力することを特徴とする請求項１５に記載の映像符号化装置。
【請求項17】
前記符号付き固定ビット深度化変換手段が、
入力画像の画素値を、当該入力画像のビット深度パラメーターに応じて、固定のビット深度にスケールするスケール部と、
符号なしの入力画像の画素値を符号付きの画素値に変換する減算部と
を備えることを特徴とする請求項１に記載の映像符号化装置。
入力画像の画素値を、当該入力画像のビット深度パラメーターに応じて、固定のビット深度にスケールするスケール部と、
符号なしの入力画像の画素値を符号付きの画素値に変換する減算部と
を備えることを特徴とする請求項１に記載の映像符号化装置。
【請求項18】
前記インター予測手段が、
前記符号付き固定ビット深度参照画像バッファ内の符号付き固定ビット深度で表現された前記参照画像を参照して、水平と垂直の２次元の方向のいずれか一方の方向への補間フィルタ処理による中間結果を符号付き固定ビット深度の画像として求め、
符号付き固定ビット深度の前記中間結果を参照して、もう一方の方向への補間フィルタ処理によって、補間処理結果画像を、符号付き固定ビット深度の画像として求め、
符号付き固定ビット深度の前記補間処理結果画像を用いて、インター予測によるインター予測画像を生成する
ことを特徴とする請求項３に記載の映像符号化装置。
前記符号付き固定ビット深度参照画像バッファ内の符号付き固定ビット深度で表現された前記参照画像を参照して、水平と垂直の２次元の方向のいずれか一方の方向への補間フィルタ処理による中間結果を符号付き固定ビット深度の画像として求め、
符号付き固定ビット深度の前記中間結果を参照して、もう一方の方向への補間フィルタ処理によって、補間処理結果画像を、符号付き固定ビット深度の画像として求め、
符号付き固定ビット深度の前記補間処理結果画像を用いて、インター予測によるインター予測画像を生成する
ことを特徴とする請求項３に記載の映像符号化装置。
【請求項19】
前記イントラ予測手段は、イントラ予測に用いる参照画素が、当該参照画素としては用いない位置の画素であった場合には、その画素値を０であるとみなすような処理を行って、前記イントラ予測画像を生成することを特徴とする請求項５に記載の映像符号化装置。
【請求項20】
前記符号化対象画像の画素値を、符号付き固定のビット深度の画素値に変換する変換関数を、ビット深度パラメーター以外のパラメーターも用いた変換関数として定義可能として、前記パラメーターを、符号化ストリームに多重化する多重化手段をさらに備え、
前記符号付き固定ビット深度化変換手段は、前記変換関数に従って、前記符号化対象画像の画素値を符号付き固定のビット深度の画素値に変換する
ことを特徴とする請求項１に記載の映像符号化装置。
前記符号付き固定ビット深度化変換手段は、前記変換関数に従って、前記符号化対象画像の画素値を符号付き固定のビット深度の画素値に変換する
ことを特徴とする請求項１に記載の映像符号化装置。
【請求項21】
入力画像の画素値を、そのまま符号化可能なＰＣＭモードを設け、
ＰＣＭモードの領域についてはＰＣＭモード用のビット深度パラメーターに基づいて符号化ストリームに多重化し、
ＰＣＭモードの領域に対応する再構成画像は、ＰＣＭモードの画素を符号付き固定ビット深度の画素に変換した画素値を用いて生成する
ことを特徴とする請求項１に記載の映像符号化装置。
ＰＣＭモードの領域についてはＰＣＭモード用のビット深度パラメーターに基づいて符号化ストリームに多重化し、
ＰＣＭモードの領域に対応する再構成画像は、ＰＣＭモードの画素を符号付き固定ビット深度の画素に変換した画素値を用いて生成する
ことを特徴とする請求項１に記載の映像符号化装置。
【請求項22】
前記符号化処理手段による前記符号化処理は、前記互換動作モードと、既存映像標準符号化方式の処理を模倣する処理を行わず、高精度な符号付き固定ビット深度の画素値表現のまま符号化処理を行う拡張動作モードとを切り替えて処理することを特徴とする請求項１に記載の映像符号化装置。
【請求項23】
符号付き固定ビット深度の領域で復号処理を行う復号処理手段と、
前記復号処理によって再構成される画像を、符号付き固定ビット深度の画像として求め、この再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファと、
映像復号装置内部の映像表現である符号付き固定ビット深度の画像を、対象映像のビット深度の画像に変換する復号画像ビット深度変換手段と
を備え、
前記復号処理手段による前記復号処理は、演算結果を、対象画像のビット深度に応じたビット精度に丸める処理、又は切り捨てる処理が既存映像標準符号化方式に規定されている場合に、符号付き固定ビット深度の画素値表現のまま、既存映像標準符号化方式の処理を模倣する互換動作モードで処理を行う
ことを特徴とする映像復号装置。
前記復号処理によって再構成される画像を、符号付き固定ビット深度の画像として求め、この再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファと、
映像復号装置内部の映像表現である符号付き固定ビット深度の画像を、対象映像のビット深度の画像に変換する復号画像ビット深度変換手段と
を備え、
前記復号処理手段による前記復号処理は、演算結果を、対象画像のビット深度に応じたビット精度に丸める処理、又は切り捨てる処理が既存映像標準符号化方式に規定されている場合に、符号付き固定ビット深度の画素値表現のまま、既存映像標準符号化方式の処理を模倣する互換動作モードで処理を行う
ことを特徴とする映像復号装置。
【請求項24】
前記予測画像は、符号付き固定ビット深度の画像として生成されるものであることを特徴とする請求項２３に記載の映像復号装置。
【請求項25】
前記符号付き固定ビット深度参照画像バッファ内の前記参照画像を参照して、動き補償予測や双方向予測を用いて、符号付き固定ビット深度のインター予測画像を生成するインター予測手段をさらに備えることを特徴とする請求項２３に記載の映像復号装置。
【請求項26】
前記インター予測手段が、ビットマスク処理によって、既存映像標準符号化方式と互換可能なインター予測画像を生成することを特徴とする請求項２５に記載の映像復号装置。
【請求項27】
符号付き固定ビット深度の画像として生成された同じ画面内の画素を参照して、イントラ予測処理を行って、符号付き固定ビット深度のイントラ予測画像を生成するイントラ予測手段をさらに備えることを特徴とする請求項２３に記載の映像復号装置。
【請求項28】
前記イントラ予測手段が、ビットマスク処理によって、既存映像標準符号化方式と互換なイントラ予測画像を生成することを特徴とする請求項２７に記載の映像復号装置。
【請求項29】
前記再構成画像に対して、ループ内フィルタ処理を施した、符号付き固定ビット深度の復号画像を生成するループ内フィルタ手段を備え、
前記符号付き固定ビット深度参照画像バッファは、得られた符号付き固定ビット深度の前記復号画像を、前記参照画像として保持する
ことを特徴とする請求項２３に記載の映像復号装置。
前記符号付き固定ビット深度参照画像バッファは、得られた符号付き固定ビット深度の前記復号画像を、前記参照画像として保持する
ことを特徴とする請求項２３に記載の映像復号装置。
【請求項30】
前記ループ内フィルタ手段が、
ビットマスク処理によって、既存映像標準符号化方式と互換な復号画像を生成するものであり、
得られた既存映像標準符号化方式における復号画像を符号付き固定ビット深度の画像として表現して得た符号付き固定ビット深度の復号画像を、前記符号付き固定ビット深度参照画像バッファに、前記参照画像として保持させることを特徴とする請求項２９に記載の映像復号装置。
ビットマスク処理によって、既存映像標準符号化方式と互換な復号画像を生成するものであり、
得られた既存映像標準符号化方式における復号画像を符号付き固定ビット深度の画像として表現して得た符号付き固定ビット深度の復号画像を、前記符号付き固定ビット深度参照画像バッファに、前記参照画像として保持させることを特徴とする請求項２９に記載の映像復号装置。
【請求項31】
符号化された残差信号を復元する処理を行い、符号付き固定ビット深度の画像として生成された前記予測画像と、復元された残差信号を加算する加算処理手段を備え、
前記復号処理は、前記加算処理手段による加算処理によって得られた結果から、符号付き固定ビット深度の前記再構成画像を生成する
ことを特徴とする請求項２３に記載の映像復号装置。
前記復号処理は、前記加算処理手段による加算処理によって得られた結果から、符号付き固定ビット深度の前記再構成画像を生成する
ことを特徴とする請求項２３に記載の映像復号装置。
【請求項32】
前記加算処理手段が、ビットマスク処理によって、既存映像標準符号化方式と互換な前記再構成画像を生成することを特徴とする請求項３１に記載の映像復号装置。
【請求項33】
入力された符号化ストリームから抽出した、量子化された変換係数を逆量子化する逆量子化手段と、
前記逆量子化手段により得られた前記変換係数に対して、所定の逆変換処理を施して、符号化された残差信号を復元した復元予測残差信号を取得する逆変換手段と
をさらに備え、
前記復元予測残差信号は、符号付き固定ビット深度の再構成画像の生成に利用される
ことを特徴とする請求項２３に記載の映像復号装置。
前記逆量子化手段により得られた前記変換係数に対して、所定の逆変換処理を施して、符号化された残差信号を復元した復元予測残差信号を取得する逆変換手段と
をさらに備え、
前記復元予測残差信号は、符号付き固定ビット深度の再構成画像の生成に利用される
ことを特徴とする請求項２３に記載の映像復号装置。
【請求項34】
前記逆変換手段が、前記復元予測残差信号に対して、ビットマスク処理によって、既存映像標準符号化方式と互換な符号付き固定ビット深度の残差信号を生成することを特徴とする請求項３３に記載の映像復号装置。
【請求項35】
入力される符号化ストリームから、量子化された変換係数と、前記復号画像ビット深度変換手段で用いる対象画像のビット深度パラメーターを含む逆変換のためのパラメーターをエントロピー復号して抽出するエントロピー復号手段をさらに備え、
前記復号処理は、得られた量子化された前記変換係数を基に符号付き固定ビット深度の前記再構成画像を生成する処理を行い、
前記復号画像ビット深度変換手段は、エントロピー復号によって得られる前記パラメーターを基に、対象画像のビット深度の画像への変換を行う
ことを特徴とする請求項３３に記載の映像復号装置。
前記復号処理は、得られた量子化された前記変換係数を基に符号付き固定ビット深度の前記再構成画像を生成する処理を行い、
前記復号画像ビット深度変換手段は、エントロピー復号によって得られる前記パラメーターを基に、対象画像のビット深度の画像への変換を行う
ことを特徴とする請求項３３に記載の映像復号装置。
【請求項36】
前記エントロピー復号手段は、既存映像標準符号化方式と互換な入力符号化ストリームをエントロピー復号するものであり、
前記復号処理は、既存映像標準符号化方式と互換な動作モードで動作させる
ことを特徴とする請求項３５に記載の映像復号装置。
前記復号処理は、既存映像標準符号化方式と互換な動作モードで動作させる
ことを特徴とする請求項３５に記載の映像復号装置。
【請求項37】
前記復号画像ビット深度変換手段は、復号処理結果の復号画像の出力先の要求するビット深度が、符号化ストリームから得られるビット深度パラメーターと異なる場合には、符号付き固定ビット深度の画像として復号された前記復号画像を、前記出力先の要求するビット深度の画像に変換する処理を行うことを特徴とする請求項２３に記載の映像復号装置。
【請求項38】
前記復号画像ビット深度変換手段は、
符号付き固定ビット深度の画像として生成されている復号画像に対して、符号付きの復号画素値を符号なしの画素値に変換する加算部と、
固定ビット深度の画素値を、対象画像のビット深度パラメーターに応じて、前記対象画像のビット深度の画素値に変換する逆スケール部と
を備えることを特徴とする請求項２３に記載の映像復号装置。
符号付き固定ビット深度の画像として生成されている復号画像に対して、符号付きの復号画素値を符号なしの画素値に変換する加算部と、
固定ビット深度の画素値を、対象画像のビット深度パラメーターに応じて、前記対象画像のビット深度の画素値に変換する逆スケール部と
を備えることを特徴とする請求項２３に記載の映像復号装置。
【請求項39】
前記インター予測手段が、
前記符号付き固定ビット深度参照画像バッファ内の符号付き固定ビット深度で表現された前記参照画像を参照して、水平と垂直の２次元の方向のいずれか一方の方向への補間フィルタ処理による中間結果を符号付き固定ビット深度の画像として求め、
符号付き固定ビット深度の前記中間結果を参照して、もう一方の方向への補間フィルタ処理によって、補間処理結果画像を、符号付き固定ビット深度の画像として求め、
符号付き固定ビット深度の前記補間処理結果画像を用いて、インター予測によるインター予測画像を生成する
ことを特徴とする請求項２５に記載の映像復号装置。
前記符号付き固定ビット深度参照画像バッファ内の符号付き固定ビット深度で表現された前記参照画像を参照して、水平と垂直の２次元の方向のいずれか一方の方向への補間フィルタ処理による中間結果を符号付き固定ビット深度の画像として求め、
符号付き固定ビット深度の前記中間結果を参照して、もう一方の方向への補間フィルタ処理によって、補間処理結果画像を、符号付き固定ビット深度の画像として求め、
符号付き固定ビット深度の前記補間処理結果画像を用いて、インター予測によるインター予測画像を生成する
ことを特徴とする請求項２５に記載の映像復号装置。
【請求項40】
前記イントラ予測手段は、イントラ予測に用いる参照画素が、当該参照画素としては用いない位置の画素であった場合には、その画素値を０であるとみなすような処理を行って、前記イントラ予測画像を生成することを特徴とする請求項２７に記載の映像復号装置。
【請求項41】
前記復号画像ビット深度変換手段が、復号処理内部での画素値の表現である符号付き固定のビット深度の画素値を、出力画像の画素値に変換する逆変換関数を、ビット深度パラメーター以外のパラメーターも用いた逆変換関数として定義可能として、この変換パラメーターを符号化ストリームに多重化し、符号化ストリームの復号により抽出された変換パラメーターで表現された逆変換関数に従って、符号付き固定のビット深度の画像として生成された復号画像を、出力用の対象画像のビット深度の画像に変換する
ことを特徴とする請求項２３に記載の映像復号装置。
ことを特徴とする請求項２３に記載の映像復号装置。
【請求項42】
入力画像の画素値を、そのまま符号化可能なＰＣＭモードを設け、
ＰＣＭモードの領域についてはＰＣＭモード用のビット深度パラメーターに基づいて符号化ストリームから画素値を抽出し、
ＰＣＭモードの領域に対応する再構成画像は、符号化ストリームから抽出したＰＣＭモードの画素値を、符号付き固定ビット深度度の画素値に変換した画素値を用いて生成する
ことを特徴とする請求項２３に記載の映像復号装置。
ＰＣＭモードの領域についてはＰＣＭモード用のビット深度パラメーターに基づいて符号化ストリームから画素値を抽出し、
ＰＣＭモードの領域に対応する再構成画像は、符号化ストリームから抽出したＰＣＭモードの画素値を、符号付き固定ビット深度度の画素値に変換した画素値を用いて生成する
ことを特徴とする請求項２３に記載の映像復号装置。
【請求項43】
前記復号処理手段による前記復号処理は、前記互換動作モードと、既存映像標準符号化方式の処理を模倣する処理を行わず、高精度な符号付き固定ビット深度の画素値表現のまま復号処理を行う拡張動作モードとを切り替えて処理することを特徴とする請求項２３に記載の映像復号装置。
【請求項44】
コンピュータを、
入力された符号化対象画像を、映像符号化装置内部での演算に使用する符号付き固定ビット深度画像に変換する符号付き固定ビット深度化変換手段と、
符号付き固定ビット深度の領域で符号化処理を行う符号化処理手段と、
前記符号化処理によって符号付き固定ビット深度画像として再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファと
して機能させ、
前記符号化処理は、演算結果を、対象画像のビット深度に応じたビット精度に丸める処理、又は切り捨てる処理が既存映像標準符号化方式に規定されている場合に、符号付き固定ビット深度の画素値表現のまま、既存映像標準符号化方式の処理を模倣する互換動作モードで処理を行う
ことを特徴とする映像符号化プログラム。
入力された符号化対象画像を、映像符号化装置内部での演算に使用する符号付き固定ビット深度画像に変換する符号付き固定ビット深度化変換手段と、
符号付き固定ビット深度の領域で符号化処理を行う符号化処理手段と、
前記符号化処理によって符号付き固定ビット深度画像として再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファと
して機能させ、
前記符号化処理は、演算結果を、対象画像のビット深度に応じたビット精度に丸める処理、又は切り捨てる処理が既存映像標準符号化方式に規定されている場合に、符号付き固定ビット深度の画素値表現のまま、既存映像標準符号化方式の処理を模倣する互換動作モードで処理を行う
ことを特徴とする映像符号化プログラム。
【請求項45】
コンピュータを、
符号付き固定ビット深度の領域で復号処理を行う復号処理手段と、
復号処理によって再構成される画像を、符号付き固定ビット深度の画像として求め、この再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファと、
映像復号装置内部の映像表現である符号付き固定ビット深度の画像を、対象映像のビット深度の画像に変換する復号画像ビット深度変換手段と
して機能させ、
前記復号処理は、演算結果を、対象画像のビット深度に応じたビット精度に丸める処理、又は切り捨てる処理が既存映像標準符号化方式に規定されている場合に、符号付き固定ビット深度の画素値表現のまま、既存映像標準符号化方式の処理を模倣する互換動作モードで処理を行う
ことを特徴とする映像復号プログラム。
符号付き固定ビット深度の領域で復号処理を行う復号処理手段と、
復号処理によって再構成される画像を、符号付き固定ビット深度の画像として求め、この再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファと、
映像復号装置内部の映像表現である符号付き固定ビット深度の画像を、対象映像のビット深度の画像に変換する復号画像ビット深度変換手段と
して機能させ、
前記復号処理は、演算結果を、対象画像のビット深度に応じたビット精度に丸める処理、又は切り捨てる処理が既存映像標準符号化方式に規定されている場合に、符号付き固定ビット深度の画素値表現のまま、既存映像標準符号化方式の処理を模倣する互換動作モードで処理を行う
ことを特徴とする映像復号プログラム。
【請求項46】
映像符号化装置と、前記映像符号化装置により符号化された符号化データを復号する映像復号装置とを備える映像処理システムにおいて、
前記映像符号化装置と前記映像復号装置とのいずれか一方又は両方が、
前記映像符号化装置として請求項１～２２のいずれかに記載の映像符号化装置を適用し、
前記映像復号装置として請求項２３～４３のいずれかに記載の映像復号装置を適用した
ことを特徴とする映像処理システム。
前記映像符号化装置と前記映像復号装置とのいずれか一方又は両方が、
前記映像符号化装置として請求項１～２２のいずれかに記載の映像符号化装置を適用し、
前記映像復号装置として請求項２３～４３のいずれかに記載の映像復号装置を適用した
ことを特徴とする映像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像符号化装置及びプログラム、映像復号装置及びプログラム、並びに、映像処理システムに関する。
【背景技術】
【0002】
例えば、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：以下、「ＡＶＣ」と呼ぶ。）、Ｈ．２６５／ＭＰＥＧ－Ｈ ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：以下、「ＨＥＶＣ」と呼ぶ。）、Ｈ．２６６／ＭＰＥＧ－Ｉ ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：以下、「ＶＶＣ」と呼ぶ。）等に代表される映像符号化方式による映像情報の圧縮符号化処理は、入力された対象画像を分割した処理単位ごとに、イントラ予測や動き補償予測等のインター予測を行った予測画像と、入力された対象画像との差分である予測残差信号に、離散コサイン変換等の空間変換を施した変換係数を量子化して、これをエントロピー符号化することによって高効率の映像圧縮を実現している（非特許文献１）。
【0003】
図１１は、従来技術の映像符号化装置の構成を示す構成図である。ＶＶＣのような符号化技術を用いる場合、入力された符号化対象画像（入力映像）は、差分処理部３０１に与えられる。差分処理部３０１は、符号化ユニット等の処理単位領域ごとに、動き補償を伴うインター予測部３１０もしくは画面内の符号化済み画素等から予測を行うイントラ予測部３１１による予測画像と、入力された符号化対象画像との差分をとり、その差分である予測残差信号を得る。予測残差信号は、変換部３０２においてＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）によって変換される。得られた変換係数は、量子化部３０３により量子化される。量子化された変換係数は、エントロピー符号化部３０４により、可変長符号や算術符号のようなエントロピー符号化され、エントロピー符号化部３０４が符号化ストリームを出力する。量子化された変換係数は、逆量子化部３０５により逆量子化され、逆変換部３０６により逆変換される。逆変換で得た復元された残差信号は、加算部３０７において予測画像を加算されることによって再構成画像が得られる。さらに、再構成画像はブロック歪を軽減するデブロッキングフィルタなどのループ内フィルタ３０８が適用され、後続の画像の符号化時のインター予測の動き補償のための参照画像として参照画像バッファ３０９に保持される。
【0004】
図１２は、従来技術の映像復号装置の構成を示す構成図である。映像符号化装置で生成された符号化ストリームが入力されると、符号化ストリームはエントロピー復号部４０４によりエントロピー復号されて、ＤＣＴ等の変換係数と、符号化モード情報や動きベクトル情報を得る。変換係数は、逆量子化部４０５により逆量子化され、逆変換部４０６により逆変換される。加算部４０７は、逆変換で得られる復元された残差信号と、インター予測部４１０もしくはイントラ予測部４１１により生成された予測画像とを加算する。これにより、映像符号化装置と同じ再構成画像を生成する。再構成画像は、デブロッキングフィルタなどのループ内フィルタ４０８が適用されて、復号画像として出力されるとともに、後続のインター予測のための参照画像として参照画像バッファ４０９に保持される。
【0005】
近年、ディスプレイ技術の進歩やネットワークの広帯域化に伴って、より高画質な映像の符号化が求められるようになり、従来、画素あたり８ビットのビット深度で輝度値等を表現していたＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）から、１０ビット以上のビット深度で画素値を表現するＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）映像が主流となりつつある。ＶＶＣでも、映像のビット深度に応じた符号化が可能となるように設計されており、ＶＶＣの第１版では１０ビット深度映像を対象とするプロファイル（用途等に応じた利用可能な機能のセット）が主要プロファイルとして定義されている。
【0006】
映像符号化技術のコーデックでのビット深度の取り扱いは、非特許文献２に示されるように、一般にコーデックに入出力される映像のビット深度よりも、コーデック内部での演算で用いるビット深度をより大きくするほうが、符号化効率が向上することが知られている。例えばＶＶＣでも参照画像バッファのビット深度は入出力映像のビット深度と同じとしているが、インター予測の動き補償予測画像の生成や変換演算等で、よりビット深度の大きな演算を用いるように設計されている。
【0007】
このように、８ビット映像や１０ビット映像など様々なビット深度の映像に対応する映像符号化技術では、コーデック内部の様々な構成要素における演算処理で、処理対象となっている映像のビット深度をパラメーターとするシフト演算等の演算によって、ビット深度の異なる様々な対象映像の処理を可能とするように設計されている。
【0008】
特許文献１では、コーデック内部の映像表現を、十分なビット深度を持つ符号付きの固定ビット深度の映像表現とし、符号化対象映像の入力時、復号映像の出力時にのみ、対象映像のビット深度に応じた符号なしの（可変）ビット深度映像表現とすることで、コーデック内部での演算を簡素化し、かつ、高精度な演算処理を実現する方法を開示している。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開２０２０－１９５０９６号公報
【非特許文献】
【0010】
【非特許文献1】ＩＴＵ－Ｔ Ｈ．２６６ ＩＳＯ／ＩＥＣ ２３０９０－３，“Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”，（ｈｔｔｐ：／／ｈａｎｄｌｅ．ｉｔｕ．ｉｎｔ／１１．１００２／１０００／１４３３６）
【非特許文献2】Ｔａｋｅｓｈｉ Ｃｈｕｊｏｈ， ｅｔ ａｌ． “Ｉｎｔｅｒｎａｌ ｂｉｔ ｄｅｐｔｈ ｉｎｃｒｅａｓｅ ｆｏｒ ｃｏｄｉｎｇ ｅｆｆｉｃｉｅｎｃｙ，” ＶＣＥＧ－ＡＥ１３，（ｈｔｔｐｓ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｗｆｔｐ３／ａｖ－ａｒｃｈ／ｖｉｄｅｏ－ｓｉｔｅ／０７０１＿Ｍａｒ／ＶＣＥＧ－ＡＥ１３．ｚｉｐ）
【発明の概要】
【発明が解決しようとする課題】
【0011】
しかしながら、従来技術の映像符号化技術では、非特許文献２で示されるように、参照画像のビット深度を入出力画像のビット深度と同じとしていたため、入出力ビット深度よりも大きなビット深度の参照画像バッファを用いる場合に比べて、符号化効率が低下してしまうという問題がある。
【0012】
一方、特許文献１の方法では、コーデック内部で高精度な演算を行うことにより符号化効率を向上させることは可能である。しかし、ＶＶＣ第１版標準やＡＶＣ、ＨＥＶＣ標準等ではビット深度依存の丸め処理等が規定されているため、ＶＶＣ第１版標準等の標準コーデックと互換性のあるストリームへの符号化、標準コーデックと互換性のあるストリームの復号ができないという課題がある。
【0013】
以上のように、特許文献１のような映像コーデックにおいても既存の標準コーデックと互換性のある符号化・復号処理が可能であることが望ましく、また、これら双方に対応するコーデックであっても、大部分の構成要素や演算処理が共通の構成要素や演算処理で構成されていることが望ましい。
【0014】
そのため、内部的な映像表現を、符号付き固定ビット深度の映像表現とする映像符号化技術の映像符号化装置、映像復号装置において、内部的な映像表現を対象画像のビット深度に依存したビット深度の符号なし（可変）ビット深度の映像表現とする映像符号化標準方式の符号化・復号処理と互換な動作が可能であり、その映像符号標準方式との互換動作時においても標準演算よりも軽量な演算処理とすることが求められている。
【課題を解決するための手段】
【0015】
本発明は、前記課題を解決するためになされたものであり、次のような構成を有する。
【0016】
第１の本発明の映像符号化装置は、入力された符号化対象画像を、映像符号化装置内部での演算に使用する符号付き固定ビット深度画像に変換する符号付き固定ビット深度化変換手段と、符号付き固定ビット深度の領域で符号化処理を行う符号化処理手段と、符号化処理によって符号付き固定ビット深度画像として再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファとを備え、符号化処理は、演算結果を、対象画像のビット深度に応じたビット精度に丸める処理、又は切り捨てる処理が既存映像標準符号化方式に規定されている場合に、符号付き固定ビット深度の画素値表現のまま、既存映像標準符号化方式の処理を模倣する互換動作モードで処理を行うことを特徴とする。
【0017】
第２の本発明の映像復号装置は、符号付き固定ビット深度の領域で復号処理を行う復号処理手段と、復号処理によって再構成される画像を、符号付き固定ビット深度の画像として求め、この再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファと、映像復号装置内部の映像表現である符号付き固定ビット深度の画像を、対象映像のビット深度の画像に変換する復号画像ビット深度変換手段とを備え、復号処理は、演算結果を、対象画像のビット深度に応じたビット精度に丸める処理、又は切り捨てる処理が既存映像標準符号化方式に規定されている場合に、符号付き固定ビット深度の画素値表現のまま、既存映像標準符号化方式の処理を模倣する互換動作モードで処理を行うことを特徴とする。
【0018】
第３の本発明の映像符号化装置は、コンピュータを、入力された符号化対象画像を、映像符号化装置内部での演算に使用する符号付き固定ビット深度画像に変換する符号付き固定ビット深度化変換手段と、符号付き固定ビット深度の領域で符号化処理を行う符号化処理手段と、符号化処理によって符号付き固定ビット深度画像として再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファとして機能させ、符号化処理は、演算結果を、対象画像のビット深度に応じたビット精度に丸める処理、又は切り捨てる処理が既存映像標準符号化方式に規定されている場合に、符号付き固定ビット深度の画素値表現のまま、既存映像標準符号化方式の処理を模倣する互換動作モードで処理を行うことを特徴とする。
【0019】
第４の本発明の映像復号装置は、コンピュータを、符号付き固定ビット深度の領域で復号処理を行う復号処理手段と、復号処理によって再構成される画像を、符号付き固定ビット深度の画像として求め、この再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファと、映像復号装置内部の映像表現である符号付き固定ビット深度の画像を、対象映像のビット深度の画像に変換する復号画像ビット深度変換手段として機能させ、復号処理は、演算結果を、対象画像のビット深度に応じたビット精度に丸める処理、又は切り捨てる処理が既存映像標準符号化方式に規定されている場合に、符号付き固定ビット深度の画素値表現のまま、既存映像標準符号化方式の処理を模倣する互換動作モードで処理を行うことを特徴とする。
【0020】
第５の本発明の映像処理システムは、映像符号化装置と、前記映像符号化装置により符号化された符号化データを復号する映像復号装置とを備える映像処理システムにおいて、映像符号化装置と映像復号装置のいずれか一方又は両方が、映像符号化装置として第１の本発明の映像符号化装置を適用し、映像復号装置として第２の本発明の映像復号装置を適用したことを特徴とする。
【発明の効果】
【0021】
本発明によれば以下のような効果が得られる。
【0022】
本発明によれば、内部的な映像表現を、符号付き固定ビット深度の映像表現とする映像符号化技術の符号化装置・復号装置において、内部的な映像表現を対象画像のビット深度に依存したビット深度の符号なし（可変）ビット深度の映像表現とする映像符号化標準方式の符号化・復号処理と互換な動作を可能とすることができる。また、映像符号化標準方式との互換動作時においても標準演算よりも軽量な演算処理とすることができる。
【図面の簡単な説明】
【0023】
【図1】実施形態に係る映像符号化装置の構成を示す構成図である。
【図2】実施形態に係る映像復号装置の構成を示す構成図である。
【図3】実施形態に係る映像処理システムの全体構成を示した図である。
【図4】実施形態に係る符号付き固定ビット深度化変換部の構成の一例を示す図である。
【図5】実施形態に係る符号付き復号画像ビット深度変換部の構成の一例を示す図である。
【図6】ＶＶＣにおける輝度画像の予測に使われる補間フィルタのフィルタ係数の一例である。
【図7】ＶＶＣにおける補間画像生成処理の構成を示す図である。
【図8】特許文献１のインター予測処理における補間画像生成処理の構成を示す図である。
【図9】本実施形態のインター予測処理における補間画像生成処理の構成を示す図である。
【図10】実施形態に係る符号付き固定ビット深度への変換、対象ビット深度への変換の様子（各画像における画素値の取りうる範囲）を示している。
【図11】従来の映像符号化装置の構成を示す構成図である。
【図12】従来の映像復号装置の構成を示す構成図である。
【発明を実施するための形態】
【0024】
（Ａ）主たる実施形態
以下、本発明に係る映像符号化装置及びプログラム、映像復号装置及びプログラム、並びに、映像処理システムの実施形態を、図面を参照しながら詳細に説明する。
以下、本発明に係る映像符号化装置及びプログラム、映像復号装置及びプログラム、並びに、映像処理システムの実施形態を、図面を参照しながら詳細に説明する。
【0025】
なお、以下の説明では、内部的な映像表現（参照画像バッファ等に保持される画像表現）を、符号化対象画像のビット深度に依存したビット深度の符号なし（可変）ビット深度の映像表現として定義されている既存の標準符号化方式等を、単に「従来の」映像符号化方式、あるいは、「標準の」映像符号化方式のように呼ぶ場合もある。
【0026】
また、標準の符号化方式と互換な符号化処理・復号処理を行う本実施形態における動作モードを「互換動作モード」、特許文献１と同様な内部的に符号付き固定ビット深度の高精度の符号化処理・復号処理を行う本実施形態における動作モードを「拡張動作モード」のように呼ぶ。
【0027】
【0028】
映像処理システム１は、符号化対象の入力映像を符号化し、その符号化したストリームデータ（以下、「符号化ストリーム」と呼ぶ。）を出力する映像符号化装置１０と、映像符号化装置１０により符号化された符号化ストリームを復号して復号映像を得る映像復号装置２０とを有する。
【0029】
映像符号化装置１０に供給される入力映像の入力方式は限定されず、入力映像の入力方式は、リアルタイムにカメラで撮影（撮像）された映像信号としても良いし、ＨＤＤやＤＶＤ等のデータ記録媒体に記録されたデータ（オフラインデータ）に基づく映像を読み込むようにしても良いし、通信により供給されるデータ（オンラインデータ）に基づく映像を読み込むようにしても良い。
【0030】
映像復号装置２０に供給される符号化ストリームのデータについても入力方式は限定されず、符号化ストリームの入力方式は、通信により符号化ストリームをリアルタイムに受信（映像符号化装置１０から受信）するようにしても良いし、データ記録媒体に記録された符号化ストリームのデータをオフラインで読み込むようにしても良い。
【0031】
（Ａ－１－２）映像符号化装置１０の詳細な構成
図１は、実施形態に係る映像符号化装置１０の構成を示す構成図である。図１において、映像符号化装置１０は、差分処理部１０１、変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆変換部１０６、加算部１０７、ループ内フィルタ部１０８、符号付き固定ビット深度参照画像バッファ１０９、インター予測部１１０、イントラ予測部１１１、切り替え部１１２、符号付き固定ビット深度化変換部１２０を有する。
図１は、実施形態に係る映像符号化装置１０の構成を示す構成図である。図１において、映像符号化装置１０は、差分処理部１０１、変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆変換部１０６、加算部１０７、ループ内フィルタ部１０８、符号付き固定ビット深度参照画像バッファ１０９、インター予測部１１０、イントラ予測部１１１、切り替え部１１２、符号付き固定ビット深度化変換部１２０を有する。
【0032】
図１において、映像符号化装置１０は、符号付き固定ビット深度化変換部１２０以外の各構成要素が、特許文献１と同様な符号付き固定ビット深度映像表現を想定した処理を行う動作モード（拡張動作モード）を備えることに加えて、内部的な映像表現が標準符号化方式と互換な動作モード（互換動作モード）も備える。
【0033】
映像符号化装置１０は、図１に例示する各構成部を有する専用のＩＣチップ等のハードウェアとして構成しても良いし、又は、ＣＰＵと、ＣＰＵが実行するプログラムを中心としてソフトウェア的に構成してもよく、機能的には、図１で表すことができる。
【0034】
映像符号化装置１０は、入力映像を、符号付き固定ビット深度画像に変換し、符号付き固定ビット深度画像に変換された符号化対象画像（入力映像）を、符号化ユニット等の所定単位領域ごとに符号化し、符号化ストリームを出力する。
【0035】
符号付き固定ビット深度化変換部１２０は、入力された符号化対象画像を、そのビット深度を表すビット深度パラメーターに応じて、符号化装置内部での演算に使用する符号付き固定ビット深度の画像に変換するものである。符号付き固定ビット深度化変換部１２０は、符号付き固定ビット深度に変換した画像を、差分処理部１０１に与える。
【0036】
差分処理部１０１は、予測残差信号を求めるために、処理単位領域の符号付き固定ビット深度に変換された入力画像と、インター予測部１１０若しくはイントラ予測部１１１からの、上記処理単位領域に対応する符号付き固定ビット深度の予測画像との差分を求め、その差分を予測残差信号として変換部１０２に与える。
【0037】
変換部１０２は、入力された予測残差信号を変換係数に変換するものである。変換部１０２は、例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散コサイン変換）等を適用できる。
【0038】
量子化部１０３は、変換部１０２により変換された変換係数を量子化するものである。量子化部１０３は、得られた量子化された変換係数をエントロピー符号化部１０４及び逆量子化部１０５に出力する。
【0039】
エントロピー符号化部１０４は、符号の出現確率の偏りを圧縮するために、量子化部１０３からの量子化された変換係数、符号化モード情報、予測モード情報、動きベクトル情報、ビット深度パラメーター等をエントロピー符号化して、符号化ストリームを出力する。
【0040】
逆量子化部１０５は、符号化信号から残差信号（残差画像）を復元するために、量子化部１０３からの量子化された変換係数を逆量子化するものである。
【0041】
逆変換部１０６は、逆量子化部１０５により逆量子化された信号を逆変換して残差信号（残差画像）を復元して、加算部１０７に与える。
【0042】
加算部１０７は、逆変換部１０６からの復元された残差信号に、切り替え部１１２を介してインター予測部１１０若しくはイントラ予測部１１１からの符号付き固定ビット深度の予測画像を加算して、復号側で復号される符号付き固定ビット深度の再構成画像を求めるものである。加算部１０７は、符号付き固定ビット深度の再構成画像を、ループ内フィルタ部１０８に与える。
【0043】
ループ内フィルタ部１０８は、符号化ループ内の量子化処理によって生じる符号化歪み（例えばブロック歪、リンギング歪等）を低減するために、加算部１０７からの符号付き固定ビット深度の再構成画像をフィルタリングするものである。
【0044】
符号付き固定ビット深度参照画像バッファ１０９は、ループ内フィルタ部１０８から出力される画像を、符号付き固定ビット深度画像のまま参照画像として保持するものである。符号付き固定ビット深度参照画像バッファ１０９に保持されている画像が、後続の入力画像の符号化時のインター予測の動き補償のための参照画像となる。
【0045】
インター予測部１１０は、符号付き固定ビット深度参照画像バッファ１０９に保持されている画像を参照画像として取得して動き補償予測を行うものである。
【0046】
イントラ予測部１１１は、加算部１０７から出力される再構成画像を用いて、画面内の符号付き固定ビット深度の再構成画素等からイントラ予測を行うものである。
【0047】
切り替え部１１２は、符号化モード（イントラモード又はインターモード）に応じて、インター予測部１１０又はイントラ予測部１１１の出力を切り替えるものである。
【0048】
従来の映像符号化装置（図１１）との違いは、入力画像を符号付き固定ビット深度の内部処理用の画像に変換する、符号付き固定ビット深度化変換部１２０設けたことと、参照画像を符号付き固定ビット深度の画像のまま保持する符号付き固定ビット深度参照画像バッファ１０９を設けたことである。
【0049】
また、符号付き固定ビット深度化変換部１２０及び符号付き固定ビット深度参照画像バッファ１０９以外の構成要素に関しても、符号付き固定ビット深度の処理対象画像を扱うように演算処理等が修正されている。
【0050】
さらに、特許文献１の映像符号化装置との違いは、上述したように符号付き固定ビット深度化変換部１２０以外の各構成要素が、従来技術の映像符号化方式と互換な符号化ストリームを出力することも可能な、互換動作モードを備えることである。
【0051】
互換動作モードでは、各処理部の演算結果を対象画像のビット深度に応じたビット精度に丸める処理、切り捨てる処理等が標準で規定されている箇所では、符号付き固定ビット深度の画素値表現のまま、ビットマスク処理等によって標準方式の処理を模倣する処理を行う。
【0052】
（Ａ－１－３）映像復号装置２０の詳細な構成
図２は、実施形態に係る映像復号装置２０の構成を示す構成図である。図２において、映像復号装置２０は、エントロピー復号部２０４、逆量子化部２０５、逆変換部２０６、加算部２０７、ループ内フィルタ部２０８、符号付き固定ビット深度参照画像バッファ２０９、インター予測部２１０、イントラ予測部２１１、切り替え部２１２、符号付き復号画像ビット深度変換部２２０を有する。
図２は、実施形態に係る映像復号装置２０の構成を示す構成図である。図２において、映像復号装置２０は、エントロピー復号部２０４、逆量子化部２０５、逆変換部２０６、加算部２０７、ループ内フィルタ部２０８、符号付き固定ビット深度参照画像バッファ２０９、インター予測部２１０、イントラ予測部２１１、切り替え部２１２、符号付き復号画像ビット深度変換部２２０を有する。
【0053】
図２の映像復号装置２０は、符号付き復号画像ビット深度変換部２２０以外の各構成要素が、特許文献１と同様な符号付き固定ビット深度映像表現を想定した処理を行う動作モード（拡張動作モード）を備えることに加えて、内部的な映像表現が標準符号化方式と互換な動作モード（互換動作モード）も備える。
【0054】
映像復号装置２０は、図２に示す各構成部を搭載した専用のＩＣチップ等のハードウェアとして構成しても良いし、又は、ＣＰＵと、ＣＰＵが実行するプログラムを中心としてソフトウェア的に構成して良いが、機能的には、図２で表すことができる。
【0055】
映像復号装置２０は、入力された符号化ストリームを復号して、復号映像を出力する。
【0056】
エントロピー復号部２０４は、入力された符号化ストリームをエントロピー復号して、変換係数や符号化モード情報、予測モード情報、動きベクトル情報、ビット深度パラメーター等を取得するものである。
【0057】
逆量子化部２０５は、エントロピー復号部２０４からの変換係数を逆量子化するものである。
【0058】
逆変換部２０６は、逆量子化部２０５により逆量子化された信号を逆変換して残差信号（残差画像）を復元して、加算部２０７に与える。
【0059】
インター予測部２１０は、符号付き固定ビット深度参照画像バッファ２０９に保持されている画像を参照画像として取得して動き補償予測を行うものである。
【0060】
イントラ予測部２１１は、加算部２０７から出力される再構成画像を用いて、画面内の符号付き固定ビット深度の再構成画素等からイントラ予測を行うものである。
【0061】
切り替え部２１２は、予測画像を切り替えるため、符号化モード（イントラモード又はインターモード）に応じて、インター予測部２１０又はイントラ予測部２１１の出力を切り替えるものである。
【0062】
加算部２０７は、逆変換部２０６からの復元された残差信号に、切り替え部２１２を介してインター予測部２１０若しくはイントラ予測部２１１からの予測画像（符号付き固定ビット深度の画像）を加算して、符号付き固定ビット深度の再構成画像を生成する。加算部２０７は、符号付き固定ビット深度の再構成画像を、ループ内フィルタ部２０８に与える。
【0063】
ループ内フィルタ部２０８は、符号化ループ内の量子化処理によって生じる符号化歪み（例えばブロック歪、リンギング歪等）を低減するために、加算部２０７からの符号付き固定ビット深度の再構成画像をフィルタリングするものである。
【0064】
符号付き固定ビット深度参照画像バッファ２０９は、ループ内フィルタ部２０８で得られた符号付き固定ビット深度の復号画像を、後続のインター予測のための参照画像として保持するものである。また、当該画像は、復号処理結果として符号付き復号画像ビット深度変換部２２０で対象画像のビット深度に変換されて出力される。
【0065】
符号付き復号画像ビット深度変換部２２０は、符号付き固定ビット深度参照画像バッファ２０９から出力されるループ内フィルタ適用後の符号付き固定ビット深度の復号画像を、エントロピー復号部２０４から得られるビット深度パラメーターに従って、（符号なしの）対象画像のビット深度の画像に変換して出力するものである。
【0066】
ループ内フィルタ部２０８で得られた符号付き固定ビット深度の復号画像は、後続のインター予測のための参照画像として符号付き固定ビット深度画像のまま、符号付き固定ビット深度参照画像バッファ２０９に保持され、また、復号処理結果として符号付き復号画像ビット深度変換部２２０で対象画像のビット深度に変換されて出力される。互換動作モードでは、各処理部の演算結果を対象画像のビット深度に応じたビット精度に丸める処理、切り捨てる処理等が標準で規定されている箇所では、符号付き固定ビット深度の画素値表現のまま、ビットマスク処理等によって標準方式の処理を模倣する処理を行う。
【0067】
従来の映像復号装置（図１２）との違いは、復号処理で得られる符号付き固定ビット深度の復号画像を符号付き固定ビット深度のまま保持する符号付き固定ビット深度参照画像バッファ２０９を用いることと、符号付き固定ビット深度の復号画像を、エントロピー復号部２０４から得られるビット深度パラメーターに従って、対象画像のビット深度の画像に変換して出力する符号付き復号画像ビット深度変換部２２０を設けたことである。
【0068】
また、その他の構成要素に関しても、符号付き固定ビット深度の処理対象画像を扱うように演算処理等が修正されている。
【0069】
さらに、特許文献１の映像復号装置との違いは、上述したように、構成要素各部が、従来技術の映像符号化方式と互換な符号化ストリームを入力として復号処理を行うことが可能な、互換動作モードを備えることである。
【0070】
なお、符号付き復号画像ビット深度変換部２２０では復号画像の利用環境（出力先ディスプレイ等）によっては、ビット深度パラメーターとして符号化装置側から受け取ったビット深度まで映像のビット深度を小さくすることはせず、出力先の（表示能力等の）要求に応じたビット深度に変換して出力するように構成しても良い。
【0071】
（Ａ－２）実施形態の動作
次に、この実施形態における映像処理システム１の動作（実施形態の映像符号化処理、及び映像復号処理）を説明する。
次に、この実施形態における映像処理システム１の動作（実施形態の映像符号化処理、及び映像復号処理）を説明する。
【0072】
（Ａ－２－１）映像符号化処理、及び映像復号処理の前提説明
以下の説明では、処理対象の映像のビット深度を表すビット深度パラメーターを「Ｂ」と表記する。なお、輝度成分と色差成分でビット深度が異なるような対象画像も処理対象とすることが可能であり、その場合、パラメーターＢは色成分ごとに保持しても良い。また、以下の説明では、簡略化のために単にＢと記載するが、Ｂは処理対象となっているそれぞれの色成分に対応するビット深度パラメーターを表しているものとする。パラメーターＢは、例えば、ＳＤＲ映像で８、ＨＤＲ映像で１０といった値で、入力画像と共に与えられる。
以下の説明では、処理対象の映像のビット深度を表すビット深度パラメーターを「Ｂ」と表記する。なお、輝度成分と色差成分でビット深度が異なるような対象画像も処理対象とすることが可能であり、その場合、パラメーターＢは色成分ごとに保持しても良い。また、以下の説明では、簡略化のために単にＢと記載するが、Ｂは処理対象となっているそれぞれの色成分に対応するビット深度パラメーターを表しているものとする。パラメーターＢは、例えば、ＳＤＲ映像で８、ＨＤＲ映像で１０といった値で、入力画像と共に与えられる。
【0073】
また、本実施形態で用いる符号付き固定ビット深度画像のビット深度を表す固定値を「Ｗ」で表す。これは固定値として、本実施形態の映像符号化方法を用いる映像符号化装置１０、映像復号装置２０であらかじめ決められた定数値であり、処理対象に応じて変更可能とする値ではない。例えば、１６ビット演算器を主に用いる装置構成を想定して、Ｗを１６（又は演算途中の桁あふれを考慮した１５）のような定数として固定する。
【0074】
本実施形態では、符号化処理、復号処理を構成する大部分の構成要素において、処理対象画像のビット深度を表すパラメーターＢに依存しない演算処理となるように、処理の大部分で画素値を表すデータを符号付きの固定のビット深度Ｗのデータとして取り扱うように構成する。
【0075】
まず、図１に示すように、映像符号化装置１０では、符号付き固定ビット深度化変換部１２０において、パラメーターＢとともに与えられるビット深度Ｂの入力映像を、符号付きの固定ビット深度Ｗの画像に変換する。以降の符号化処理はパラメーターＢには依存しない処理となるよう構成する。ただし、互換動作モードではパラメーターＢに依存する演算も使用する場合もある。
【0076】
図４は、実施形態に係る符号付き固定ビット深度化変換部１２０の構成の一例を示す図である。
【0077】
符号付き固定ビット深度化変換部１２０は、入力されるビット深度Ｂの（符号なしの）画素値をもつ画像を、画素ごとに、符号付き固定ビット深度Ｗの画素値に変換する。
【0078】
スケール部５０１は、符号なしＢビットのデータを、符号なしＷビットの数値に変換する。例えば、単純に入力画素値を（Ｗ－Ｂ）ビット左シフトする。これによって、０～２Ｂ－１の入力画素値は０～２Ｗ－１の値をもつ符号なしＷビットのデータとなる。次に、減算部５０２は、スケールされたデータから２Ｗ－１を減算する。これによって、－２Ｗ－１～２Ｗ－１－１の値をもつ符号付きＷビットのデータとなる。
【0079】
なお、符号付き固定ビット深度化変換処理は、図４のような構成に限定されず、２Ｂ－１を減算したのちに（Ｗ－Ｂ）ビット左シフトするような構成としたり、これらの値以外のシフトや減算を行ったり、あるいは、スケール処理を２のべき乗とは限らない数値の乗算としたりしても良い。また、ここでの変換に用いたパラメーターを、ビット深度パラメーターＢと合わせて、エントロピー符号化部１０４で符号化ストリームに多重化して、復号装置側にシグナリングするようにしても良い。
【0080】
さらに、互換動作モード時においても、内部的には符号付き固定ビット深度Ｗの画素値として表現することで、コーデック構成要素各部の処理をなるべく共通化するように構成する。このとき、互換動作モード時の処理途中の中間結果画素値（予測画像画素値など）や符号付き固定ビット深度参照画像バッファ１０９内の画像画素値は、本来Ｂビット精度の値となる様に標準で規定されているので、実施形態における内部的な画素値表現では、Ｗビットに満たない（Ｗ－Ｂ）ビット分の下位ビット部分は「０」で満たされたような画素値表現となる。
【0081】
一方、特許文献１のような符号付き固定ビット深度のコーデックとしての動作モードである拡張動作モードでは、処理途中の中間結果画素値や符号付き固定ビット深度参照画像バッファ内の画素値は最下位ビットまで有効な値を持つ高精度な画素値表現なままで処理を行う。
【0082】
いずれにしても、ここでは、入力される画素値の取りうる範囲が、符号付きＷビットで表現可能な数値の範囲の大部分の範囲にわたって写像されるような変換を行う。復号装置側の符号付き復号画像ビット深度変換部２２０では、ここで行われた変換処理の逆変換処理を行うことになる。図１０は、実施形態に係る符号付き固定ビット深度への変換、対象ビット深度への変換の様子（各画像における画素値の取りうる範囲）を示している。
【0083】
以下の説明では、入力映像や出力映像のような、（符号なし）Ｂビットで表現された画像（画素値）を、「（符号なし）Ｂビット領域の画像（画素値）」、符号付き固定ビット深度化変換後の符号化対象画像や、再構成画像、参照画像バッファ内の画像、予測画像など、符号付きＷビットで表現された画像（画素値）を、「符号付きＷビット領域の画像（画素値）」のように呼ぶ場合もある。
【0084】
この実施形態の符号付き固定ビット深度参照画像バッファ１０９（符号付き固定ビット深度参照画像バッファ２０９）では、符号付きＷビット領域の参照画像が保持されている。また、加算部１０７（加算部２０７）で生成される再構成画素も符号付きＷビット領域の画素である。イントラ予測部１１１（イントラ予測部２１１）、インター予測部１１０（インター予測部２１０）では、これら符号付きＷビット領域の画素値を参照して予測処理を行い、符号付きＷビット領域で表現された予測画像を生成する。
【0085】
そして、互換動作モード時においては、これら符号付きＷビット領域の画素値は、下位ビット部分を「０」とするようなビットマスク操作によって、従来の符号化方式ではシフト演算等によって下位ビットの情報が失われる処理を模倣する処理を符号付きＷビット領域のまま行う。
【0086】
（Ａ－２－２）映像符号化処理
映像符号化装置１０では、（符号なし）Ｂビット領域の入力画像が入力されると、符号付き固定ビット深度化変換部１２０で、符号付きＷビット領域に変換した符号化対象画像を求める。
映像符号化装置１０では、（符号なし）Ｂビット領域の入力画像が入力されると、符号付き固定ビット深度化変換部１２０で、符号付きＷビット領域に変換した符号化対象画像を求める。
【0087】
符号付きＷビット領域の画像に変換された符号化対象画像を、従来技術の映像符号化装置と同様に、符号化ユニット等の処理単位領域ごとに処理を行う。
【0088】
それぞれの処理単位領域に対して、符号付き固定ビット深度参照画像バッファ１０９を参照して動き補償を伴うインター予測を行うインター予測部１１０、もしくは、画面内の符号化済の符号付きＷビット領域の再構成画素等から予測を行うイントラ予測部１１１を用いて、符号付きＷビット領域の予測画像を生成する。選択した符号化モードに応じて切り替え部１１２で選択された予測画像と、符号付きＷビット領域に変換された符号化対象画像との差分である予測残差を差分処理部１０１で求める。
【0089】
予測残差は、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）によって変換部１０２で変換し、得られた変換係数を量子化部１０３で量子化する。量子化された変換係数と、符号化モード情報、予測モード情報、動きベクトル情報、ビット深度パラメーター等をエントロピー符号化部１０４でエントロピー符号化、多重化して符号化ストリームとして出力する。
【0090】
一方、量子化された変換係数は、逆量子化部１０５と逆変換部１０６で逆量子化・逆変換処理を行い、残差信号を復元する。復元された残差信号に符号付きＷビット領域の予測画像を、加算部１０７で加算して、符号付き固定ビット深度の再構成画像を求める。
【0091】
得られた符号付きＷビット領域の再構成画像は、ループ内フィルタ部１０８でループ内フィルタ処理を適用して、符号付き固定ビット深度の復号画像を求め、後続の画像の符号化時のインター予測の動き補償のための参照画像として、符号付きＷビット領域の画像のまま、符号付き固定ビット深度参照画像バッファ１０９に保持する。
【0092】
そして、互換動作モード時においては、後述するように、構成要素各部において標準符号化方式でのＢビット精度へのビットマスク処理等の追加の処理が行われる。
【0093】
なお、符号化装置においては、通常、利用可能な符号化モード、予測モード、動きベクトルなど複数の候補から最適な符号化方法を選択する処理が行われるため、そのそれぞれについて予測画像を生成してみるような処理が行われる。
【0094】
以上の処理によって、エントロピー符号化部１０４から得られた符号化ストリームを、符号化処理結果として出力する。
【0095】
（Ａ－２－３）映像復号処理
映像復号装置２０では、まず、入力された符号化ストリームを、エントロピー復号部２０４でエントロピー復号して、量子化された変換係数や符号化モード情報、予測モード情報、動きベクトル情報、ビット深度パラメーター等を取得する。得られた量子化された変換係数は、逆量子化部２０５と逆変換部２０６で逆量子化・逆変換して、復元された残差信号を求める。
映像復号装置２０では、まず、入力された符号化ストリームを、エントロピー復号部２０４でエントロピー復号して、量子化された変換係数や符号化モード情報、予測モード情報、動きベクトル情報、ビット深度パラメーター等を取得する。得られた量子化された変換係数は、逆量子化部２０５と逆変換部２０６で逆量子化・逆変換して、復元された残差信号を求める。
【0096】
一方、予測モード情報や動きベクトル情報から、符号付き固定ビット深度参照画像バッファ２０９を参照して動き補償予測を行うインター予測部２１０、もしくは、画面内の符号付き固定ビット深度の再構成画素等から予測を行うイントラ予測部２１１を用いて、符号付きＷビット領域の予測画像を生成し、符号化モード情報にしたがって切り替え部２１２で選択された符号付きＷビット領域の予測画像に、逆量子化・逆変換で得られた復元された残差信号を加算部２０７で加算して、符号付き固定ビット深度の再構成画像を生成する。
【0097】
符号付きＷビット領域の再構成画像に対して、ループ内フィルタ部２０８でループ内フィルタ処理を適用して、符号付き固定ビット深度の復号画像を求める。ループ内フィルタ部２０８で得られた符号付きＷビット領域の復号画像は、後続の画像のインター予測のための参照画像として、符号付きＷビット領域の画像のまま、符号付き固定ビット深度参照画像バッファ２０９に保持される。
【0098】
そして、互換動作モード時においては、後述するように、構成要素各部において標準符号化方式でのＢビット精度へのビットマスク処理等の追加の処理が行われる。
【0099】
また、符号付き復号画像ビット深度変換部２２０では、ループ内フィルタ部２０８で得られた符号付き固定ビット深度の復号画像を、エントロピー復号部２０４から得られるビット深度パラメーターに従って（符号なしの）対象画像のビット深度の画像に変換して復号処理結果として出力する。
【0100】
図５は、実施形態に係る符号付き復号画像ビット深度変換部２２０の構成の一例を示す図である。
【0101】
ループ内フィルタ部２０８で得られた符号付き固定ビット深度の復号画像は、参照画像として、あるいは、出力順の並べ替えのために、符号付き固定ビット深度参照画像バッファ２０９に符号付きＷビット領域の画像として保持されている。この、符号付きＷビット領域の画素値をもつ画像を、画素ごとに、エントロピー復号部２０４から得られるビット深度パラメーターＢに従って（符号なしの）対象画像のビット深度の画素値に変換する。
【0102】
加算部６０２では、－２Ｗ－１～２Ｗ－１－１の値をもつ符号付きＷビットのデータに２Ｗ－１を加算して、０～２Ｗ－１の値をもつ符号なしＷビットのデータを得る。次に、逆スケール部６０１では符号なしＷビットのデータを符号なしＢビットの画素値に変換する。例えば、単純に（Ｗ－Ｂ）ビット右シフトする。これによって、０～２Ｂ－１の画素値となる。
【0103】
なお、復号画像ビット深度変換部の処理は、図５のような構成に限定されず、符号付きＷビット領域のデータを（Ｗ－Ｂ）ビット符号付き右シフトしたのちに２Ｂ－１を加算するような構成としたり、これらの値以外のシフトや加算を行ったり、丸め処理を行ったり、あるいは、符号化装置側でスケール処理に２のべき乗とは限らない数値の乗算を用いたような場合は、スケール係数の逆数に相当する数の乗算等（逆数倍に相当するような乗算とシフト演算など）を行うようにしても良い。
【0104】
また、ここでの変換に用いるパラメーターは、ビット深度パラメーターＢとともにエントロピー復号部２０４で符号化ストリームから得るようにしても良い。また例えば、出力先のディスプレイ装置等がビット深度Ｂより大きな「ビット深度Ｂ’」の表示能力を持つなど、ビット深度パラメーターＢとは異なる「ビット深度パラメーターＢ’」に基づくビット深度の変換処理を行って出力するような構成としても良い。
【0105】
以上の処理によって、符号付き復号画像ビット深度変換部２２０で得られた対象画像のビット深度で表現された復号映像を、復号処理結果として出力する。
【0106】
（Ａ－２－４）従来技術との差異
次に、本実施形態の映像符号化装置１０、映像復号装置２０の各部における動作について、従来技術である既存映像符号化標準コーデックや、特許文献１のような映像符号化技術との違いを中心に説明する。
次に、本実施形態の映像符号化装置１０、映像復号装置２０の各部における動作について、従来技術である既存映像符号化標準コーデックや、特許文献１のような映像符号化技術との違いを中心に説明する。
【0107】
なお、互換動作モード時の対象とする標準符号化方式は、ＶＶＣ第１版を対象とする例で記載するが、その他の符号化標準を互換動作モードの対象としても同様に構成することが可能である。
【0108】
（Ａ－２－４－１）インター予測処理
インター予測処理における、予測単位領域への分割方法や動きベクトルの表現、動きベクトルの予測などは、従来技術のＶＶＣ等と同様な方法など、様々な方法を用いることができる。ここでは、参照画像から整数精度とは限らない動きベクトル位置の予測画像を、補間フィルタ処理を用いて生成する処理について説明する。
インター予測処理における、予測単位領域への分割方法や動きベクトルの表現、動きベクトルの予測などは、従来技術のＶＶＣ等と同様な方法など、様々な方法を用いることができる。ここでは、参照画像から整数精度とは限らない動きベクトル位置の予測画像を、補間フィルタ処理を用いて生成する処理について説明する。
【0109】
図６は、ＶＶＣにおける輝度画像の予測に使われる補間フィルタのフィルタ係数の一例である。ＶＶＣでは予測モードや解像度変換の有無によって図６の他にも複数種類のフィルタ係数セットがある。ＶＶＣでは１／１６画素精度までの画素位置精度の動きベクトルを用いており、整数画素位置からの１／１６画素精度のずれに応じて、８タップの補間フィルタを用いて水平方向のフィルタ処理、垂直方向のフィルタ処理を行って補間画像が生成される。また、色差成分に関しては１／３２画素精度の４タップの補間フィルタが用いられるなどさまざまなフィルタが用いられるが、詳細の説明は省略する。
【0110】
図７は、ＶＶＣにおける補間画像生成処理の構成を示す図である。ＶＶＣにおける参照画像バッファに保持されている参照画像は、処理対象画像のビット深度Ｂと同じ、符号なしＢビット領域画像である。また、予測画像として生成する画像のビット深度も同じく符号なしＢビット領域の画像である。ＶＶＣでは、水平方向のフィルタ処理を施した中間結果をＢビットよりもビット深度の大きなＷ’ビット領域の画像として生成し、中間結果のＷ’ビット領域の画像に対して垂直フィルタ処理を施した結果を符号なしＢビット領域の画像として生成するように規定されている。また、双方向予測のように複数の補間画像を加重平均して予測画像を生成するような場合は、補間結果画像をＷ’ビット領域の画像として出力して加重平均ののち、符号なしＢビット領域の画像に変換して予測画像を生成するなどしている。水平方向フィルタでは、水平方向に隣り合う８画素を参照してフィルタ係数を乗算して加算し、得られた結果をＷ’ビット精度の値となるように、ビット深度パラメーターＢに依存したシフト演算を行う。水平方向が整数位置である場合は、フィルタ演算は行わず、参照位置の符号なしＢビットの画素をＷ’ビット領域の画素に変換するための、ビット深度パラメーターＢに依存したシフト演算を行う。ＶＶＣの参照ソフトであるＶＴＭでは、中間結果のＷ’ビット領域の画像を、符号付きＷ’ビット領域の画像として表すための減算処理なども行われる。続く垂直方向のフィルタ処理では、Ｗ’ビット領域の画像として求められている中間結果の画素の垂直方向に隣り合う８画素を参照してフィルタ係数を乗算して加算し、得られた結果を符号なしＢビット精度の画素値となるように、ビット深度パラメーターＢに依存したシフト演算を行う。垂直方向が整数位置である場合は、フィルタ演算は行わず、参照位置のＷ’ビット領域の中間結果画素を符号なしＢビットの画素に変換するための、ビット深度パラメーターＢに依存したシフト演算を行う。
【0111】
図７では詳細な記載を省略しているが、双方向予測の場合など、垂直フィルタも施した補間処理結果を、さらに加重平均するなどして予測画像を生成するときは、補間結果画像をＷ’ビット領域の画像として出力する場合もあり、この場合は、符号なしＢビットの補間処理結果を出力する場合とは別の変換処理（ビット深度パラメーターＢに依存したシフト演算）を行う。ＶＴＭのように、中間結果のＷ’ビット領域の画像を符号付きＷ’ビット領域の画像として表していた場合は、符号なしＢビット領域の予測画像とするための加算処理なども行われる。なお、ＶＶＣ第１版では、Ｗ’＝ｍａｘ（１４，Ｂ＋４）ビット相当を想定した規定となっている（つまり、中間結果のビット精度もＢに依存するような規定となっている）。
【0112】
以上のように、従来技術の補間画像生成処理では、符号なしＢビット領域の参照画像から、符号なしＢビット領域の予測画像を生成するようにしていたため、フィルタ処理途中の演算精度を確保するために、ビット深度パラメーターＢに依存したシフト演算を多用して処理が行われていた。また、中間結果を符号付きＷ’ビット領域の画像とするための減算処理や加算処理も行われていた。
【0113】
これに対して、特許文献１のインター予測処理における補間画像の生成処理は、図８に示すように構成している。特許文献１の補間画像生成処理では、符号付き固定ビット深度参照画像バッファに保持された符号付きＷビット領域の参照画像を参照して補間処理を行い、補間処理結果も符号付きＷビット領域の画像として出力する。このため、ビット深度パラメーターＢに依存するような演算処理は行う必要がない。水平方向フィルタでは、符号付きＷビット領域の参照画像の水平方向に隣り合う複数の画素を参照してフィルタ係数を乗算して加算し、得られた結果を符号付きＷビット領域の値となるように、フィルタ係数のビット精度分だけシフトする固定のシフト演算を行う。水平方向が整数位置である場合は、フィルタ演算は行わず参照位置の画素値がそのまま中間結果の画素値となる。続く垂直方向のフィルタ処理では、符号付きＷビット領域の画像として求められている中間結果の画素の垂直方向に隣り合う複数の画素を参照してフィルタ係数を乗算して加算し、得られた結果をフィルタ係数のビット精度分だけシフトする固定のシフト演算を行う。垂直方向が整数位置である場合は、フィルタ演算は行わず参照位置の符号付きＷビット領域の中間結果画素をそのまま補間処理結果として出力する。参照画像、中間結果、補間処理結果とも符号付きＷ領域の画像であるため、符号なし画像との変換のための減算や加算は不要である。ここで用いられるシフト演算は、フィルタ係数の固定のビット精度に応じたシフト演算であり、ビット深度パラメーターＢには依存せず、固定ビット分のシフト演算である。例えば、図６のようなＶＶＣの補間フィルタ係数は、６ビット相当のビット精度であるとみなされる。フィルタ係数やフィルタのタップ数、フィルタのビット精度はＶＶＣのような６ビット精度８タップフィルタに限定されず、ビット精度が固定されていれば、より大きなビット精度や、よりタップ数の大きなフィルタ、さらにはフィルタ係数自体も符号化装置側で対象映像に応じて自由に設計したフィルタ係数をシグナリングできるように構成しても良い。以上の処理によって求められた、符号付きＷビット領域の補間処理結果は、そのまま予測画像として利用したり、あるいは、双方向予測のように複数の補間画像を加重平均して予測画像を生成する場合は、これら符号付きＷビット領域の補間結果画像を加重平均するなどして符号付きＷビット領域の予測画像を生成したりすることでインター予測処理を行なっている。
【0114】
本実施形態のインター予測処理では、特許文献１のような高精度なインター予測画像を生成可能な拡張動作モードに加えて、標準のインター予測処理と互換なＢビット精度相当のインター予測画像を符号付きＷビット領域の画像として生成する互換動作モードを備える。
【0115】
本実施形態のインター予測処理における補間画像の生成処理は、図９に示すように構成する。本実施形態の補間画像生成処理では、符号付き固定ビット深度参照画像バッファに保持された符号付きＷビット領域の参照画像を参照して補間処理を行い、補間処理結果も符号付きＷビット領域の画像として出力する。特許文献１と同様な拡張動作モードでは、ビット深度パラメーターＢに依存するような演算処理は行う必要はない。一方、従来の符号化方式と互換な互換動作モードでは、従来の方式でＢビット領域の画素値にシフト演算等で精度を落とすように規定されている処理を、符号付きＷビット領域で模倣するためのビットマスク処理が追加される。
【0116】
水平方向フィルタでは、符号付きＷビット領域の参照画像の水平方向に隣り合う複数の画素を参照してフィルタ係数を乗算して加算し、得られた結果を符号付きＷビット領域の値となるように、フィルタ係数のビット精度に相当するビット数分だけシフトする固定のシフト演算を行う。水平方向が整数位置である場合は、フィルタ演算は行わず参照位置の画素値がそのまま中間結果の画素値となる。拡張動作モードではこれをそのまま水平方向フィルタ処理後の中間結果とするが、互換動作モードでは更に、符号付きＷビット領域で求められている中間結果を、Ｗ’ビット領域の中間結果相当の値とするためのビットマスク処理を施してこれを中間結果とする。つまり、符号付きＷビット領域の中間結果の下位（Ｗ－Ｗ’）ビットを「０」とするようなビットマスク処理を行う。
【0117】
なお、互換動作モードの対象となる符号化方式がＶＶＣ（ＨＥＶＣも同様）の場合は、符号化対象画像のビット深度Ｂを１０ビット以下に限定して、Ｗ＝Ｗ’＝１４ビットとなるように構成することによって、符号付きＷビット領域の画素値から、Ｗ’ビット精度相当の画素値へ、精度を落とすためのマスク演算を不要とすることも出来る。
【0118】
また、より大きなビット深度Ｂの対象画像も処理対象とするために、中間結果に関してはＷ”＞Ｗであるような符号付きＷ”ビット領域の画素値を求めるように構成し、互換動作モードでは符号付きＷ”領域の画素値をＷ’ビット精度相当にビットマスクするように構成しても良い。ビットマスク処理は、例えば汎用のＣＰＵなどを用いる場合は、上位ビットが全て「１」で、「０」にすべき下位ビット部分が「０」であるような、対象画像のビット深度Ｂに依存するあらかじめ算出しておいたマスク値とのビット後との論理積演算で実現できる。
【0119】
続く垂直方向のフィルタ処理では、符号付きＷビット領域（あるいはＷ”ビット領域）の画像として求められている中間結果の画素の垂直方向に隣り合う複数の画素を参照してフィルタ係数を乗算して加算し、得られた結果をフィルタ係数のビット精度に相当するビット数分だけシフトする固定のシフト演算を行う。垂直方向が整数位置である場合は、フィルタ演算は行わず参照位置の符号付きＷビット領域の中間結果画素をそのまま補間処理結果として出力する（Ｗ”＞ＷであるＷ”ビット領域の中間結果を用いる場合は一部固定のシフト演算を伴う）。
【0120】
拡張動作モードでは、符号付きＷビット領域の画素値として求められた補間処理結果をそのまま用いるが、互換動作モードでは更に、符号付きＷビット領域で求められている補間処理結果を、Ｂビット精度相当の値とするためのビットマスク処理を施してこれを補間処理結果とする。つまり、符号付きＷビット領域の中間結果の下位（Ｗ－Ｂ）ビットを「０」とするようなビットマスク処理を行う。この時、切り捨てられる下位ビット部分に対する丸め処理が規定されている場合は、丸め処理のためのオフセット値相当の値（２Ｗ－Ｂ－１）を加算したのちにビットマスク処理を行う。なお、双方向予測の場合など、垂直フィルタも施した補間処理結果を、さらに加重平均するなどして予測画像を生成するときは、補間処理結果画像をＷ’ビット領域の画像として出力するよう規定されている場合もあり、この場合の互換動作モードでは、符号なしＢビットの補間処理結果を出力する場合とは別に、前記水平フィルタ後のマスク処理と同等の処理によって、Ｗ’ビット精度相当の画素値として補間処理結果を出力する。
【0121】
以上のように、参照画像、中間結果、補間処理結果とも符号付きＷ領域の画像であるため、符号なし画像との変換のための減算や加算は不要である。（中間結果をＷ”＞ＷであるＷ”ビット領域で求める場合はＷ領域への固定のシフト演算を用いる場合もある）。ここで用いられるシフト演算は、フィルタ係数の固定のビット精度に応じたシフト演算であり、ビット深度パラメーターＢには依存せず、固定ビット数分のシフト演算である。例えば、図６のようなＶＶＣの補間フィルタ係数は、６ビット相当のビット精度であるとみなされる。フィルタ係数やフィルタのタップ数、フィルタのビット精度はＶＶＣのような６ビット精度８タップフィルタに限定されず、ビット精度が固定されていれば、より大きなビット精度や、よりタップ数の大きなフィルタ、さらにはフィルタ係数自体も符号化装置側で対象映像に応じて自由に設計したフィルタ係数をシグナリングできるように構成しても良い。
【0122】
以上の処理によって求められた、符号付きＷビット領域の補間処理結果は、そのまま予測画像として利用したり、あるいは、双方向予測のように複数の補間画像を加重平均して予測画像を生成する場合は、これら符号付きＷビット領域の補間結果画像を加重平均するなどして符号付きＷビット領域の予測画像を生成したりすることでインター予測処理を行う。
【0123】
（Ａ－２－４－２）イントラ予測処理
イントラ予測処理における、予測単位領域への分割方法や予測モードなどは、従来技術のＶＶＣ等と同様な方法など、様々な方法を用いることができる。ここでは、イントラ予測処理が参照する再構成画像と、生成されるイントラ予測画像における違いについて説明する。
イントラ予測処理における、予測単位領域への分割方法や予測モードなどは、従来技術のＶＶＣ等と同様な方法など、様々な方法を用いることができる。ここでは、イントラ予測処理が参照する再構成画像と、生成されるイントラ予測画像における違いについて説明する。
【0124】
ＶＶＣ第１版等の従来技術の映像符号化技術では、イントラ予測の参照画素に用いる画面内の再構成画像は符号なしＢビット深度の画像として参照される。また、イントラ予測画像も符号なしＢビット深度の画像として生成されている。
【0125】
これに対して、特許文献１や本実施形態のイントラ予測処理では、符号付きＷビット領域の画像として再構成画像を生成しているので、イントラ予測処理に用いる参照画素は符号付きＷビット領域の画素である。イントラ予測処理では処理対象の領域に隣接する参照画素から、例えば、方向性の予測を行うような場合には複数の参照画素を補間処理するなどして予測用の画素値を求めている。特許文献１や本実施形態の拡張動作モードにおけるイントラ予測処理では、このような処理をすべて符号付きＷビット領域で高精度に行うことが可能となる。得られる符号付きＷビット領域の予測画素値を、Ｂビット精度にビット深度を落とすことなく、予測画素値として利用することができる。
【0126】
本実施形態の互換動作モードでは、イントラ予測処理が参照する画面内の処理対象領域に隣接する参照画素は符号付きＷビット領域ではあるが、Ｂビット精度相当の上位ビット部分以外の下位ビット部分は０となるようビットマスクされた状態の再構成画素が算出されている。互換動作モードでも拡張動作モードと同様にこれら符号付きＷビット領域の参照画素を参照して予測処理を行うが、前記インター予測処理でも説明したように、得られた符号付きＷビット領域の予測画像は、Ｂビット精度相当にビットマスクした物をイントラ予測処理結果とする。また、参照画素の補間処理等においてもＢビット精度への（四捨五入に相当するような）丸め処理などが規定されている部分の中間結果は、拡張動作モードでは丸め処理なし（下位ビットまで有効なビットのまま）で予測画像生成処理を行うが、互換動作モードでは、Ｂビット精度への丸め処理に相当する処理を、符号付きＷビット領域で行うために、丸め処理に相当するオフセット値の加算ののちに下位ビットを「０」にするようなビットマスク処理を行う。なお、ＶＶＣにおけるスライス境界などでは、同じスライス領域内以外の画素を参照しないよう、このような画素の画素値を参照可能であった画素の画素値で置き換える処理が行われ、このような置き換え可能な画素もない場合には、参照画素の画素値を２Ｂ－１とみなすような処理が行われる。これに相当する、本発明のインター予測処理における参照しないようにする参照画素の画素値は、０（符号付きＷビット領域での中央値）とみなすような処理とするように構成する。
【0127】
以上の処理によって、符号付きＷビット領域の再構成画像を参照して、符号付きＷビット領域の予測画像を生成することでイントラ予測処理を行う。
【0128】
（Ａ－２－４－３）差分処理
従来技術では、符号化対象画像、予測画像とも符号なしＢビット領域の画像として残差信号を算出するため、残差信号は符号付きＢ＋１ビットの数値となる。
従来技術では、符号化対象画像、予測画像とも符号なしＢビット領域の画像として残差信号を算出するため、残差信号は符号付きＢ＋１ビットの数値となる。
【0129】
これに対して、本発明の符号化装置の差分処理では、符号付きＷビット領域に変換された符号化対象画像と、符号付きＷビット領域の画像として生成された予測画像との残差新語を求めるため、残差信号は符号付きＷ＋１ビットの数値となる。
【0130】
ＶＶＣでは、イントラ予測画像とインター予測画像を重み付きで合成した画像を予測画像とする様なモードもあり、この場合、切り替え部１１２、２１２は単なる切り替え処理ではなく合成処理となる。この様な合成処理もインター予測処理における双方向予測で説明した様に、拡張動作モードでは符号付きＷビット領域の高精度な予測画像のまま合成を行うが、互換動作モードでは合成結果である予測画像をＢビット精度相当とするための（丸め処理を伴う）ビットマスク処理を追加で行う。
【0131】
（Ａ－２－４－４）変換・量子化処理
変換・量子化処理における、変換単位領域への分割方法や、変換に用いるＤＣＴやＤＳＴといった変換関数、変換関数の選択処理などは、従来技術のＶＶＣ等と同様に複数種類のＤＣＴやＤＳＴから選択可能としたり、変換結果にさらに別の変換を施したりするなど、様々な方法を用いることができる。
変換・量子化処理における、変換単位領域への分割方法や、変換に用いるＤＣＴやＤＳＴといった変換関数、変換関数の選択処理などは、従来技術のＶＶＣ等と同様に複数種類のＤＣＴやＤＳＴから選択可能としたり、変換結果にさらに別の変換を施したりするなど、様々な方法を用いることができる。
【0132】
変換処理では、従来技術では残差信号が符号付きＢ＋１ビットの数値であるのに対して、本実施形態では、残差信号が符号付きＷ＋１ビットの数値となることを想定した変換処理とする。ただし、従来技術ではビット深度パラメーターＢが変数であることを想定した処理が必要となる場合があるのに対して、本発明の変換処理では、Ｗは固定値とするためこのような処理は不要である。量子化処理についても、従来技術では、ビット深度パラメーターＢに依存して、量子化処理で用いられる量子化パラメーターを導出する処理が必要であったが、ビット深度パラメーターＢに依存しない導出方法とすることも可能である。
【0133】
（Ａ－２－４－５）エントロピー符号化・エントロピー復号
エントロピー符号化、エントロピー復号処理も、従来技術のＶＶＣ等と同様に可変長符号や算術符号を用いるなど、様々な方法を用いることができる。
エントロピー符号化、エントロピー復号処理も、従来技術のＶＶＣ等と同様に可変長符号や算術符号を用いるなど、様々な方法を用いることができる。
【0134】
対象画像のビット深度を表すビット深度パラメーターも、色成分ごとに異なるビット深度を持つことができる可能性も含めて、従来技術と同様に、符号化ストリームの上位シンタックスに多重化して符号化することができる。さらに、単純なシフト演算と減算のみで符号付き固定ビット深度化変換部を構成する以外に、２のべき乗以外を含む数値の乗算を用いる逆スケール処理を行うなど、逆変換で用いる変換パラメーターを符号化ストリームに多重化するように構成しても良い。さらに、線形変換だけでなく非線形な変換関数も表現できるようなパラメーターを符号化ストリームに多重化できるように構成しても良い。
【0135】
なお、従来技術でも用いられている、対象画像の画素値を変換量子化せずに伝送するＰＣＭモードのような符号化モードを用いる場合は、この部分についてのみビット深度パラメーターＢに依存するようなビット数の、あるいは、ＶＶＣのように、ＰＣＭモード用に別途明示的にシグナリングしたビット数の符号語を割り当てるようにエントロピー符号化処理、復号処理を構成する。
【0136】
拡張動作モードは以上のように様々な符号化ストリームを処理するように構成しても良いが、互換動作モードでは、既存映像符号化標準に準拠する符号化ストリームを出力可能なように本実施形態の映像符号化装置１０を構成し、既存映像符号化標準に準拠する符号化ストリームを入力として標準準拠の復号結果映像を出力可能とするように本実施形態の映像復号装置２０を構成する。
【0137】
（Ａ－２－４－６）逆量子化・逆変換処理
逆量子化・逆変換処理においても、変換・量子化処理に対応する形で、従来技術のＶＶＣ等と同様な方法など、様々な方法を用いることができる。
逆量子化・逆変換処理においても、変換・量子化処理に対応する形で、従来技術のＶＶＣ等と同様な方法など、様々な方法を用いることができる。
【0138】
逆量子化処理で用いられる量子化パラメーターの導出方法も、量子化処理と同様、ビット深度パラメーターＢに依存しない導出方法とすることも可能である。
【0139】
逆変換処理の処理結果である復元された残差信号については、従来技術では、符号付きＢ＋１ビット程度の数値として残差信号を復元するのに対して、本発明では、符号付きＷ＋１ビット程度の数値として残差信号を復元する。ビット深度パラメーターＢに依存する処理は行わない。
【0140】
なお、符号付きＷ＋１ビット程度と記載したのは、復元される残差信号には量子化誤差が含まれるため、必ずしも符号付きＷ＋１ビットの範囲に収まる数値が算出されるわけではないことによる。逆変換処理の演算過程で符号付きＷ＋１ビットの範囲に収まるようにクリッピング処理を行うように構成しても良い。
【0141】
互換動作モードでの逆量子化処理では、既存映像符号化標準では残差信号をＢビット領域の値である符号付きＢ＋１ビット程度の数値（Ｂビット領域の予測画像画素値と直接加算可能な値）として求めるよう規定されているため、拡張動作モードと同様に符号付きＷ＋１ビット程度の数値として求めた符号付きＷビット領域の残差信号から、下位ビットを（丸め処理を伴う）ビットマスク処理することによって、符号付きＷビット領域の数値のまま、Ｂビット領域よりも高精度にもとまっている符号付きＷ領域の残差信号を標準の動作と同じ意味となるように処理を行う。
【0142】
（Ａ－２－４－７）加算処理
従来技術では、符号付きＢ＋１ビット程度の数値として復元された残差信号と、符号なしＢビット領域の画像として生成された予測画像とを加算して、符号なしＢビットの数値範囲（０～２Ｂ－１）にクリッピングすることで再構成画像を生成していた。
従来技術では、符号付きＢ＋１ビット程度の数値として復元された残差信号と、符号なしＢビット領域の画像として生成された予測画像とを加算して、符号なしＢビットの数値範囲（０～２Ｂ－１）にクリッピングすることで再構成画像を生成していた。
【0143】
これに対して、本発明の加算処理による再構成画像の生成処理では、符号付きＷ＋１ビット程度の数値として復元された残差信号と、符号付きＷビット領域の画像として生成された予測画像とを加算して、符号付きＷビットの数値範囲（－２Ｗ－１～２Ｗ－１－１）にクリッピングすることで、符号付きＷビット領域の再構成画像を生成する。クリッピング処理は、ビット深度パラメーターＢに非依存な処理とできるほか、クリッピング処理を含む飽和演算が可能な演算器を用いる場合は、これを有効活用することもできる。
【0144】
クリッピング処理は、ほかにもインター予測処理のフィルタ処理やイントラ予測処理の参照画素のフィルタ処理など、画素値領域での演算処理の随所で用いられるが、これらもすべてビット深度パラメーターＢに非依存な処理とすることが可能である。
【0145】
なお、ＶＶＣでは対象画像の画素値が取りうる範囲（画素値の最小値・最大値）をシグナリングできるようにしており、クリッピング処理をこの範囲へのクリッピング処理とする場合は、符号化ストリームでシグナリングする画素値の範囲の表現は、Ｂビット領域の値で表現するが、これを符号付きＷビット領域の数値に、符号付き固定ビット深度化変換部と同様な変換処理によって変換した符号付きＷビット領域での画素値の範囲（符号付きＷビット領域での画素値の最小値・最大値）をもちいてクリッピング処理を行うように構成しても良い。
【0146】
なお、互換動作モードにおける加算処理の入力は、ビットマスク処理済みの予測画像とビットマスク処理済みの残差信号とするように記載したが、どちらか一方のみをビットマスク処理済みの値として、加算処理結果をビットマスク処理するような構成としても良い。この場合、ビットマスク処理されていない方の入力値は下位ビット部分も有効な値を持つ事になるが、他方のビットマスク処理された入力値の下位ビットは０である事から、下位ビット分からの桁上がりは発生せず、加算後にビットマスク処理する構成としても同じ値を求めることが可能である。
【0147】
（Ａ－２－４－８）ループ内フィルタ処理
ループ内フィルタ処理も、従来技術のＶＶＣ等と同様な、デブロッキングフィルタやサンプル適応オフセット（ＳＡＯ）、適応ループフィルタ（ＡＬＦ）など、様々な方法を用いることができる。
ループ内フィルタ処理も、従来技術のＶＶＣ等と同様な、デブロッキングフィルタやサンプル適応オフセット（ＳＡＯ）、適応ループフィルタ（ＡＬＦ）など、様々な方法を用いることができる。
【0148】
従来技術のループ内フィルタ処理は、入力される再構成画像、出力されるフィルタ処理後の復号画像とも符号なしＢビット領域の画像であるのに対して、本実施形態のループ内フィルタ処理では、符号付きＷビット領域の再構成画像を入力してフィルタ処理を行い、符号付きＷビット領域のフィルタ処理後の復号画像を生成する。
【0149】
入出力のビット深度、符号の有無のほか、例えば、デブロッキングフィルタでは、量子化パラメーターに依存して、フィルタ処理の適用・非適用を判断する閾値やフィルタによる補正値の取りうる範囲となる閾値を求めるような処理があるが、ここで求める閾値等も、符号付きＷビット領域の数値として閾値を導出する。また、例えば、ＳＡＯ等では、画素値の領域でのオフセット値を符号化するため、この部分に関しては、ビット深度パラメーターＢに依存するような精度のオフセット値をシグナリングするようにして、これを符号付きＷビット領域のオフセット値に変換して使用するようにしても良い。
【0150】
なお、フィルタ処理後にクリッピング処理が必要な場合は、加算処理で説明したようなクリッピング処理を行う。
【0151】
互換動作モードでは、さらにフィルタ処理結果として求めた符号付きＷビット領域の画素値を、符号付きＷビット領域のままＢビット精度相当の値に丸める処理としてオフセット値の加算やビットマスク処理を行う。これらの互換動作モードでの追加の処理はインター予測処理の説明等で詳細に説明したのと同様である。互換動作モードにおいてもフィルタ処理結果は符号付きＷビット領域の画素値として算出処理を行い、符号付き固定ビット深度参照画像バッファ２０９に保持したり、符号付き復号画像ビット深度変換部２２０を介して映像復号装置２０の処理結果として出力したりするように構成する。
【0152】
以上のように、本実施形態の映像符号化装置１０、映像復号装置２０の各構成要素においては、画素値に関する処理は、基本的に符号付きＷビット領域の画素値を想定した処理を行い、ＰＣＭモードのような符号化ストリームにＷビットの情報を多重化する無駄を回避するためなど、一部の処理でＢビット領域の画素値を用いるが、演算処理を行うに当たっては、符号付きＷビット領域に変換して用いるように構成する。
【0153】
さらに、互換動作モードでは、互換動作モードが模倣する標準符号化方式の符号化・復号処理の過程において、高精度で求めた中間結果等をＢビット領域の値とするためのビットシフト処理（切り捨て処理）や、オフセット加算を伴うビットシフト処理（丸め処理）によって下位ビットの情報が失われる様に標準で規定されている処理部分に対応する処理を、符号付きＷビット領域の値のまま、ビットマスク処理やオフセット加算を伴うビットマスク処理で模倣する事によって、従来の標準符号化方式の符号化装置、復号装置としても動作可能とするように構成する。
【0154】
なお、上記説明では、特許文献１と同等な高精度な符号化方式である拡張動作モードと、従来の標準符号化方式である互換動作モードの両方を備える映像符号化装置１０、映像復号装置２０として説明したが、拡張動作モードのみに関わる構成要素や処理を省略して、互換動作モード相当の動作のみが可能な映像符号化装置１０、映像復号装置２０として構成しても良い。この場合の従来技術の映像符号化装置、映像復号装置との違いは、入出力時にのみＢビット領域の画像として表現されているが、内部的には基本的に符号付きＷビット領域の画素値を処理対象とするように構成されており、参照画像バッファにも符号付きＷビット領域の画像として保持している事である。Ｂビット精度相当の演算結果とするためのビットマスク処理が行われるため、特許文献１ほど内部処理からビット深度Ｂ依存の演算を排除できているわけでは無いが、ビットＢ依存の演算の一部が固定ビット数のビット演算となるなど、処理を軽量化することが可能である。
【0155】
（Ａ－３）実施形態の効果
以上のように、この実施形態によれば、以下のような効果が得られる。
以上のように、この実施形態によれば、以下のような効果が得られる。
【0156】
この実施形態の映像処理システム１（映像符号化装置１０，映像復号装置２０）では、映像符号化技術の符号化処理、復号処理の大半の部分において、処理対象映像のビット深度に依存する処理を排除でき処理の軽量化、実装の簡素化が図れる。また、内部で利用する演算器のビット幅を最大限に利用する演算を行うので、対象画像のビット深度に合わせる演算によるノイズ成分の発生を低減することができ、符号化効率を向上させることができる。
【0157】
特に、符号化処理、復号処理で最も大量の演算処理が必要となるインター予測処理において、ビット深度パラメーターＢに依存するような演算処理を排除することができる。
【0158】
対象画像のビット深度への丸め処理は、Ｂビット深度の画素値の最下位桁への切り上げ／切る捨てがほぼランダムに起こるため、画素値として知覚可能なランダムなノイズを発生させていることに相当する。これが、参照画像や参照画素として繰り返し丸めながら利用されるため、さらにノイズは大きなものとなる。本発明では、最終的な復号結果としての出力時以外の丸め演算は、Ｂビットよりも深い、Ｗビットの最下位桁に向けて行われるので、
このようなノイズの振幅は非常に小さなものとなり、符号化効率を向上させることが可能となる。互換動作モード時においてはこのような丸めや切り捨て処理による下位ビット情報の欠落とノイズの発生を、ビットマスク処理によってあえて模倣することで、標準の符号化方式に準拠する符号化動作、復号動作を行うことが可能となり、ビットマスク処理以外の大部分の構成要素や処理は拡張動作モードと共通の処理とする事によって、わずかな構成規模の増加で柔軟な符号化処理、復号処理を行うことが可能となる。
このようなノイズの振幅は非常に小さなものとなり、符号化効率を向上させることが可能となる。互換動作モード時においてはこのような丸めや切り捨て処理による下位ビット情報の欠落とノイズの発生を、ビットマスク処理によってあえて模倣することで、標準の符号化方式に準拠する符号化動作、復号動作を行うことが可能となり、ビットマスク処理以外の大部分の構成要素や処理は拡張動作モードと共通の処理とする事によって、わずかな構成規模の増加で柔軟な符号化処理、復号処理を行うことが可能となる。
【0159】
（Ｂ）他の実施形態
本発明は、上述した実施形態に限定されず、以下に例示するような、さまざまな映像符号化処理にも適用可能である。
本発明は、上述した実施形態に限定されず、以下に例示するような、さまざまな映像符号化処理にも適用可能である。
【0160】
互換動作モードの処理対象とする標準符号化方式は、ＶＶＣ第１版に限定されず、ＨＥＶＣやＡＶＣなど様々な標準符号化方式を互換動作モードの処理対象としても良い。
【0161】
また、拡張動作モードにおける符号化処理や復号処理で用いる様々な構成要素も、互換動作モードの処理対象である標準符号化方式に含まれる構成要素以外にも、様々な符号化ツールや補間フィルタ係数、ＤＣＴ等の変換マトリックス組み合わせて用いるような構成としても良い。
【0162】
上記の説明における、固定のビット深度Ｗとしては、処理対象とする様々なビット深度Ｂのいずれよりも十分大きなＷの値を規定することが望ましい。例えば、２バイト（１６ビット）での参照画像バッファの構成を想定して、Ｗを１６としても良いし、符号付きＷビットの数値同士の演算の桁あふれ等も含めた１６ビットの演算器での実装を想定して、Ｗを１５としても良い。あるいは、乗算結果に必要なビット幅を考慮してこれらより小さな値としたり、１６ビットの医用画像のような限定された目的用にこれらより大きな値としたりしても良い。
【0163】
また、図９のようなフィルタ処理の例では、中間結果もＷビットとして説明したが、中間結果はＷとは異なるＷ”のビット深度で演算するようにしても良い。また、互換動作モードの対象とするビット深度Ｂを１２ビット以下に等に限定するなどにより、互換動作モードの対象とする標準符号化方式で規定されている中間結果のビット深度Ｗ’とＷ”を合わせるように構成することで、中間結果等における互換動作モードのためのビット精度整合のためのビットマスク処理を省略可能とするように構成しても良い。
【0164】
また、本発明は、上記構成を有するような装置として構成する場合や、上記処理を実現するようなプログラムとしても実施可能である。
【符号の説明】
【0165】
１…映像処理システム、１０…映像符号化装置、２０…映像復号装置、１０１…差分処理部、１０２…変換部、１０３…量子化部、１０４…エントロピー符号化部、１０５…逆量子化部、１０６…逆変換部、１０７…加算部、１０８…ループ内フィルタ部、１０９…符号付き固定ビット深度参照画像バッファ、１１０…インター予測部、１１１…イントラ予測部、１１２…切り替え部、１２０…符号付き固定ビット深度化変換部、２０４…エントロピー復号部、２０５…逆量子化部、２０６…逆変換部、２０７…加算部、２０８…ループ内フィルタ部、２０９…符号付き固定ビット深度参照画像バッファ、２１０…インター予測部、２１１…イントラ予測部、２１２…切り替え部、２２０…符号付き復号画像ビット深度変換部、３０１…差分処理部、３０２…変換部、３０３…量子化部、３０４…エントロピー符号化部、３０５…逆量子化部、３０６…逆変換部、３０７…加算部、３０８…ループ内フィルタ、３０９…参照画像バッファ、３１０…インター予測部、３１１…イントラ予測部、４０４…エントロピー復号部、４０５…逆量子化部、４０６…逆変換部、４０７…加算部、４０８…ループ内フィルタ、４０９…参照画像バッファ、４１０…インター予測部、４１１…イントラ予測部、５０１…スケール部、５０２…減算部、６０１…逆スケール部、６０２…加算部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】