特許 6985915 デコードエラー検出推定装置、映像復号装置、及びこれらのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6985915

(24)【登録日】2021年11月30日

(45)【発行日】2021年12月22日

(54)【発明の名称】デコードエラー検出推定装置、映像復号装置、及びこれらのプログラム

(51)【国際特許分類】

   H04N 19/89 20140101AFI20211213BHJP

【ＦＩ】

   H04N19/89

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2017-240324(P2017-240324)

(22)【出願日】2017年12月15日

(65)【公開番号】特開2019-110376(P2019-110376A)

(43)【公開日】2019年7月4日

【審査請求日】2020年10月26日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100143568

【弁理士】

【氏名又は名称】英 貢

(72)【発明者】

【氏名】井口 和久

(72)【発明者】

【氏名】千田 和博

(72)【発明者】

【氏名】市ヶ谷 敦郎

(72)【発明者】

【氏名】神田 菊文

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 韓国公開特許第２００３−００８０４２０（ＫＲ，Ａ）

【文献】 特開２００２−３５９８２８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

符号化映像ストリームを復号する際に発生したデコードエラーを検出又は推定するデコードエラー検出推定装置であって、
前記符号化映像ストリームを復号して得られるデコード領域を入力し、当該入力したデコード領域に対しデコードエラー判定を行うために予め設定されたブロックサイズのデコードエラー判定ブロックにおけるクリップ数を検出するクリップ数検出手段と、
当該検出したデコードエラー判定ブロックを構成する現ブロックのクリップ数と、予め定めた比較対象の過去フレームにおける当該現ブロックと同一ブロック位置の過去ブロックのクリップ数とを比較し、所定の判定基準に従って当該現ブロックがデコードエラーを有するか否かを判定し、デコードエラーの有無を示すデコードエラー判定信号を生成するデコードエラー判定手段と、
を備えることを特徴とするデコードエラー検出推定装置。

【請求項2】

前記デコードエラー判定手段は、前記所定の判定基準として、前記現ブロックのクリップ数が前記過去ブロックのクリップ数より所定量の増加があると判定した場合に、デコードエラー有りと判定することを特徴とする、請求項１に記載のデコードエラー検出推定装置。

【請求項3】

前記デコードエラー判定手段は、前記予め定めた比較対象の過去フレームとして、復号順で直前に復号済みの過去フレームを比較対象とすることを特徴とする、請求項１又は２に記載のデコードエラー検出推定装置。

【請求項4】

符号化映像ストリームを復号する際に発生したデコードエラーを検出又は推定するデコードエラー検出推定装置であって、
前記符号化映像ストリームを復号して得られるデコード領域を入力し、当該入力したデコード領域に対しデコードエラー判定を行うために予め設定されたブロックサイズのデコードエラー判定ブロックにおけるクリップ数を検出するクリップ数検出手段と、
当該検出したデコードエラー判定ブロックを構成する現ブロックのクリップ数と、予め定めた規定値とを比較し、所定の判定基準に従って当該現ブロックがデコードエラーを有するか否かを判定し、デコードエラーの有無を示すデコードエラー判定信号を生成するデコードエラー判定手段と、
を備えることを特徴とするデコードエラー検出推定装置。

【請求項5】

前記デコードエラー判定手段は、前記所定の判定基準として、前記規定値と、前記現ブロックのクリップ数とを比較して、前記現ブロックのクリップ数が前記規定値より所定量の増加があると判定した場合に、デコードエラー有りと判定することを特徴とする、請求項４に記載のデコードエラー検出推定装置。

【請求項6】

前記デコードエラー判定手段は、当該デコードエラー判定ブロック内の画素数に対するクリップ数の割合で比較して判定することを特徴とする、請求項１から５のいずれか一項に記載のデコードエラー検出推定装置。

【請求項7】

請求項１から６のいずれか一項に記載のデコードエラー検出推定装置と、
前記デコードエラー検出推定装置から得られるデコードエラー判定信号を基に、対応するデコード領域を補完することにより、エラーコンシールメントを施した映像ストリームを生成する補完手段と、
を備えることを特徴とする映像復号装置。

【請求項8】

コンピューターを、請求項１から６のいずれか一項に記載のデコードエラー検出推定装置、或いは請求項７に記載の映像復号装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化映像の復号時におけるデコードエラーを検出する技術に関し、特に、符号化映像ストリームを復号する際に発生したデコードエラーを検出又は推定するデコードエラー検出推定装置、当該デコードエラーの検出に応じたエラーコンシールメントを行う映像復号装置、及びこれらのプログラムに関する。

【背景技術】

【0002】

一般に、映像符号化方式では、スタートコードと呼ばれる特定のビット列を規定している。スタートコードは、ビットストリームの区切りに用いられる。スタートコードは、区切り位置以外には出現しないことが保証されている。

【0003】

スタートコードで区切られたスタートコード以外の部分を、本願明細書中ではペイロードと呼ぶ（ペイロードは、Ｈ.２６４又はＨ.２６５等に従う映像符号化方式では、ＮＡＬユニットと呼ばれている）。ペイロードは、スライスやマクロブロック等の情報を示すヘッダ部と、直交変換係数や動きベクトルやそれらの残差信号を示すデータ部から構成される。極端に低いビットレートのストリームを除くと、一般に、ペイロード中のほぼ全てのビットはデータ部に属している。また、ペイロードを復号して得られる映像の領域を、本願明細書中ではデコード領域（即ち、ペイロードを復号して得られる画像を復元するフレーム画像に割り当てるべき領域）と呼ぶ。デコード領域は、画面全体（フレーム画像、ピクチャ等と呼ばれる）や、画面の一部（スライス、タイル等と呼ばれる）とされ、ストリームヘッダにて指定される。

【0004】

Ｈ.２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ方式などの最近の映像符号化方式は、ビット使用効率を高めるため、スタートコード以外のペイロード中（特にデータ中）にデコードエラー検出が困難な不特定のビット列が出現する。そのため、符号化映像ストリームを復号する際に発生したデコードエラーを検出する既知の方法は、デコード領域の復号が完了する前にスタートコードが現われる（ペイロードの不足）か、デコード領域の復号が完了したにも関わらずスタートコードが現われない（ペイロードの余剰）かの検出によっている。このスタートコードを用いた既知のデコードエラー検出技法では、デコード領域内のエラー位置を把握できないため、デコード領域全体をエラーコンシールメントの対象とせざるを得ないことから、処理効率が良くない。

【0005】

尚、可変長データの復号時に復号不能のデータが発生する際にエラーを検出するデコードエラー検出回路が知られている（例えば、特許文献１参照）。この可変長データとは、ハフマン符号化に代表されるデータと符号語が一対一に対応する可変長符号化で圧縮されたデータである。可変長符号化で用いる符号語には特定のビットの組合せのみが存在するため、デコードエラー検出が可能である。

【0006】

しかし、Ｈ.２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ方式などの、最近の映像符号化方式はビット使用効率を高めるため、（特にデータ部では）可変長符号化ではなく算術符号化を用いている。算術符号化では予め決められた符号語が存在しないことから、上述したようにスタートコード以外のペイロード中（特にデータ中）にデコードエラー検出が困難な不特定のビット列が出現するため、特許文献１の技法ではデコードエラー検出を行うことはできない。

【0007】

また、映像復号時にデコードエラーが発生したマクロブロックを検出する技法も知られている（例えば、特許文献２参照）。特許文献２には、デコードエラー検出の技法として、下記の２例が開示されている。

【0008】

（１）マクロブロック情報をデコードした結果、対応するデータが存在しない。これは、例えば、マクロブロック情報をデコードした後、ある参照フレームを参照して再現する場合、その参照フレームが「リスト１０」を指していた場合で、参照フレームリストが「リスト０」から「リスト８」までしか存在しなかった場合などである。

【0009】

（２）マクロブロック情報をデコードした結果の値が符号化対応表に存在しない。これは、例えば、デコードした結果が「４０」という値になったが、符号化対応表には「０」から「３０」までの値しか定義されていない場合などである。

【0010】

しかし、特許文献２に開示される技法は、参照フレームリストや符号化対応表が示されるヘッダ部に関わるマクロブロックのデコードエラーを検出する技法であるため、一般にペイロード中のビット列のほとんどがデータ部（特に直行変換係数又はその残差信号）であることから、高い検出確率が期待できない。

【0011】

そして、Ｈ.２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ方式などの最近の映像符号化方式は、ビット使用効率を極限まで高めるために、符号化対応表に存在しない値がそもそも復号されることはないため、特許文献２に開示される技法によりデコードエラー検出を行うことが困難である。

【先行技術文献】

【特許文献】

【0012】

【特許文献1】特開平５−９５５３６号公報

【特許文献2】特許第４３０９７８４号明細書

【発明の概要】

【発明が解決しようとする課題】

【0013】

上述したように、Ｈ.２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ方式などの最近の映像符号化方式は、ビット使用効率を高めるため、スタートコード以外のペイロード中（特にデータ中）にデコードエラー検出が困難な不特定のビット列が出現する。そのため、符号化映像ストリームを復号する際に発生したデコードエラーを検出する既知の方法は、デコード領域の復号が完了する前にスタートコードが現われる（ペイロードの不足）か、デコード領域の復号が完了したにも関わらずスタートコードが現われない（ペイロードの余剰）かの検出によっている。このスタートコードを用いた既知のデコードエラー検出技法では、デコード領域内のエラー位置を把握できないため、デコード領域全体をエラーコンシールメントの対象とせざるを得ないことから、処理効率が良くない。

【0014】

また、特許文献１又は２の技法では、Ｈ.２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ方式などの最近の映像符号化方式に従う符号化映像ストリームを復号する際に発生したデコードエラーを検出するのが困難である。

【0015】

このため、Ｈ．２６４以前の映像符号化方式だけでなく、Ｈ.２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ方式などの最近の映像符号化方式においても、その符号化映像ストリームを復号する際に発生したデコードエラーを効率よく検出又は推定する技法が望まれる。

【0016】

そこで、本発明の目的は、上述の問題に鑑みて、Ｈ．２６４以前の映像符号化方式だけでなく、Ｈ.２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ方式などの最近の映像符号化方式においても、その符号化映像ストリームを復号する際に発生したデコードエラーを効率よく検出又は推定するデコードエラー検出推定装置、当該デコードエラーの検出に応じたエラーコンシールメントを行う映像復号装置、及びこれらのプログラムを提供することにある。

【課題を解決するための手段】

【0017】

本発明による第１態様のデコードエラー検出推定装置は、符号化映像ストリームを復号する際に発生したデコードエラーを検出又は推定するデコードエラー検出推定装置であって、前記符号化映像ストリームを復号して得られるデコード領域を入力し、当該入力したデコード領域に対しデコードエラー判定を行うために予め設定されたブロックサイズのデコードエラー判定ブロックにおけるクリップ数を検出するクリップ数検出手段と、当該検出したデコードエラー判定ブロックを構成する現ブロックのクリップ数と、予め定めた比較対象の過去フレームにおける当該現ブロックと同一ブロック位置の過去ブロック（過去フレーム中のブロック）のクリップ数とを比較し、所定の判定基準に従って当該現ブロックがデコードエラーを有するか否かを判定し、デコードエラーの有無を示すデコードエラー判定信号を生成するデコードエラー判定手段と、を備えることを特徴とする。

【0018】

また、本発明による第１態様のデコードエラー検出推定装置において、前記デコードエラー判定手段は、前記所定の判定基準として、前記現ブロックのクリップ数が前記過去ブロックのクリップ数より所定量の増加があると判定した場合に、デコードエラー有りと判定することを特徴とする。

【0019】

また、本発明による第１態様のデコードエラー検出推定装置において、前記デコードエラー判定手段は、前記予め定めた比較対象の過去フレームとして、復号順で直前に復号済みの過去フレームを比較対象とすることを特徴とする。

【0020】

更に、本発明による第２態様のデコードエラー検出推定装置は、符号化映像ストリームを復号する際に発生したデコードエラーを検出又は推定するデコードエラー検出推定装置であって、前記符号化映像ストリームを復号して得られるデコード領域を入力し、当該入力したデコード領域に対しデコードエラー判定を行うために予め設定されたブロックサイズのデコードエラー判定ブロックにおけるクリップ数を検出するクリップ数検出手段と、当該検出したデコードエラー判定ブロックを構成する現ブロックのクリップ数と、予め定めた規定値とを比較し、所定の判定基準に従って当該現ブロックがデコードエラーを有するか否かを判定し、デコードエラーの有無を示すデコードエラー判定信号を生成するデコードエラー判定手段と、を備えることを特徴とする。

【0021】

また、本発明による第２態様のデコードエラー検出推定装置において、前記デコードエラー判定手段は、前記所定の判定基準として、前記規定値と、前記現ブロックのクリップ数とを比較して、前記現ブロックのクリップ数が前記規定値より所定量の増加があると判定した場合に、デコードエラー有りと判定することを特徴とする。

【0022】

また、本発明による第１及び第２態様のデコードエラー検出推定装置において、前記デコードエラー判定手段は、当該デコードエラー判定ブロック内の画素数に対するクリップ数の割合で比較して判定することを特徴とする。

【0023】

更に、本発明の映像復号装置は、本発明に係るデコードエラー検出推定装置と、前記デコードエラー検出推定装置から得られるデコードエラー判定信号を基に、対応するデコード領域を補完することにより、エラーコンシールメントを施した映像ストリームを生成する補完手段と、を備えることを特徴とする。

【0024】

更に、本発明のプログラムは、コンピューターを、本発明に係るデコードエラー検出推定装置、或いは本発明に係る映像復号装置として機能させるためのプログラムとして構成する。

【発明の効果】

【0025】

本発明によれば、符号化映像ストリームを復号する際に発生したデコードエラーの検出又は推定のために、その復号過程で発生する画素値のクリップ数を用いるため、Ｈ．２６４以前の映像符号化方式だけでなく、Ｈ.２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ方式などのビット使用効率が高い最近の映像符号化方式においても、デコードエラーが発生した箇所を効率よく検出又は推定することが可能となる。

【図面の簡単な説明】

【0026】

【図1】本発明による第１実施形態のデコードエラー検出推定装置を備える映像復号装置の概略構成を例示するブロック図である。

【図2】本発明による第１実施形態のデコードエラー検出推定装置におけるデコードエラー判定ブロックに関するブロック分割の一例を示す説明図である。

【図3】本発明による第１実施形態のデコードエラー検出推定装置におけるデコードエラー判定に用いるクリップ数の比較例を示す説明図である。

【図4】本発明による第３実施形態のデコードエラー検出推定装置を備える映像復号装置の概略構成を例示するブロック図である。

【図5】本発明による第２実施形態のデコードエラー検出推定装置におけるデコードエラー判定に用いるクリップ数の説明図である。

【発明を実施するための形態】

【0027】

〔第１実施形態〕
（映像復号装置）
図１は、本発明による第１実施形態のデコードエラー検出推定装置１０を備える映像復号装置１の概略構成を例示するブロック図である。本発明に係るデコードエラー検出推定装置１０は、符号化映像ストリームを復号する際に発生したデコードエラーを検出又は推定する装置として機能する。

【0028】

まず、映像復号装置１は、デコードエラー検出推定装置１０、復号処理部１１、及び補完部１２を備える。

【0029】

復号処理部１１は、符号化映像ストリームを入力し復号処理を行う機能部である。復号処理部１１は、当該符号化映像ストリームを入力すると、そのストリームヘッダにて指定されるデコード領域を復号時に区分することができ、順次、デコード領域を補完部１２に出力する。

【0030】

一般に、Ｈ．２６４以前の映像符号化方式だけでなく、Ｈ.２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ方式などの最近の映像符号化方式における映像復号装置では、復号時に（デコード領域の生成時に）、許容される範囲内へと画素値をクリップする処理が含まれる。つまり、クリップとは、許容される最小値又は最大値を越える画素値を、許容される最小値又は最大値にそれぞれ置き換える処理である。一般に、映像符号化方式では、復号処理の中でクリップを行うことが規定されている（例えば、Ｈ.２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ方式では、Ｃｌｉｐ３等の関数として定義されている）。また、許容される範囲(最小値又は最大値)が固定ではなく、映像ストリーム中で可変の場合もある。この場合のクリップは、当該ブロックで許容される範囲に画素値をクリップする処理となる。

【0031】

第１実施形態のデコードエラー検出推定装置１０は、まず、復号処理部１１から、リアルタイムに、或いはデコードエラーの判定対象として指定したデコード領域を入力し、当該入力したデコード領域に対しデコードエラー判定を行うために予め設定されたブロックサイズのデコードエラー判定ブロックへブロック分割する。続いて、デコードエラー検出推定装置１０は、当該デコードエラー判定ブロックを構成する現ブロックにおけるクリップ数を検出し、検出した現ブロックのクリップ数と、予め定めた比較対象の過去フレーム（好適には、復号順で直前に復号済みの過去フレーム）における当該現ブロックと同一ブロック位置（同一ブロックサイズ）の過去ブロックのクリップ数とを比較する。そして、デコードエラー検出推定装置１０は、当該現ブロックのクリップ数と、当該過去ブロックのクリップ数との比較の際に、所定の判定基準に従って当該現ブロックがデコードエラーを有するか否かを判定し、デコードエラーの有無を示すデコードエラー判定信号（デコードエラー有りのみを示すことや、デコードエラー無しのみを示すことを含む）を生成して補完部１２に、或いは外部に出力する。

【0032】

補完部１２は、順次、復号処理部１１から入力されるデコード領域を一時記憶し、デコードエラー検出推定装置１０から得られるデコードエラー判定信号を基に、対応するデコード領域を補完することにより、エラーコンシールメントを施した映像ストリームを生成して外部に出力する。尚、この補完に関する技法自体は、本発明の趣旨ではなく、内挿又は外挿等による既知の技法とすることができる。

【0033】

尚、図１に示す本実施形態のデコードエラー検出推定装置１０では、映像復号装置１内に組み入れる例を示しているが、本実施形態のデコードエラー検出推定装置１０を映像復号装置１の外部に設けてもよい。また、本実施形態のデコードエラー検出推定装置１０は、単に、デコード領域に対するデコードエラー判定信号を外部に出力する装置として構成することができる。例えば、記憶保持される動画ファイル内のデコード領域に対しデコードエラー判定信号（デコードエラー有りのみを示すことや、デコードエラー無しのみを示すことを含む）を付与する用途に利用できる。

【0034】

（デコードエラー検出推定装置）
以下、図１に示す本実施形態のデコードエラー検出推定装置１０について詳細に説明する。図１に示すように、本実施形態のデコードエラー検出推定装置１０は、対象デコード領域抽出部１０１、ブロック分割部１０２、クリップ数検出部１０３、クリップメモリ１０４、及びデコードエラー判定部１０５を備える。また、デコードエラー判定部１０５は、クリップ数比較部１０５ａを備えている。

【0035】

対象デコード領域抽出部１０１は、復号処理部１１から、リアルタイムにデコード領域を入力し、或いはデコードエラーの判定対象として指定したデコード領域を抽出して入力し、当該入力したデコード領域をブロック分割部１０２に出力する。

【0036】

ブロック分割部１０２は、対象デコード領域抽出部１０１から得られる当該入力したデコード領域に対しデコードエラー判定を行うために予め設定されたブロックサイズのデコードエラー判定ブロックへブロック分割し、各デコードエラー判定ブロックをクリップ数検出部１０３に出力する。また、ブロック分割部１０２は、当該デコード領域を含むフレーム画像のフレーム番号、各デコードエラー判定ブロックのブロックサイズ及びブロック位置を示すブロック分割情報をクリップ数検出部１０３及びデコードエラー判定部１０５に出力する。

【0037】

デコード領域を分割する各デコードエラー判定ブロックのブロックサイズは任意のサイズとすることができる。図２は、本発明による第１実施形態のデコードエラー検出推定装置１０におけるデコードエラー判定ブロックに関するブロック分割の一例を示す説明図である。例えば、図２に示すように、符号化映像ストリームにおける復号順でｎ番目のフレーム画像Ｆ（ｎ）において、デコード領域ＤＩがその一部（スライス、タイル等）で構成されるとする（尚、デコード領域ＤＩはフレーム全体でもよく、ストリームヘッダにて指定される）。デコード領域ＤＩは、ｋ番目の符号化／復号ブロックをｂｋ♯ｋとすると、符号化／復号を行う基本単位のブロックサイズで分割されているが、ｍ番目のデコードエラー判定ブロックをＢＫ♯ｍとすると、そのブロックサイズは、この符号化／復号ブロックｂｋ♯ｋのブロックサイズ以上の大きさとすることができる。

【0038】

デコードエラー判定ブロックＢＫ♯ｍのブロックサイズが大きいほど誤検出や検出漏れを防ぐことができ処理速度も向上するが、一方でブロックエラーが発生したフレーム画像Ｆ（ｎ）内の位置の特定が大まかになる。この観点からはデコードエラー判定ブロックＢＫ♯ｍのブロックサイズとして、符号化／復号を行う基本単位である符号化／復号ブロックをｂｋ♯ｋのブロックサイズ（例えば、Ｈ.２６５／ＭＰＥＧ−Ｈ ＨＥＶＣではＣＴＵ）と同一サイズとすることが好適である。

【0039】

クリップ数検出部１０３は、ブロック分割部１０２から得られるブロック分割情報及び各デコードエラー判定ブロックに基づいて、各デコードエラー判定ブロックのクリップ数を累積して検出し、各デコードエラー判定ブロックのクリップ数をそれぞれ現ブロックのクリップ数としてデコードエラー判定部１０５に出力する。また、クリップ数検出部１０３は、ブロック分割情報に基づいて検出した現ブロックのクリップ数をクリップメモリ１０４に出力する。尚、ブロック分割部１０２がブロック分割情報をデコードエラー判定部１０５に出力する構成とする代わりに、クリップ数検出部１０３が、ブロック分割部１０２から所得したブロック分割情報をデコードエラー判定部１０５に出力する構成とすることもできる。

【0040】

クリップメモリ１０４は、クリップ数検出部１０３から得られる現ブロックのクリップ数をブロック分割情報に基づいて、当該デコード領域を含むフレーム画像のフレーム番号、各デコードエラー判定ブロックのブロックサイズ及びブロック位置を一時蓄積する。尚、クリップメモリ１０４は、予め定めたフレーム数分の各デコードエラー判定ブロックのクリップ数を更新保持するものとし、本例では、復号順で直前に復号済みの過去フレームにおける各デコードエラー判定ブロックのクリップ数を更新保持する。尚、クリップメモリ１０４は、初期状態ではクリップなし（クリップ数ゼロ）を保持する。尚、クリップメモリ１０４はフレーム番号のかわりに、現フレームを特定できる情報、例えばＧＯＰ（Group Of Pictures）の先頭からの相対値や、予め定められた符号化順のインデックスを保持してもよい。

【0041】

デコードエラー判定部１０５は、ブロック分割部１０２又はクリップ数検出部１０３から得られるブロック分割情報、及びクリップ数検出部１０３から得られる現ブロックのクリップ数を基に、予め指定した過去フレーム（本例では、復号順で直前に復号済みの過去フレーム）における当該現ブロックと同一ブロック位置（同一ブロックサイズ）の過去ブロックのクリップ数をクリップメモリ１０４から取得する。

【0042】

そして、デコードエラー判定部１０５は、クリップ数比較部１０５ａにより、所定の判定基準に従って、当該現ブロックのクリップ数と、当該過去ブロックのクリップ数との比較を行い、当該現ブロックがデコードエラーを有するか否かを判定し、クリップ数比較部１０５ａの結果に応じて、デコードエラーの有無を示すデコードエラー判定信号（デコードエラー有りのみを示すことや、デコードエラー無しのみを示すことを含む）を生成し、補完部１２に、或いは外部に出力する。

【0043】

図３は、本発明による第１実施形態のデコードエラー検出推定装置１０におけるデコードエラー判定に用いるクリップ数の比較例を示す説明図である。図３に示すように、クリップ数比較部１０５ａは、符号化映像ストリームにおける復号順でｎ番目のフレーム画像Ｆ（ｎ）において、デコードエラー判定対象の現ブロックＢＫ♯ｍにおけるクリップ数と、予め指定した過去フレーム（本例では、復号順で直前に復号済みの過去フレームＦ（ｎ‐１））における当該現ブロックと同一ブロック位置（同一ブロックサイズ）の過去ブロックＢＫ♯ｍ’のクリップ数を、所定の判定基準に従って比較することで、デコードエラーの有無を判定する。

【0044】

ここで、クリップ数比較部１０５ａは、当該所定の判定基準の例として、過去ブロックのクリップ数と、現ブロックのクリップ数とを比較して、現ブロックのクリップ数が過去ブロックのクリップ数より所定量の増加があると判定した場合に、デコードエラー有りと判定する。好適には、デコードエラー判定ブロック内の画素数に対するクリップ数の割合で比較して判定する。

【0045】

例えば、当該所定の判定基準の例として、クリップ数の所定量の増加とは、過去ブロックのクリップ数をＰ、現ブロックのクリップ数をＣ、デコードエラー判定ブロック内の画素数をＳとしたとき、以下の３例のように構成することができる。
（１） （Ｃ＋１）／（Ｐ＋１）＞ｋを満たすときデコードエラー有りと判定する。
（２） Ｃ／Ｓ−Ｐ／Ｓ＞ｎを満たすときデコードエラー有りと判定する。
（３） Ｃ／Ｓ−Ｐ＊ｋ／Ｓ＞ｎを満たすときデコードエラー有りと判定する。

【0046】

尚、上式のｋやｎは予め設定するパラメータである。ｋは１．０以上の値、ｎは０以上の値を設定する。ｋやｎの値が小さいほど、デコードエラーの検出漏れは減少するが、誤検出が増加する。逆にｋやｎの値が大きいほど、デコードエラーの誤検出は減少するが、検出漏れが増加する。例えば上記（２）の判定基準を用いるときは、ｎの値を０．０１〜０．０３程度に設定するのが好適である。

【0047】

第１実施形態のデコードエラー検出推定装置１０、及びこれを備える映像復号装置１によれば、符号化映像ストリームを復号する際に発生したデコードエラーの検出又は推定のために、その復号過程で発生する画素値のクリップ数を用いるため、Ｈ．２６４以前の映像符号化方式だけでなく、Ｈ.２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ方式などのビット使用効率が高い最近の映像符号化方式において、デコードエラーが発生した箇所を効率よく検出又は推定することが可能となる。

【0048】

〔第２実施形態〕
（映像復号装置）
図４は、本発明による第２実施形態のデコードエラー検出推定装置１０を備える映像復号装置１の概略構成を例示するブロック図である。尚、図１に示す第１実施形態と同様な構成要素には同一の参照番号を付している。第２実施形態に係る映像復号装置１は、第１実施形態と比較して、デコードエラー検出推定装置１０の構成が異なる点を除き、同様であり、復号処理部１１、及び補完部１２の更なる説明は省略する。また、この第２実施形態のデコードエラー検出推定装置１０は、過去ブロックのクリップ数をクリップメモリ１０４に保持せずにデコードエラーを判定する点で、第１実施形態とは相違している。

【0049】

尚、図４に示す本実施形態のデコードエラー検出推定装置１０では、映像復号装置１内に組み入れる例を示しているが、第１実施形態と同様に、本実施形態のデコードエラー検出推定装置１０を映像復号装置１の外部に設けてもよい。また、本実施形態のデコードエラー検出推定装置１０は、単に、デコード領域に対するデコードエラー判定信号を外部に出力する装置として構成することができる。例えば、記憶保持される動画ファイル内のデコード領域に対しデコードエラー判定信号（デコードエラー有りのみを示すことや、デコードエラー無しのみを示すことを含む）を付与する用途に利用できる。

【0050】

（デコードエラー検出推定装置）
以下、図４に示す本実施形態のデコードエラー検出推定装置１０について詳細に説明する。図４に示すように、本実施形態のデコードエラー検出推定装置１０は、対象デコード領域抽出部１０１、ブロック分割部１０２、クリップ数検出部１０３、及びデコードエラー判定部１０５を備える。また、デコードエラー判定部１０５は、クリップ数比較部１０５ｂを備えている。

【0051】

対象デコード領域抽出部１０１は、第１実施形態と同様に、復号処理部１１から、リアルタイムにデコード領域を入力し、或いはデコードエラーの判定対象として指定したデコード領域を抽出して入力し、当該入力したデコード領域をブロック分割部１０２に出力する。

【0052】

ブロック分割部１０２は、第１実施形態と同様に、対象デコード領域抽出部１０１から得られる当該入力したデコード領域に対しデコードエラー判定を行うために予め設定されたブロックサイズのデコードエラー判定ブロックへブロック分割し、各デコードエラー判定ブロックをクリップ数検出部１０３に出力する。また、ブロック分割部１０２は、当該デコード領域を含むフレーム画像のフレーム番号、各デコードエラー判定ブロックのブロックサイズ及びブロック位置を示すブロック分割情報をクリップ数検出部１０３及びデコードエラー判定部１０５に出力する。

【0053】

本実施形態においても、上述した第１実施形態について図２を参照して説明したように、デコード領域を分割する各デコードエラー判定ブロックのブロックサイズは任意のサイズとすることができる。

【0054】

クリップ数検出部１０３は、第１実施形態と同様に、ブロック分割部１０２から得られるブロック分割情報及び各デコードエラー判定ブロックに基づいて、各デコードエラー判定ブロックのクリップ数を累積して検出し、各デコードエラー判定ブロックのクリップ数をそれぞれ現ブロックのクリップ数としてデコードエラー判定部１０５に出力する。尚、ブロック分割部１０２がブロック分割情報をデコードエラー判定部１０５に出力する構成とする代わりに、クリップ数検出部１０３が、ブロック分割部１０２から所得したブロック分割情報をデコードエラー判定部１０５に出力する構成とすることもできる。

【0055】

デコードエラー判定部１０５は、ブロック分割部１０２又はクリップ数検出部１０３から得られるブロック分割情報、及びクリップ数検出部１０３から得られる現ブロックのクリップ数を基に、クリップ数比較部１０５ｂにより、所定の判定基準に従って、当該現ブロックのクリップ数と、予め定めた規定値との比較を行い、当該現ブロックがデコードエラーを有するか否かを判定し、クリップ数比較部１０５ｂの結果に応じて、デコードエラーの有無を示すデコードエラー判定信号（デコードエラー有りのみを示すことや、デコードエラー無しのみを示すことを含む）を生成し、補完部１２に、或いは外部に出力する。

【0056】

図５は、本発明による第２実施形態のデコードエラー検出推定装置１０におけるデコードエラー判定に用いるクリップ数の比較例を示す説明図である。図５に示すように、クリップ数比較部１０５ｂは、符号化映像ストリームにおける復号順でｎ番目のフレーム画像Ｆ（ｎ）において、デコードエラー判定対象の現ブロックＢＫ♯ｍにおけるクリップ数と、予め定めた規定値を、所定の判定基準に従って比較することで、デコードエラーの有無を判定する。

【0057】

ここで、クリップ数比較部１０５ｂは、当該所定の判定基準の例として、規定値（例えば予め定めたクリップ数）と、現ブロックのクリップ数とを比較して、現ブロックのクリップ数が当該規定値より所定量の増加があると判定した場合に、デコードエラー有りと判定する。好適には、デコードエラー判定ブロック内の画素数に対するクリップ数の割合で比較して判定する。

【0058】

例えば、当該所定の判定基準の例として、クリップ数の所定量の増加とは、現ブロックのクリップ数をＣ、デコードエラー判定ブロック内の画素数をＳとしたとき、以下の２例のように構成することができる。
（４） Ｃ＞ｎを満たすときデコードエラー有りと判定する。
（５） Ｃ／Ｓ＞ｎを満たすときデコードエラー有りと判定する。

【0059】

尚、上式のｎは予め設定するパラメータである。ｎの値が小さいほど、デコードエラーの検出漏れは減少するが、誤検出が増加する。逆にｎの値が大きいほど、デコードエラーの誤検出は減少するが、検出漏れが増加する。例えば上記（５）の判定基準を用いるときは、ｎの値を０．０１〜０．０３程度に設定するのが好適である。

【0060】

第２実施形態においても、符号化映像ストリームを復号する際に発生したデコードエラーの検出又は推定のために、その復号過程で発生する画素値のクリップ数を用いるため、Ｈ．２６４以前の映像符号化方式だけでなく、Ｈ.２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ方式などのビット使用効率が高い最近の映像符号化方式において、デコードエラーが発生した箇所を効率よく検出又は推定することが可能となる。

【0061】

また、第２実施形態では、現ブロックのクリップ数のみを検出すればよいため、第１実施形態よりも処理負担を軽減させることができる。

【0062】

以上の各実施形態におけるデコードエラー検出推定装置１０、又は映像復号装置１は、コンピューターにより構成することができ、デコードエラー検出推定装置１０、又は映像復号装置１の各処理部を機能させるためのプログラムを好適に用いることができる。具体的には、デコードエラー検出推定装置１０、又は映像復号装置１の各処理部を制御するための制御部をコンピューター内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各処理部を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピューターに、ＣＰＵによって該プログラムを実行させることにより、デコードエラー検出推定装置１０、又は映像復号装置１の各処理部の有する機能を実現させることができる。更に、デコードエラー検出推定装置１０、又は映像復号装置１の各処理部の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納させることができる。そのような記憶部は、装置内部のＲＡＭ又はＲＯＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、コンピューターで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。更に、そのようなコンピューターに、デコードエラー検出推定装置１０、又は映像復号装置１の各処理部として機能させるためのプログラムは、コンピューター読取り可能な記録媒体に記録することができる。また、デコードエラー検出推定装置１０、又は映像復号装置１の各処理部をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。

【0063】

以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述の実施形態の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した実施形態の例では、特定の判定基準を例示して説明したが、二乗平均を併用するなど、種々の変形例が想定される。従って、本発明に係る送信装置及び受信装置は、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。

【産業上の利用可能性】

【0064】

本発明によれば、符号化映像ストリームを復号する際に発生したデコードエラーを効率よく検出又は推定することができるので、エラーコンシールメントを要する映像符号化方式の用途に有用である。

【符号の説明】

【0065】

１ 映像復号装置
１０ デコードエラー検出推定装置
１１ 復号処理部
１２ 補完部
１０１ 対象デコード領域抽出部
１０２ ブロック分割部
１０３ クリップ数検出部
１０４ クリップメモリ
１０５ デコードエラー判定部
１０５ａ，１０５ｂ クリップ数比較部

【図1】

【図2】

【図3】

【図4】

【図5】