特許 5694674 画像符号化装置、画像符号化復号化システム、画像符号化方法、画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5694674

(24)【登録日】2015年2月13日

(45)【発行日】2015年4月1日

(54)【発明の名称】画像符号化装置、画像符号化復号化システム、画像符号化方法、画像表示方法

(51)【国際特許分類】

   H04N 19/196 20140101AFI20150312BHJP

   H04N 19/107 20140101ALI20150312BHJP

   H04N 19/114 20140101ALI20150312BHJP

   H04N 19/142 20140101ALI20150312BHJP

   H04N 19/172 20140101ALI20150312BHJP

   H04N 19/423 20140101ALI20150312BHJP

   H04N 19/503 20140101ALI20150312BHJP

   H04N 19/593 20140101ALI20150312BHJP

   H04N 19/61 20140101ALI20150312BHJP

   H04N 19/625 20140101ALI20150312BHJP

【ＦＩ】

   H04N19/196

   H04N19/107

   H04N19/114

   H04N19/142

   H04N19/172

   H04N19/423

   H04N19/503

   H04N19/593

   H04N19/61

   H04N19/625

【請求項の数】16

【全頁数】29

(21)【出願番号】特願2010-46223(P2010-46223)

(22)【出願日】2010年3月3日

(65)【公開番号】特開2011-182284(P2011-182284A)

(43)【公開日】2011年9月15日

【審査請求日】2013年3月1日

(73)【特許権者】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100088672

【弁理士】

【氏名又は名称】吉竹 英俊

(74)【代理人】

【識別番号】100088845

【弁理士】

【氏名又は名称】有田 貴弘

(72)【発明者】

【氏名】澤田 孝司

(72)【発明者】

【氏名】小室 武明

(72)【発明者】

【氏名】達可 敏充

【審査官】 畑中 高行

(56)【参考文献】

【文献】 特開２００９−２９０７１２（ＪＰ，Ａ）

【文献】 特開２００６−２８７８６４（ＪＰ，Ａ）

【文献】 特開平０７−２０３４５８（ＪＰ，Ａ）

【文献】 特開平０６−０３０３９６（ＪＰ，Ａ）

【文献】 特開２００２−１２５２２６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

入力動画像を構成する各ピクチャの画像データに圧縮符号化を行ってピクチャごとにインター符号化データとイントラ符号化データとのうちのいずれか一方を生成する生成処理と、生成された符号化データを有線または無線の伝送路へ出力する出力処理とを含んだ所定処理を行う、圧縮符号化手段と、
前記圧縮符号化手段に対し、前記インター符号化データと前記イントラ符号化データとのうちのいずれを生成させるかについての制御と、前記圧縮符号化によって生成される符号量の制御とを行う、制御手段と
を備え、
前記制御手段は、
前記圧縮符号化手段に前記インター符号化データを生成させる場合、前記伝送路の上限伝送レートと、前記入力動画像のピクチャレートに基づいて１ピクチャ当たりに割り当てられる許容時間との乗算値で与えられる最大符号量以下の符号量を設定し、
前記圧縮符号化手段に前記イントラ符号化データを生成させる場合、前記最大符号量よりも多く前記最大符号量のＮ倍（Ｎは２以上の整数）以下の符号量を設定し、
前記圧縮符号化手段は、
前記イントラ符号化データに対応する前記ピクチャに続く｛Ｎ−１｝枚のピクチャについては、前記所定処理のうちの少なくとも前記出力処理を行わない、
画像符号化装置。

【請求項2】

請求項１に記載の画像符号化装置であって、
前記圧縮符号化手段は、
前記イントラ符号化データについての前記所定処理を、前記許容時間よりも長く前記許容時間の前記Ｎ倍の時間以下の処理時間をかけて行う、
画像符号化装置。

【請求項3】

請求項１または請求項２に記載の画像符号化装置であって、
前記圧縮符号化手段は、
前記｛Ｎ−１｝枚のピクチャについては、前記所定処理のうちで前記生成処理も行わない、
画像符号化装置。

【請求項4】

入力動画像を構成する各ピクチャの画像データに圧縮符号化を行ってピクチャごとにインター符号化データとイントラ符号化データとのうちのいずれか一方を生成する生成処理と、生成された符号化データを有線または無線の伝送路へ出力する出力処理とを含んだ所定処理を行う、圧縮符号化手段と、
前記圧縮符号化手段に対し、前記インター符号化データと前記イントラ符号化データとのうちのいずれを生成させるかについての制御と、前記圧縮符号化によって生成される符号量の制御とを行う、制御手段と
を備え、
前記圧縮符号化手段は、
前記イントラ符号化データについての前記所定処理を、前記入力動画像のピクチャレートに基づいて１ピクチャ当たりに割り当てられる許容時間よりも長く前記許容時間のＮ倍（Ｎは２以上の整数）の時間以下の処理時間をかけて行い、
前記イントラ符号化データに対応する前記ピクチャに続く｛Ｎ−１｝枚のピクチャについては、前記所定処理を行わない、
画像符号化装置。

【請求項5】

請求項１ないし請求項４のうちのいずれか１項に記載の画像符号化装置と、
前記画像符号化装置と前記有線または無線の伝送路を介して通信可能に設けられた画像復号化装置と
を備え、
前記画像復号化装置は、
前記画像符号化装置から前記符号化データを受信し、前記符号化データに基づいて、前記圧縮符号化に対応する復号化を行うことによって復号化データを生成する、復号化手段と、
前記復号化によって順次生成される前記復号化データを表示装置向けに順次出力する出力手段と
を含んでおり、
前記出力手段は、
前記イントラ符号化データについての前記復号化が終了するまで、当該イントラ符号化データの直前に受信した前記インター符号化データに対応するインター復号化データを繰り返し表示装置向けに出力する、
画像符号化復号化システム。

【請求項6】

画像符号化装置と、
前記画像符号化装置と有線または無線の伝送路を介して通信可能に設けられた画像復号化装置と
を備え、
前記画像符号化装置は、
入力動画像を構成する各ピクチャの画像データに圧縮符号化を行ってピクチャごとにインター符号化データとイントラ符号化データとのうちのいずれか一方を生成する生成処理と、生成された符号化データを前記伝送路へ出力する出力処理とを含んだ所定処理を行う、圧縮符号化手段と、
前記圧縮符号化手段に対し、前記インター符号化データと前記イントラ符号化データとのうちのいずれを生成させるかについての制御と、前記圧縮符号化によって生成される符号量の制御とを行う、制御手段と
を含んでおり、
前記制御手段は、
前記圧縮符号化手段に前記インター符号化データを生成させる場合、前記伝送路の上限伝送レートと、前記入力動画像のピクチャレートに基づいて１ピクチャ当たりに割り当てられる許容時間との乗算値で与えられる最大符号量以下の符号量を設定し、
前記圧縮符号化手段に前記イントラ符号化データを生成させる場合、前記最大符号量よりも多く前記最大符号量のＮ倍（Ｎは２以上の整数）以下の符号量を設定し、
前記画像復号化装置は、
前記画像符号化装置から前記符号化データを受信し、前記符号化データに基づいて、前記圧縮符号化に対応する復号化を行うことによって復号化データを生成する、復号化手段と、
前記復号化によって順次生成される前記復号化データを表示装置向けに順次出力する出力手段と
を含んでおり、
前記出力手段は、
前記イントラ符号化データについての前記復号化が終了するまで、当該イントラ符号化データの直前に受信した前記インター符号化データに対応するインター復号化データを繰り返し表示装置向けに出力する、
画像符号化復号化システム。

【請求項7】

請求項６に記載の画像符号化復号化システムであって、
前記圧縮符号化手段は、
前記イントラ符号化データについての前記所定処理を、前記許容時間よりも長く前記許容時間の前記Ｎ倍の時間以下の処理時間をかけて行う、
画像符号化復号化システム。

【請求項8】

画像符号化装置と、
前記画像符号化装置と有線または無線の伝送路を介して通信可能に設けられた画像復号化装置と
を備え、
前記画像符号化装置は、
入力動画像を構成する各ピクチャの画像データに圧縮符号化を行ってピクチャごとにインター符号化データとイントラ符号化データとのうちのいずれか一方を生成する生成処理と、生成された符号化データを前記伝送路へ出力する出力処理とを含んだ所定処理を行う、圧縮符号化手段と、
前記圧縮符号化手段に対し、前記インター符号化データと前記イントラ符号化データとのうちのいずれを生成させるかについての制御と、前記圧縮符号化によって生成される符号量の制御とを行う、制御手段と
を含んでおり、
前記圧縮符号化手段は、
前記イントラ符号化データについての前記所定処理を、前記入力動画像のピクチャレートに基づいて１ピクチャ当たりに割り当てられる許容時間よりも長く前記許容時間のＮ倍（Ｎは２以上の整数）の時間以下の処理時間をかけて行い、
前記画像復号化装置は、
前記画像符号化装置から前記符号化データを受信し、前記符号化データに基づいて、前記圧縮符号化に対応する復号化を行うことによって復号化データを生成する、復号化手段と、
前記復号化によって順次生成される前記復号化データを表示装置向けに順次出力する出力手段と
を含んでおり、
前記出力手段は、
前記イントラ符号化データについての前記復号化が終了するまで、当該イントラ符号化データの直前に受信した前記インター符号化データに対応するインター復号化データを繰り返し表示装置向けに出力する、
画像符号化復号化システム。

【請求項9】

（ａ）入力動画像を構成する各ピクチャの画像データに圧縮符号化を行ってピクチャごとにインター符号化データとイントラ符号化データとのうちのいずれか一方を生成する生成処理と、生成された符号化データを有線または無線の伝送路へ出力する出力処理とを含んだ所定処理を行うステップと、
（ｂ）前記ステップ（ａ）に関して、前記インター符号化データと前記イントラ符号化データとのうちのいずれを生成させるかについての制御と、前記圧縮符号化によって生成される符号量の制御とを行うステップと
を備え、
前記ステップ（ｂ）では、
前記ステップ（ａ）で前記インター符号化データを生成させる場合、前記伝送路の上限伝送レートと、前記入力動画像のピクチャレートに基づいて１ピクチャ当たりに割り当てられる許容時間との乗算値で与えられる最大符号量以下の符号量を設定し、
前記ステップ（ａ）で前記イントラ符号化データを生成させる場合、前記最大符号量よりも多く前記最大符号量のＮ倍（Ｎは２以上の整数）以下の符号量を設定し、
前記ステップ（ａ）では、
前記イントラ符号化データに対応する前記ピクチャに続く｛Ｎ−１｝枚のピクチャについては、前記所定処理のうちの少なくとも前記出力処理を行わない、
画像符号化方法。

【請求項10】

請求項９に記載の画像符号化方法であって、
前記ステップ（ａ）では、
前記イントラ符号化データについての前記所定処理を、前記許容時間よりも長く前記許容時間の前記Ｎ倍の時間以下の処理時間をかけて行う、
画像符号化方法。

【請求項11】

請求項９または請求項１０に記載の画像符号化方法であって、
前記ステップ（ａ）では、
前記｛Ｎ−１｝枚のピクチャについては、前記所定処理のうちで前記生成処理も行わない、
画像符号化方法。

【請求項12】

（ａ）入力動画像を構成する各ピクチャの画像データに圧縮符号化を行ってピクチャごとにインター符号化データとイントラ符号化データとのうちのいずれか一方を生成する生成処理と、生成された符号化データを有線または無線の伝送路へ出力する出力処理とを含んだ所定処理を行うステップと、
（ｂ）前記ステップ（ａ）に関して、前記インター符号化データと前記イントラ符号化データとのうちのいずれを生成させるかについての制御と、前記圧縮符号化によって生成される符号量の制御とを行うステップと
を備え、
前記ステップ（ａ）では、
前記イントラ符号化データについての前記所定処理を、前記入力動画像のピクチャレートに基づいて１ピクチャ当たりに割り当てられる許容時間よりも長く前記許容時間のＮ倍（Ｎは２以上の整数）の時間以下の処理時間をかけて行い、
前記イントラ符号化データに対応する前記ピクチャに続く｛Ｎ−１｝枚のピクチャについては、前記所定処理を行わない、
画像符号化方法。

【請求項13】

（ｃ）請求項９ないし請求項１２のうちのいずれか１項に記載の画像符号化方法によって生成された前記符号化データを、前記有線または無線の伝送路を介して受信するステップと、
（ｄ）前記ステップ（ｃ）で受信した前記符号化データに基づいて、前記圧縮符号化に対応する復号化を行うことによって復号化データを生成するステップと、
（ｅ）前記ステップ（ｄ）によって順次生成される前記復号化データに基づいて表示装置に画像表示を行わせるステップと
を備え、
前記ステップ（ｅ）では、
前記ステップ（ｄ）において前記イントラ符号化データについての前記復号化が終了するまで、当該イントラ符号化データの直前に受信した前記インター符号化データに対応するインター復号化データを繰り返し用いて前記画像表示を行う、
画像表示方法。

【請求項14】

（ａ）入力動画像を構成する各ピクチャの画像データに圧縮符号化を行ってピクチャごとにインター符号化データとイントラ符号化データとのうちのいずれか一方を生成する生成処理と、生成された符号化データを有線または無線の伝送路へ出力する出力処理とを含んだ所定処理を行うステップと、
（ｂ）前記ステップ（ａ）に関して、前記インター符号化データと前記イントラ符号化データとのうちのいずれを生成させるかについての制御と、前記圧縮符号化によって生成される符号量の制御とを行うステップと
を備え、
前記ステップ（ｂ）では、
前記ステップ（ａ）で前記インター符号化データを生成させる場合、前記伝送路の上限伝送レートと、前記入力動画像のピクチャレートに基づいて１ピクチャ当たりに割り当てられる許容時間との乗算値で与えられる最大符号量以下の符号量を設定し、
前記ステップ（ａ）で前記イントラ符号化データを生成させる場合、前記最大符号量よりも多く前記最大符号量のＮ倍（Ｎは２以上の整数）以下の符号量を設定し、
（ｃ）前記ステップ（ａ）で生成された前記符号化データを、前記有線または無線の伝送路を介して受信するステップと、
（ｄ）前記ステップ（ｃ）で受信した前記符号化データに基づいて、前記圧縮符号化に対応する復号化を行うことによって復号化データを生成するステップと、
（ｅ）前記ステップ（ｄ）によって順次生成される前記復号化データに基づいて表示装置に画像表示を行わせるステップと
をさらに備え、
前記ステップ（ｅ）では、
前記ステップ（ｄ）において前記イントラ符号化データについての前記復号化が終了するまで、当該イントラ符号化データの直前に受信した前記インター符号化データに対応するインター復号化データを繰り返し用いて前記画像表示を行う、
画像表示方法。

【請求項15】

請求項１４に記載の画像表示方法であって、
前記ステップ（ａ）では、
前記イントラ符号化データについての前記所定処理を、前記許容時間よりも長く前記許容時間の前記Ｎ倍の時間以下の処理時間をかけて行う、
画像表示方法。

【請求項16】

（ａ）入力動画像を構成する各ピクチャの画像データに圧縮符号化を行ってピクチャごとにインター符号化データとイントラ符号化データとのうちのいずれか一方を生成する生成処理と、生成された符号化データを有線または無線の伝送路へ出力する出力処理とを含んだ所定処理を行うステップと、
（ｂ）前記ステップ（ａ）に関して、前記インター符号化データと前記イントラ符号化データとのうちのいずれを生成させるかについての制御と、前記圧縮符号化によって生成される符号量の制御とを行うステップと
を備え、
前記ステップ（ａ）では、
前記イントラ符号化データについての前記所定処理を、前記入力動画像のピクチャレートに基づいて１ピクチャ当たりに割り当てられる許容時間よりも長く前記許容時間のＮ倍（Ｎは２以上の整数）の時間以下の処理時間をかけて行い、
（ｃ）前記ステップ（ａ）で生成された前記符号化データを、前記有線または無線の伝送路を介して受信するステップと、
（ｄ）前記ステップ（ｃ）で受信した前記符号化データに基づいて、前記圧縮符号化に対応する復号化を行うことによって復号化データを生成するステップと、
（ｅ）前記ステップ（ｄ）によって順次生成される前記復号化データに基づいて表示装置に画像表示を行わせるステップと
をさらに備え、
前記ステップ（ｅ）では、
前記ステップ（ｄ）において前記イントラ符号化データについての前記復号化が終了するまで、当該イントラ符号化データの直前に受信した前記インター符号化データに対応するインター復号化データを繰り返し用いて前記画像表示を行う、
画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像符号化装置、画像符号化復号化システム、画像符号化方法、画像表示方法に係る。

【背景技術】

【0002】

動画像の符号化方式としては、例えば、Ｈ．２６４、ＭＰＥＧ（Moving Picture Experts Group）−２、およびＭＰＥＧ−４等が知られている。なお、一般に、符号化の際にはデータ圧縮が行われることが多く、このため「符号化」と「圧縮符号化」とが同義で用いられる場合がある。かかる実情に鑑み、本明細書でも基本的には両者を同義で用いることにする。

【0003】

上記方式ではイントラ符号化とインター符号化が併用されている。イントラ符号化は、動画像を構成するピクチャを、他のピクチャとは無関係に、そのピクチャだけで符号化する手法である。このため、イントラ符号化されたピクチャ（以下、イントラ符号化ピクチャとも称する）は、それ単独で復号化可能である。なお、イントラ符号化ピクチャはＩピクチャ（Intra-Picture）とも称される。

【0004】

他方、インター符号化は、他のピクチャとの相関性を利用してインター予測（画面間予測、ピクチャ間予測等とも称される）を行い、その予測結果、すなわち予測ピクチャを符号化する手法である。インター予測は、他のピクチャについての予測ピクチャとの間で行われる場合もある。インター符号化されたピクチャ（以下、インター符号化ピクチャとも称する）は、インター予測時に参照したピクチャ（参照ピクチャ、参照画面等と称される）を利用しなければ復号化することができない。なお、インター符号化ピクチャには、動画像シーケンスにおける前方のピクチャに依拠して符号化されたＰピクチャ（Predictive-Picture）と、前方および後方のピクチャに依拠して符号化されたＢピクチャ（Bidirectional predictive-Picture）との２種類がある。

【0005】

なお、イントラ符号化において、符号化の対象とするピクチャを複数のブロック（またはマクロブロック）に分割し、ブロック間の相関性を利用してイントラ予測（画面内予測、ピクチャ内予測等とも称される）が行われる場合もある。

【0006】

なお、本発明に関連すると思われる技術が下記特許文献１に開示されている（後述する）。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００６−２８７８６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

符号化ピクチャを有線または無線の通信によって伝送する場合、伝送路の通信帯域（換言すれば伝送レート）の制限内に収まるように、生成する符号化データの量（換言すれば符号量）を制御する必要がある。

【0009】

また、動画像はピクチャの連続により構成されているので、順次入力される各ピクチャに対して費やすことができる処理時間（換言すれば処理遅延）には制限がある。このため、処理時間の長さに応じて、符号量が制御される。

【0010】

しかし、符号量が少ないと、復号化されたピクチャの画質は低くなってしまう。一般にイントラ符号化ピクチャはインター符号化ピクチャに比べて符号量が多くなる。このため、上記各種制限に適合させるために符号量を削減した場合、イントラ符号化ピクチャの方がインター符号化ピクチャに比べて削減量が大きくなる。

【0011】

したがって、イントラ符号化ピクチャの方が画質低下を起こしやすい。また、イントラ符号化ピクチャに対応する復号化ピクチャが低画質の場合、動画像全体の画質低下を招く場合もある。

【0012】

そこで、本発明は、動画像の符号化に関して各種制限に適合させつつ画質低下を抑制可能な技術を提供することを目的とする。また、そのような符号化の処理負荷を低減可能な技術を提供することを目的とする。また、そのような符号化技術に好適な動画像表示技術を提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明の第１の態様に係る画像符号化装置は、入力動画像を構成する各ピクチャの画像データに圧縮符号化を行ってピクチャごとにインター符号化データとイントラ符号化データとのうちのいずれか一方を生成する生成処理と、生成された符号化データを有線または無線の伝送路へ出力する出力処理とを含んだ所定処理を行う、圧縮符号化手段と、前記圧縮符号化手段に対し、前記インター符号化データと前記イントラ符号化データとのうちのいずれを生成させるかについての制御と、前記圧縮符号化によって生成される符号量の制御とを行う、制御手段とを備え、前記制御手段は、前記圧縮符号化手段に前記インター符号化データを生成させる場合、前記伝送路の上限伝送レートと、前記入力動画像のピクチャレートに基づいて１ピクチャ当たりに割り当てられる許容時間との乗算値で与えられる最大符号量以下の符号量を設定し、前記圧縮符号化手段に前記イントラ符号化データを生成させる場合、前記最大符号量よりも多く前記最大符号量のＮ倍（Ｎは２以上の整数）以下の符号量を設定し、前記圧縮符号化手段は、前記イントラ符号化データに対応する前記ピクチャに続く｛Ｎ−１｝枚のピクチャについては、前記所定処理のうちの少なくとも前記出力処理を行わない。

【0014】

また、第２の態様に係る画像符号化装置は、上記の第１の態様に係る画像符号化装置であって、前記圧縮符号化手段は、前記イントラ符号化データについての前記所定処理を、前記許容時間よりも長く前記許容時間の前記Ｎ倍の時間以下の処理時間をかけて行う。

【0016】

また、第３の態様に係る画像符号化装置は、上記の第１または第２の態様に係る画像符号化装置であって、前記圧縮符号化手段は、前記｛Ｎ−１｝枚のピクチャについては、前記所定処理のうちで前記生成処理も行わない。

【0017】

また、第４の態様に係る画像符号化装置は、入力動画像を構成する各ピクチャの画像データに圧縮符号化を行ってピクチャごとにインター符号化データとイントラ符号化データとのうちのいずれか一方を生成する生成処理と、生成された符号化データを有線または無線の伝送路へ出力する出力処理とを含んだ所定処理を行う、圧縮符号化手段と、前記圧縮符号化手段に対し、前記インター符号化データと前記イントラ符号化データとのうちのいずれを生成させるかについての制御と、前記圧縮符号化によって生成される符号量の制御とを行う、制御手段とを備え、前記圧縮符号化手段は、前記イントラ符号化データについての前記所定処理を、前記入力動画像のピクチャレートに基づいて１ピクチャ当たりに割り当てられる許容時間よりも長く前記許容時間のＮ倍（Ｎは２以上の整数）の時間以下の処理時間をかけて行い、前記イントラ符号化データに対応する前記ピクチャに続く｛Ｎ−１｝枚のピクチャについては、前記所定処理を行わない。

【0019】

また、第５の態様に係る画像符号化復号化システムは、上記の第１ないし第４のうちのいずれか１つの態様に係る画像符号化装置と、前記画像符号化装置と前記有線または無線の伝送路を介して通信可能に設けられた画像復号化装置とを備え、前記画像復号化装置は、前記画像符号化装置から前記符号化データを受信し、前記符号化データに基づいて、前記圧縮符号化に対応する復号化を行うことによって復号化データを生成する、復号化手段と、前記復号化によって順次生成される前記復号化データを表示装置向けに順次出力する出力手段とを含んでおり、前記出力手段は、前記イントラ符号化データについての前記復号化が終了するまで、当該イントラ符号化データの直前に受信した前記インター符号化データに対応するインター復号化データを繰り返し表示装置向けに出力する。
また、第６の態様に係る画像符号化復号化システムは、画像符号化装置と、前記画像符号化装置と有線または無線の伝送路を介して通信可能に設けられた画像復号化装置とを備え、前記画像符号化装置は、入力動画像を構成する各ピクチャの画像データに圧縮符号化を行ってピクチャごとにインター符号化データとイントラ符号化データとのうちのいずれか一方を生成する生成処理と、生成された符号化データを前記伝送路へ出力する出力処理とを含んだ所定処理を行う、圧縮符号化手段と、前記圧縮符号化手段に対し、前記インター符号化データと前記イントラ符号化データとのうちのいずれを生成させるかについての制御と、前記圧縮符号化によって生成される符号量の制御とを行う、制御手段とを含んでおり、前記制御手段は、前記圧縮符号化手段に前記インター符号化データを生成させる場合、前記伝送路の上限伝送レートと、前記入力動画像のピクチャレートに基づいて１ピクチャ当たりに割り当てられる許容時間との乗算値で与えられる最大符号量以下の符号量を設定し、前記圧縮符号化手段に前記イントラ符号化データを生成させる場合、前記最大符号量よりも多く前記最大符号量のＮ倍（Ｎは２以上の整数）以下の符号量を設定し、前記画像復号化装置は、前記画像符号化装置から前記符号化データを受信し、前記符号化データに基づいて、前記圧縮符号化に対応する復号化を行うことによって復号化データを生成する、復号化手段と、前記復号化によって順次生成される前記復号化データを表示装置向けに順次出力する出力手段とを含んでおり、前記出力手段は、前記イントラ符号化データについての前記復号化が終了するまで、当該イントラ符号化データの直前に受信した前記インター符号化データに対応するインター復号化データを繰り返し表示装置向けに出力する。
また、第７の態様に係る画像符号化復号化システムは、上記の第６の態様に係る画像符号化復号化システムであって、前記圧縮符号化手段は、前記イントラ符号化データについての前記所定処理を、前記許容時間よりも長く前記許容時間の前記Ｎ倍の時間以下の処理時間をかけて行う。
また、第８の態様に係る画像符号化復号化システムは、画像符号化装置と、前記画像符号化装置と有線または無線の伝送路を介して通信可能に設けられた画像復号化装置とを備え、前記画像符号化装置は、入力動画像を構成する各ピクチャの画像データに圧縮符号化を行ってピクチャごとにインター符号化データとイントラ符号化データとのうちのいずれか一方を生成する生成処理と、生成された符号化データを前記伝送路へ出力する出力処理とを含んだ所定処理を行う、圧縮符号化手段と、前記圧縮符号化手段に対し、前記インター符号化データと前記イントラ符号化データとのうちのいずれを生成させるかについての制御と、前記圧縮符号化によって生成される符号量の制御とを行う、制御手段とを含んでおり、前記圧縮符号化手段は、前記イントラ符号化データについての前記所定処理を、前記入力動画像のピクチャレートに基づいて１ピクチャ当たりに割り当てられる許容時間よりも長く前記許容時間のＮ倍（Ｎは２以上の整数）の時間以下の処理時間をかけて行い、前記画像復号化装置は、前記画像符号化装置から前記符号化データを受信し、前記符号化データに基づいて、前記圧縮符号化に対応する復号化を行うことによって復号化データを生成する、復号化手段と、前記復号化によって順次生成される前記復号化データを表示装置向けに順次出力する出力手段とを含んでおり、前記出力手段は、前記イントラ符号化データについての前記復号化が終了するまで、当該イントラ符号化データの直前に受信した前記インター符号化データに対応するインター復号化データを繰り返し表示装置向けに出力する。

【0020】

また、第９の態様に係る画像符号化方法は、（ａ）入力動画像を構成する各ピクチャの画像データに圧縮符号化を行ってピクチャごとにインター符号化データとイントラ符号化データとのうちのいずれか一方を生成する生成処理と、生成された符号化データを有線または無線の伝送路へ出力する出力処理とを含んだ所定処理を行うステップと、（ｂ）前記ステップ（ａ）に関して、前記インター符号化データと前記イントラ符号化データとのうちのいずれを生成させるかについての制御と、前記圧縮符号化によって生成される符号量の制御とを行うステップとを備え、前記ステップ（ｂ）では、前記ステップ（ａ）で前記インター符号化データを生成させる場合、前記伝送路の上限伝送レートと、前記入力動画像のピクチャレートに基づいて１ピクチャ当たりに割り当てられる許容時間との乗算値で与えられる最大符号量以下の符号量を設定し、前記ステップ（ａ）で前記イントラ符号化データを生成させる場合、前記最大符号量よりも多く前記最大符号量のＮ倍（Ｎは２以上の整数）以下の符号量を設定し、前記ステップ（ａ）では、前記イントラ符号化データに対応する前記ピクチャに続く｛Ｎ−１｝枚のピクチャについては、前記所定処理のうちの少なくとも前記出力処理を行わない。

【0021】

また、第１０の態様に係る画像符号化方法は、上記の第９の態様に係る画像符号化方法であって、前記ステップ（ａ）では、前記イントラ符号化データについての前記所定処理を、前記許容時間よりも長く前記許容時間の前記Ｎ倍の時間以下の処理時間をかけて行う。

【0023】

また、第１１の態様に係る画像符号化方法は、上記の第９または第１０の態様に係る画像符号化方法であって、前記ステップ（ａ）では、前記｛Ｎ−１｝枚のピクチャについては、前記所定処理のうちで前記生成処理も行わない。

【0024】

また、第１２の態様に係る画像符号化方法は、（ａ）入力動画像を構成する各ピクチャの画像データに圧縮符号化を行ってピクチャごとにインター符号化データとイントラ符号化データとのうちのいずれか一方を生成する生成処理と、生成された符号化データを有線または無線の伝送路へ出力する出力処理とを含んだ所定処理を行うステップと、（ｂ）前記ステップ（ａ）に関して、前記インター符号化データと前記イントラ符号化データとのうちのいずれを生成させるかについての制御と、前記圧縮符号化によって生成される符号量の制御とを行うステップとを備え、前記ステップ（ａ）では、前記イントラ符号化データについての前記所定処理を、前記入力動画像のピクチャレートに基づいて１ピクチャ当たりに割り当てられる許容時間よりも長く前記許容時間のＮ倍（Ｎは２以上の整数）の時間以下の処理時間をかけて行い、前記イントラ符号化データに対応する前記ピクチャに続く｛Ｎ−１｝枚のピクチャについては、前記所定処理を行わない。

【0026】

また、第１３の態様に係る画像表示方法は、（ｃ）上記の第９ないし第１２のうちのいずれか１つの態様に係る画像符号化方法によって生成された前記符号化データを、前記有線または無線の伝送路を介して受信するステップと、（ｄ）前記ステップ（ｃ）で受信した前記符号化データに基づいて、前記圧縮符号化に対応する復号化を行うことによって復号化データを生成するステップと、（ｅ）前記ステップ（ｄ）によって順次生成される前記復号化データに基づいて表示装置に画像表示を行わせるステップとを備え、前記ステップ（ｅ）では、前記ステップ（ｄ）において前記イントラ符号化データについての前記復号化が終了するまで、当該イントラ符号化データの直前に受信した前記インター符号化データに対応するインター復号化データを繰り返し用いて前記画像表示を行う。
また、第１４の態様に係る画像表示方法は、（ａ）入力動画像を構成する各ピクチャの画像データに圧縮符号化を行ってピクチャごとにインター符号化データとイントラ符号化データとのうちのいずれか一方を生成する生成処理と、生成された符号化データを有線または無線の伝送路へ出力する出力処理とを含んだ所定処理を行うステップと、（ｂ）前記ステップ（ａ）に関して、前記インター符号化データと前記イントラ符号化データとのうちのいずれを生成させるかについての制御と、前記圧縮符号化によって生成される符号量の制御とを行うステップとを備え、前記ステップ（ｂ）では、前記ステップ（ａ）で前記インター符号化データを生成させる場合、前記伝送路の上限伝送レートと、前記入力動画像のピクチャレートに基づいて１ピクチャ当たりに割り当てられる許容時間との乗算値で与えられる最大符号量以下の符号量を設定し、前記ステップ（ａ）で前記イントラ符号化データを生成させる場合、前記最大符号量よりも多く前記最大符号量のＮ倍（Ｎは２以上の整数）以下の符号量を設定し、（ｃ）前記ステップ（ａ）で生成された前記符号化データを、前記有線または無線の伝送路を介して受信するステップと、（ｄ）前記ステップ（ｃ）で受信した前記符号化データに基づいて、前記圧縮符号化に対応する復号化を行うことによって復号化データを生成するステップと、（ｅ）前記ステップ（ｄ）によって順次生成される前記復号化データに基づいて表示装置に画像表示を行わせるステップとをさらに備え、前記ステップ（ｅ）では、前記ステップ（ｄ）において前記イントラ符号化データについての前記復号化が終了するまで、当該イントラ符号化データの直前に受信した前記インター符号化データに対応するインター復号化データを繰り返し用いて前記画像表示を行う。
また、第１５の態様に係る画像表示方法は、上記の第１４の態様に係る画像表示方法であって、前記ステップ（ａ）では、前記イントラ符号化データについての前記所定処理を、前記許容時間よりも長く前記許容時間の前記Ｎ倍の時間以下の処理時間をかけて行う。
また、第１６の態様に係る画像表示方法は、（ａ）入力動画像を構成する各ピクチャの画像データに圧縮符号化を行ってピクチャごとにインター符号化データとイントラ符号化データとのうちのいずれか一方を生成する生成処理と、生成された符号化データを有線または無線の伝送路へ出力する出力処理とを含んだ所定処理を行うステップと、（ｂ）前記ステップ（ａ）に関して、前記インター符号化データと前記イントラ符号化データとのうちのいずれを生成させるかについての制御と、前記圧縮符号化によって生成される符号量の制御とを行うステップとを備え、前記ステップ（ａ）では、前記イントラ符号化データについての前記所定処理を、前記入力動画像のピクチャレートに基づいて１ピクチャ当たりに割り当てられる許容時間よりも長く前記許容時間のＮ倍（Ｎは２以上の整数）の時間以下の処理時間をかけて行い、（ｃ）前記ステップ（ａ）で生成された前記符号化データを、前記有線または無線の伝送路を介して受信するステップと、（ｄ）前記ステップ（ｃ）で受信した前記符号化データに基づいて、前記圧縮符号化に対応する復号化を行うことによって復号化データを生成するステップと、（ｅ）前記ステップ（ｄ）によって順次生成される前記復号化データに基づいて表示装置に画像表示を行わせるステップとをさらに備え、前記ステップ（ｅ）では、前記ステップ（ｄ）において前記イントラ符号化データについての前記復号化が終了するまで、当該イントラ符号化データの直前に受信した前記インター符号化データに対応するインター復号化データを繰り返し用いて前記画像表示を行う。

【発明の効果】

【0027】

上記の第１、第６、第９および第１４の態様によれば、イントラ符号化データの符号量が、伝送路の伝送レートに基づいて規定される上記最大符号量よりも多く設定される。このため、イントラ符号化データの符号量が上記最大符号量以下に設定される場合に比べて、イントラ符号化データを復号化して得られるピクチャの画質を向上させることができる。さらには、その結果として、復号化された動画像全体の画質を向上させることができる。

【0028】

上記の第２、第７、第１０および第１５の態様によれば、イントラ符号化データを上記最大符号量を超える符号量で以て生成可能であり、かつ、そのように増量されたイントラ符号化データを伝送レートの制限に従いつつも伝送路へ出力完了可能な一形態を提供することができる。かかる一態様によれば、イントラ符号化データについての上記所定処理を１ピクチャ当たりの許容時間内で終了させる場合に比べて、圧縮符号化手段の処理負荷を低減することができる。また、処理負荷低減に伴って圧縮符号化手段に高性能な構成を採用する必要性が低くなるため、低コスト化、省電力化等を図ることができる。

【0029】

上記の第１および第９の態様によれば、上記｛Ｎ−１｝枚のピクチャは伝送路への出力について間引かれるため、伝送路へ出力されるデータ量（符号量）を抑制することができる。伝送レートの制限に鑑みれば、上記増量されたイントラ符号化データの出力完了のために、上記｛Ｎ−１｝枚のピクチャ分の許容時間も費やされる。したがって、上記｛Ｎ−１｝枚のピクチャの出力を間引かない場合には、伝送路へのデータ出力が順次遅延していき、さらにはイントラ符号化データの出力の度に遅延が累積していくことになる。これに対し、上記の第１および第９の態様によれば、そのような出力遅延および遅延累積を防止することができる。

【0030】

上記の第３および第１１の態様によれば、上記｛Ｎ−１｝枚のピクチャ分の処理量が削減される。これにより、省電力化等を図ることができる。

【0031】

上記の第４、第８、第１２および第１６の態様によれば、イントラ符号化データの符号量を、１ピクチャ当たりの許容時間内で生成・出力可能な最大符号量よりも、多くすることができる。このため、イントラ符号化データに上記許容時間しか割り当てない場合に比べて、イントラ符号化データを復号化して得られるピクチャの画質を向上させることができる。さらには、その結果として、復号化された動画像全体の画質を向上させることができる。

【0032】

また、上記の第４、第８、第１２および第１６の態様によれば、上記増量されたイントラ符号化データを上記許容時間内で生成させる場合に比べて、圧縮符号化手段の処理負荷を低減することができる。また、処理負荷低減に伴って圧縮符号化手段に高性能な構成を採用する必要性が低くなるため、低コスト化、省電力化等を図ることができる。

【0033】

上記の第４および第１２の態様によれば、上記｛Ｎ−１｝枚のピクチャは伝送路への出力について間引かれるため、伝送路へ出力されるデータ量（符号量）を抑制することができる。上記｛Ｎ−１｝枚のピクチャの出力を間引かない場合には、伝送路へのデータ出力が順次遅延していき、さらにはイントラ符号化データの出力の度に遅延が累積していくことになる。これに対し、上記の第４および第１２の態様によれば、そのような出力遅延および遅延累積を防止することができる。

【0034】

また、上記の第４および第１２の態様によれば、上記｛Ｎ−１｝枚のピクチャ分の処理量が削減される。これにより、省電力化等を図ることができる。

【0035】

上記の第６、第８、第１４および第１６の態様によれば、イントラ符号化データにはインター符号化データよりも長い復号化処理時間が必要になるところ、イントラ符号化データの復号化が終了するまでの間は直前のインター符号化データを復号化した画像が繰り返し表示される。このため、復号化した動画像において画像の欠損（例えば全面黒表示の画像が割り込む等）が生じないようにすることができる。画像欠損の防止、さらには画像欠損に起因した表示不具合（例えば画像欠損の存在により画像がちらつく等）の防止により、動画像の画質を向上させることができる。

【図面の簡単な説明】

【0036】

【図1】本発明の実施の形態に係る画像符号化復号化システムを概説するブロック図である。

【図2】動画像の構成を概説する図である。

【図3】実施の形態に係る画像符号化装置を概説するブロック図である。

【図4】実施の形態に係る画像符号化装置を概説するブロック図である。

【図5】実施の形態に係る画像復号化装置を概説するブロック図である（ダブルバッファ構成）。

【図6】実施の形態に係る画像復号化装置に関し、ダブルバッファ構成における記憶領域の管理を概説する図である。

【図7】実施の形態に係る画像符号化復号化システムの動作を概説する図である。

【図8】従来の圧縮符号化を概説する図である。

【図9】実施の形態に係る圧縮符号化を概説する図である。

【図10】実施の形態に係る画像符号化復号化システムの動作を概説する図である。

【図11】実施の形態に係る画像符号化復号化システムの動作を概説する図である。

【図12】変形例に係る画像復号化装置を概説するブロック図である（シングルバッファ構成）。

【図13】変形例に係る画像復号化装置に関し、シングルバッファ構成における記憶領域の管理を概説する図である。

【図14】変形例に係る画像符号化装置を概説するブロック図である。

【発明を実施するための形態】

【0037】

＜画像符号化復号化システム１２＞
図１に、本発明の実施の形態に係る画像符号化復号化システム１２を概説するブロック図を示す。図１の例によれば、画像符号化復号化システム１２は、画像符号化装置１４と、画像復号化装置１６とを含んでいる。なお、説明を分かりやすくするため、図１には表示装置１８を併記している。

【0038】

なお、以下では「画像符号化復号化システム」、「画像符号化装置」および「画像復号化装置」を、「システム」、「符号化装置」および「復号化装置」とそれぞれ略称する場合もある。

【0039】

符号化装置１４は、動画像の画像データ２２を入力として取得し、当該画像データ２２を所定の符号化方式に従って符号化することにより符号化データ２４を生成し、当該符号化データ２４を出力する。入力画像データ２２（換言すれば原画像データ２２）は、例えば、不図示の動画像供給源から供給される。

【0040】

復号化装置１６は、符号化装置１４と有線または無線による通信が可能に構成されており、符号化装置１４から符号化データ２４を取得する。復号化装置１６は、取得した符号化データ２４を所定の復号化方式に従って復号化することにより復号化データ２６を生成し、当該復号化データ２６を出力する。

【0041】

復号化装置１６における上記所定の復号化方式は、符号化装置１４における上記所定の符号化方式に対応するものである。換言すれば、両方式は同じまたは互換性のある符号化復号化方式に準拠している。符号化復号化方式として、例えば、Ｈ．２６４、ＭＰＥＧ−２、ＭＰＥＧ−４等が挙げられる。

【0042】

表示装置１８は、復号化装置１６と有線または無線による通信が可能に構成されており、復号化装置１６から復号化データ２６を取得する。表示装置１８は、取得した復号化データに従って動画像の表示を行う。

【0043】

なお、表示装置１８は、復号化装置１６と同じ筐体に収容された形態を採ってもよいし、あるいは、復号化装置１６とは別の筐体に収容された形態を採ってもよい。

【0044】

ここで、符号化装置１４で符号化される動画像について、図２を参照して概説する。図２に模式的に示すように、符号化の対象となる動画像３０は、時系列に連続する複数のピクチャ（ピクチャ画像とも称される）３２で構成されている。なお、図２の例では、左端のピクチャ３２が先頭のピクチャ３２、すなわち第１番目のピクチャ３２である。かかる動画像構成の下、各ピクチャ３２の画像データが上記の画像データ２２にあたる。このため、符号化装置１４には、各ピクチャ３２の画像データ２２が順次入力される。

【0045】

ここでは、ピクチャ３２が、ノン・インターレース方式（プログレッシブ方式とも称される）におけるフレーム（フレーム画像とも称される）である場合を例示する。この場合、画像データ２２は、例えば所定のフレームレートで以て、換言すれば所定長さの時間間隔で以て、符号化装置１４へ入力される。

【0046】

但し、ピクチャ３２として、インターレース方式におけるフィールド（フィールド画像とも称される）を採用することも可能である。あるいは、インターレース方式であっても、２枚のフィールドから構成されたフレームをピクチャ３２として採用することも可能である。

【0047】

＜画像符号化装置１４＞
図３に、符号化装置１４を概説するブロック図を示す。図３に例示の符号化装置１４は、圧縮符号化手段１００と、制御手段２００とを含んでいる。なお、図３では「圧縮符号化手段」および「制御手段」を「圧縮符号化」および「制御」とそれぞれと略称している。かかる表記方法は後述の図面においても用いることにする。

【0048】

圧縮符号化手段１００は、ピクチャごとに、原画像データ２２を入力として取得し、当該原画像データ２２を圧縮符号化することにより符号化データ２４を生成する（生成処理）。そして、圧縮符号化手段１００は、生成した符号化データ２４を、有線または無線の伝送路へ出力する（出力処理）。ここでは、圧縮符号化がＨ．２６４に準拠する場合を例示する。かかる例の場合、ピクチャ３２ごとに、符号化データ２４として、インター符号化によって生成されたデータ（以下、インター符号化データとも称する）とイントラ符号化によって生成されたデータ（以下、イントラ符号化データとも称する）とのうちのいずれか一方が出力される。

【0049】

ここで、イントラ符号化データは、他のピクチャ３２（図２参照）とは無関係に、符号化の対象となるピクチャ３２の画像データ２２を符号化したデータである。このため、イントラ符号化データは、それ単独で復号化可能である。イントラ符号化データは、イントラ符号化ピクチャ、Ｉピクチャ等とも称される。

【0050】

イントラ符号化では、ピクチャ３２を複数のブロック（またはマクロブロック）に分割し、ブロック間の相関性を利用したイントラ予測が行われる場合がある。但し、イントラ符号化データとは、イントラ予測の実行／不実行とは無関係に、他のピクチャに依拠することなく符号化されたデータを言うものとする。

【0051】

インター符号化データは、他のピクチャ３２（またはそれの予測ピクチャ）との相関性を利用したインター予測が行われ、その予測結果を符号化したデータである。このため、インター符号化データは、インター予測時に参照したピクチャ（参照ピクチャ、参照画面等と称される）のデータを利用しなければ復号化することができない。インター符号化データはインター符号化ピクチャとも称され、インター符号化ピクチャには前方のピクチャに基づいて予測されたＰピクチャと、前方および後方のピクチャに基づいて予測されたＢピクチャとの２種類がある。

【0052】

制御手段２００は、圧縮符号化手段１００に対し、インター符号化データとイントラ符号化データとのうちのいずれを出力させるかについての選択制御を行う。例えば、制御手段２００は、インター符号化データとイントラ符号化データとのうちのいずれを生成させるかについての指示または要求に関する信号２５０を取得し、当該信号２５０の内容に対応する制御信号２６２を生成し圧縮符号化手段１００へ出力する。これにより、圧縮符号化手段１００は、制御信号２６２に従って、インター符号化データとイントラ符号化データとのうちのいずれかを生成し出力する。

【0053】

ここでは、信号２５０はイントラ符号化データの生成を要求する信号であり、制御信号２６２が圧縮符号化手段１００にイントラ符号化データを生成させる旨の信号である場合を例示する。かかる例の場合、制御手段２００は、イントラ符号化データの生成要求信号２５０を取得することによって、イントラ符号化データの生成指示信号２６２を圧縮符号化手段２００へ出力する。但し、信号２５０，２６２は、例えば、イントラ符号化データとインター符号化データとのいずれに対する生成要求であるかを区別する情報を含んだ信号であってもよい。

【0054】

なお、図３では制御信号２５０が制御手段２００の外部から供給される場合を例示しているが、後に例示するように制御信号２５０は制御手段２００の内部で生成される信号であっても構わない。

【0055】

制御手段２００は、また、圧縮符号化手段１００に対し、圧縮符号化によって生成される符号量（あるいは単位時間当たりに生成する符号量（いわゆる符号生成レート））の制御を行う。例えば、制御手段２００は、上記のイントラ符号化データ要求信号２５０を取得することによって、符号量制御信号２６４を生成し、圧縮符号化手段１００へ出力する。これにより、圧縮符号化手段１００は、制御信号２６４に従って符号量を設定する。

【0056】

ここでは、符号量は、イントラ符号化データの生成とインター符号化データの生成のいずれにおいても、制御信号２６４によって制御される場合を例示する。

【0057】

図４に、符号化装置１４のより具体的な構成例を概説するブロック図を示す。ここではＨ．２６４に準拠した構成を例示しているが、図示の構成例に限定されるものではない。

【0058】

図４に例示の圧縮符号化手段１００は、イントラ予測手段１０２と、インター予測手段１０４と、イントラ／インター選択手段１０６と、変換手段１０８と、量子化手段１１０と、符号化手段１１２と、局所復号手段１１４と、参照画像メモリ１１６とを含んでいる。また、図４に例示の制御手段２００は、画像解析手段２０２と、選択制御手段２１２と、符号化制御手段２１４とを含んでいる。

【0059】

イントラ予測手段１０２は、原画像データ２２を入力として取得し、当該画像データ２２についてイントラ予測を行うことによりイントラ予測データ（イントラ予測ピクチャとも称される）１５２を生成し、当該予測データ１５２を出力する。なお、イントラ予測は周知の手法であるため、ここではその詳述は省略する。

【0060】

インター予測手段１０４は、原画像データ２２と、参照画像メモリ１１６に格納されているデータ１６４（後述する）とを入力として取得する。そして、インター予測手段１０４は、これらのデータ２２，１６４に基づいてインター予測を行うことにより、入力原画像データ２２に関するインター予測データ（インター予測ピクチャとも称される）１５４を生成し、当該予測データ１５４を出力する。なお、インター予測は周知の手法であるため、ここではその詳述は省略する。

【0061】

イントラ／インター選択手段１０６は、イントラ予測データ１５２と、インター予測データ１５４と、制御手段２００の選択制御手段２１２から出力される制御信号２６２とを入力として取得し、制御信号２６２による選択指示に従って両予測データ１５２，１５４のうちのいずれか一方を選択し、選択した予測データ１５６を出力する。

【0062】

変換手段１０８は、イントラ／インター選択手段１０６から出力された予測データ１５６を入力として取得し、当該予測データ１５６に所定の変換を施し、変換済みデータ１５８を出力する。上記所定の変換として、いわゆる離散コサイン変換（ＤＣＴ）が例示される。かかる例示によれば、予測データ１５６は周波数領域のＤＣＴ係数１５８へ直交変換される。

【0063】

量子化手段１１０は、ＤＣＴ係数１５８と、制御手段２００の符号化制御手段２１４から出力される制御信号２６４とを入力として取得する。そして、量子化手段１１０は、制御信号２６４の内容に従ってＤＣＴ係数１５８に対して量子化を行うことによりＤＣＴ係数１５８を量子化係数１６０へ変換し、得られた量子化係数１６０を出力する。かかる量子化は、例えば、ＤＣＴ係数１５８を量子化ステップで除算し、除算結果を整数値に丸めることにより行われる。なお、量子化については、符号化制御手段２１４の説明において、さらに説明する。

【0064】

符号化手段１１２は、量子化係数１６０を入力として取得し、当該係数１６０に対し所定の符号化を行うことにより符号化データ２４を生成し、当該データ２４を出力する。上記所定の符号化として、例えば、ハフマン符号化や算術符号化等の可変長符号化を採用可能である。なお、符号化データ２４の出力は、１つのピクチャ全体の符号化が終了してから行ってもよいし、あるいは、１つのピクチャについて部分的に（例えばスライス単位で）順次行ってもよい。

【0065】

ここで、符号化データ２４に関し、必要に応じて、イントラ符号化データには参照符号“２４ｔｒａ”を用い、インター符号化データには参照符号“２４ｔｅｒ”を用いることにする。

【0066】

符号化手段１１２は、また、生成した符号化データ２４のデータ量（換言すれば符号発生量）の情報１６２を適宜、符号化制御手段２１４へ出力する。

【0067】

局所復号手段１１４は、量子化手段１１０から出力される量子化係数１６０を入力として取得する。そして、局所復号手段１１４は、量子化係数１６０に対して、量子化手段１１０における量子化とは逆の処理（逆量子化と称される）と、変換手段１０８における離散コサイン変換とは逆の処理（逆離散コサイン変換、逆ＤＣＴ等と称される）とを順次行う。これにより、再構成された予測データ１６４が生成され、局所復号手段１１４から出力される。なお、局所復号手段１１４において、逆ＤＣＴによる演算結果に対し、例えば、イントラ補償、動き補償等を行ってもよい。

【0068】

参照画像メモリ１１６は、局所復号手段１１４から出力される再構成された予測データ１６４を記憶する手段である。当該メモリ１１６に格納された予測データ１６４は、インター予測手段１０４がインター予測をする際に参照画像として利用される。

【0069】

画像解析手段２０２は、原画像データ２２を入力として取得し、当該データ２２に基づいて動画像３０（図２参照）中のシーンチェンジ（すなわち場面転換）を検出し、その検出結果の信号２５２を出力する。

【0070】

シーンチェンジの検出は、例えば、連続する２つのピクチャ３２の画像データ２２を比較することにより可能である。より具体的には、両画像データ２２の差分値、平均値等が所定の閾値よりも大きい場合には、シーンチェンジが発生したと判定することが可能である。逆に、上記差分値等が上記閾値以下の場合にはシーンチェンジが発生していないと判定することが可能である。

【0071】

シーンチェンジが発生した場合、シーンチェンジ直後のピクチャ３２（図２参照）はイントラ符号化データ２４ｔｒａとして符号化される必要がある。かかる点に鑑みると、シーンチェンジ検出信号２５２は、圧縮符号化手段１００にイントラ符号化データ２４ｔｒａの生成を要求する信号２５０（図３参照）の一例である。なお、かかる要求信号２５０が、図３の図示とは異なり、制御手段２００の内部で生成されても良いことは既述の通りである。

【0072】

ここで、制御手段２００の外部からイントラ符号化データ要求信号２５０が入力される一例として、例えば、不図示の動画像供給源が、原画像データ２２とともに、シーンチェンジを通知する信号２５４を制御手段２００へ供給する場合が挙げられる。例えば、動画像供給源は、ピクチャ３２の描画情報とともに、そのピクチャ３２がシーンチェンジの位置に当たるか否かについての情報を通知信号２５４として出力するように構成可能である。あるいは、例えば、動画像供給源が画像解析手段２０２と同様の手段を有することにより、シーンチェンジ通知信号２５４を発信可である。

【0073】

なお、図４では、イントラ符号化データ要求信号２５０（図３参照）の具体例である上記信号２５２，２５４の両方を、制御手段２００が取得する場合を例示している。これに対し、上記信号２５２，２５４のいずれか一方のみを取得する構成を採用しても構わない。

【0074】

また、イントラ符号化データ２４ｔｒａの生成は、例えば、符号化装置１４と復号化装置１６（図１参照）との間で通信エラーが発生した場合にも、エラーリカバリーのために要求される。この場合、復号化装置１６から発信される要求信号２５６が、制御手段２００の外部から与えられるイントラ符号化データ要求信号２５０の一例に当たる。

【0075】

図４の例では、イントラ符号化データ要求信号２５２，２５４，２５６は、選択制御手段２１２へ入力される。

【0076】

選択制御手段２１２は、例えばレジスタを利用して構成可能である。より具体的には、例えば、当該レジスタの状態“０”をイントラ符号化データ２４ｔｒａの生成を要求する場合に対応させ、当該レジスタの状態“１”をインター符号化データ２４ｔｅｒの生成を要求する場合に対応させる。この場合、イントラ符号化データ要求信号２５２，２５４，２５６のうちの少なくとも１つが入力されることによって、レジスタは“０”に設定される。その後、イントラ符号化を行うべき画像データ２２の入力が確認された後、レジスタは“１”に設定される。選択制御手段２１２は、レジスタのかかる状態に応じて、イントラ符号化データを生成させる旨の制御信号２６２を出力することが可能である。

【0077】

ところで、動画像３０の第１番目のピクチャ３２もイントラ符号化データ２４ｔｒａに変換される必要がある。第１番目のピクチャ３２の検出は、例えば、符号化装置１４の電源投入を検出することにより可能である。例えば、上記レジスタを、符号化装置１４の電源投入に伴って“０”にリセットされるように構成することにより、電源投入後に最初に入力される画像データ２２に対してイントラ符号化を要求することが可能である。第１番目のピクチャ３２の画像データ２２の入力が確認された後、レジスタは“１”に設定される。この場合、電源投入により供給される電力が、制御手段２００の内部で生成されるイントラ符号化データ要求信号２５０の一例に当たる。

【0078】

なお、イントラ符号化データ要求信号２５０の上記各種態様で１つのレジスタを共有してもよいし、あるいは、上記各種態様ごとにレジスタを設けてもよい。

【0079】

選択制御手段２１２から出力されるイントラ符号化指示信号２６２は、イントラ／インター選択手段１０６と符号化制御手段２１４に入力される。

【0080】

イントラ／インター選択手段１０６は、イントラ符号化指示信号２６２の受信によりイントラ予測データ１５２を出力し、イントラ符号化指示信号２６２の不受信によりインター予測データ１５４を出力する。

【0081】

符号化制御手段２１４は、イントラ符号化指示信号２６２の受信により、イントラ符号化データ２４ｔｒａの生成に関連した制御信号２６４を量子化手段１１０へ出力する。これに対し、符号化制御手段２１４は、イントラ符号化指示信号２６２の不受信により、インター符号化データ２４ｔｅｒの生成に関連した制御信号２６４を量子化手段１１０へ出力する。

【0082】

ここで、制御信号２６４は、量子化手段２１０で用いられる上記量子化ステップとの間に予め規定された関係を有する量子化パラメータの情報を含んでいる。このため、量子化手段１１０は、制御信号２６４に含まれる量子化パラメータから、上記予め規定された関係に従って量子化ステップを導出し、得られた量子化ステップを用いて量子化を行う。

【0083】

これに鑑みると、符号化制御手段２１４は、制御信号２６４に含まれる量子化パラメータを介して、量子化ステップを制御可能である。なお、図４の構成例では、符号化制御手段２１４は、符号化手段１１２から過去の符号発生量の情報１６２を取得するため、かかる過去の符号発生量を参照して量子化パラメータ、すなわち量子化ステップを設定可能である。但し、過去の符号発生量とは無関係に量子化パラメータ、すなわち量子化ステップを設定することも可能である。

【0084】

上記の予め規定された関係に関し、例えばＭＰＥＧ−２では量子化パラメータは量子化ステップと比例関係を有し、また、例えばＨ．２６４では量子化パラメータは量子化ステップの対数と比例関係を有している。概して言うならば、量子化パラメータの増大に伴って、量子化ステップも増大する。

【0085】

量子化ステップは量子化の粗さ（換言すれば細かさ）を示す指標あるいは指標値である。このため、量子化ステップが小さいほど、換言すれば量子化パラメータが小さいほど、画質の劣化は抑えられるが、符号化手段１１２において生成される符号量（換言すればデータ量）は多くなる。つまり、量子化ステップおよび量子化パラメータが小さいほど、圧縮率は小さくなる。

【0086】

これに鑑みると、符号化制御手段２１４は、制御信号２６４によって、より具体的には当該制御信号２６４に含まれる量子化パラメータによって、圧縮符号化手段１００で生成する符号の量を制御可能である。符号量制御の具体例については後述する。

【0087】

＜画像復号化装置１６＞
図５に、復号化装置１６を概説するブロック図を示す。なお、図５には表示装置１８を併記している。図５に例示の復号化装置１６は、復号化手段４００と、バッファ４０２，４０４と、表示装置向け出力手段４０６とを含んでいる。

【0088】

復号化手段４００は、符号化装置１４（図１参照）から送信された符号化データ２４を入力として取得する。そして、復号化手段４００は、取得した符号化データ２４を、圧縮符号化手段１００（図４参照）における符号化方式に対応した復号化方式に従って復号化することにより、復号化データ２６を生成し、当該復号化データ２６を出力する。

【0089】

ここで、必要に応じて、イントラ符号化データ２４ｔｒａを復号化して得られる復号化データ２６をイントラ復号化データ２６ｔｒａと称し、インター符号化データ２４ｔｅｒを復号化して得られる復号化データ２６をインター復号化データ２６ｔｅｒと称することにする。

【0090】

復号化手段４００は、生成した復号化データ２６（イントラ復号化データ２６ｔｒａまたはインター復号化データ２６ｔｅｒ）を２つのバッファ４０２，４０４のうちのいずれか一方へ出力する。この際、復号化手段４００は、格納先のバッファとしてバッファ４０２，４０４を交互に用いる。例えば、一方のバッファ４０２は奇数番目に復号化したデータ２６のために用いられ、他方のバッファ４０４は偶数番目に復号化したデータ２６のために用いられる。かかるダブルバッファ構成によれば、出力手段４０６によって読み出されていないデータ２６が上書きされ消失してしまうのを容易に防止することができる（図６の模式図を参照）。

【0091】

復号化手段４００は、また、イントラ符号化データ２４ｔｒａの復号化に伴って、その旨を示す通知信号４５０を出力手段４０６へ出力する。なお、符号化データ２４には、そのデータ２４がイントラ符号化データ２４ｔｒａであるか、インター符号化データ２４ｔｅｒであるかの区別を示す情報が付加されているため、復号化手段４００はその区別をすることが可能である。

【0092】

上記通知信号４５０は、例えば、イントラ符号化データ２４ｔｒａの復号化の実行中継続される信号形態を採用してもよいし、あるいは、復号化の開始時および終了時に発信される信号形態を採用してもよい。

【0093】

出力手段４０６は、復号化装置１６と表示装置１８とを繋ぐインターフェースである。出力手段４０６は、基本的には、バッファ４０４，４０６を交互に選定し、選定したバッファから、格納されている復号化データ２６（イントラ復号化データ２６ｔｒａまたはインター復号化データ２６ｔｅｒ）を読み出す。

【0094】

但し、出力手段４０６は、イントラ符号化データ２４ｔｒａに対する復号化が終了するまでは、イントラ復号化データ２６ｔｒａが格納されつつあるバッファとは反対のバッファから、復号化データ２６を繰り返し読み出す。この場合、復号化中のイントラ符号化データ２４ｔｒａの直前に受信されたインター符号化データ２４ｔｅｒに対応するインター復号化データ２６が繰り返し読み出される。出力手段４０６は、イントラ符号化データ２４ｔｒａに対する復号化が行われているか否かを、上記通知信号４５０によって判別可能である。

【0095】

出力手段４０６は、バッファ４０２，４０４から順次読み出した復号化データ２６を、表示装置１８へ順次出力する。

【0096】

＜システム１２の動作＞
図７に、システム１２の動作を概説する模式図を示す。図７では、下方向に動作シーケンスの流れを採り、右方向に時間経過を採っている。図７では、説明を分かりやすくするために、処理対象となる原ピクチャ３２およびこれに対応する各種データを、四角形を斜視した図形で模式的に図示している。但し、かかる形状は画像の形状を表すものではない。なお、当該四角形の面積によって、そのピクチャ３２等のデータ量の概略を表現している。但し、原画像データ２２と符号化データ２４と復号化データ２６との三者間において当該面積が等しいことは必ずしもデータ量が同じであることを意味するものではない。また、上記四角形の横寸法によって、そのピクチャ３２等に関する各種時間長さの概略を表現している。

【0097】

また、図７には、第｛ｍ−２｝番目から第｛ｍ＋３｝番目の入力ピクチャ３２に対する処理状況を例示しており、上記四角形内にその順番を記入している。すなわち、上記四角形内の文字は画像ではない。かかる例示において、第ｍ番目のピクチャ３２（分かりやすくするために図面では太線で図示している）に対してイントラ符号化等が施され、残余のピクチャ３２に対してインター符号化等が施される場合を説明する。ここではｍは４以上の整数とし、第｛ｍ−２｝番目のピクチャ３２が第１番目の（すなわち先頭の）ピクチャ３２ではないものとする。但し、第ｍ番目のピクチャ３２が第１番目のピクチャである場合については、以下の説明から容易に把握可能である。

【0098】

＜符号化装置１４への画像データ２２の入力＞
図７の最上段に例示するように、第｛ｍ−２｝番目から第｛ｍ＋３｝番目のピクチャ３２の画像データ２２が、この順序で、かつ、所定時間Ｔごとに、符号化装置１４へ入力される。すなわち、図７の図示範囲における最初の時間Ｔ内に第｛ｍ−２｝番目のピクチャ３２の画像データ２２が入力され、続く時間Ｔ内に第｛ｍ−１｝番目のピクチャ３２の画像データ２２が入力され、以下、同様に画像データ２２の入力が順次行われる。

【0099】

上記所定時間Ｔは１枚のピクチャ３２に対して予め割り当てられた時間であり、ここでは１フレーム期間に相当する。例えば３０フレーム／秒のフレームレートの場合、上記時間Ｔの長さは１／３０秒である。

【0100】

＜圧縮符号化＞
符号化装置１４は、上記のように、入力画像データ２２のそれぞれに対して圧縮符号化を行って符号化データ２４を生成する。図７では画像データ２２の入力に対して遅延無く、圧縮符号化が開始される場合を例示しているが、かかる例に限定されるものではない。

【0101】

ここで、各画像データ２２は上記時間Ｔの間隔で順次入力されるため、圧縮符号化手段１００による処理（符号化データ２４の生成および出力が含まれる）に許容される、１ピクチャ当たりの時間は、基本的には、上記時間Ｔである。

【0102】

特に符号化装置１４では、符号化制御手段２１４（図４参照）が次の符号量制御を行う。

【0103】

すなわち、圧縮符号化手段１００にインター符号化データ２４ｔｅｒを生成させる場合、符号化制御手段２１４は、符号化データ２４を復号化装置１６へ送信するための有線または無線の伝送路の伝送レートに応じて決まる最大符号量（伝送路の上限伝送レートと、上記許容時間Ｔとの乗算値で算出される）以下の符号量を設定する。他方、圧縮符号化手段１００にイントラ符号化データ２４ｔｒａを生成させる場合、符号化制御手段２１４は、上記最大符号量よりも多く、かつ、上記最大符号量のＮ倍（Ｎは２以上の整数）以下の符号量を設定する。ここでは、Ｎの値は予め設定されるものとする。

【0104】

図７の第２段目の例示では、インター符号化データ２４ｔｅｒとイントラ符号化データ２４ｔｒａとの符号量（データ量）の相違を、これらのデータ２４ｔｅｒ，２４ｔｒａを表す四角形の面積の相違によって表現している。なお、インター符号化データ２４ｔｅｒの全てを同じ面積によって図示しているが、これは単に図面の煩雑化を避けるために簡略化した図示に過ぎない。また、図７の第２段目の例示では、符号化データ２４を表す四角形の横寸法は、その符号化データ２４の生成時間の概略を表している。

【0105】

上記符号量制御によれば、インター符号化データ２４ｔｅｒは、１ピクチャ当たりの許容時間Ｔ内に出力を完了可能である。他方、上記最大符号量よりも増量されたイントラ符号化データ２４ｔｒａは、伝送レートの制限から、許容時間Ｔ内に出力を完了させることはできない。このため、イントラ符号化データ２４ｔｒａの生成・出力に対しては、許容時間ＴのＮ倍の処理時間Ｔｔｒａが割り当てられる。図７ではＮ＝２の場合、すなわちＴｔｒａ＝Ｔ×２の場合が例示されている。

【0106】

ここで、図７の第２段目には、イントラ符号化データ２４ｔｒａの生成自体は許容時間Ｔ内に完了可能であるが、生成された符号化データ２４ｔｒａの出力が伝送レートの制限を受ける結果、イントラ符号化データ２４ｔｒａに関する処理全体に｛Ｔ×２｝の処理時間がかかる場合を例示している。

【0107】

この例の場合、第ｍ番目のピクチャ３２に対応するイントラ符号化データ２４ｔｒａを伝送路へ出力中に、次の第｛ｍ＋１｝番目のピクチャ３２の画像データ２２が圧縮符号化手段１００へ供給される。しかし、圧縮符号化手段１００は、第｛ｍ＋１｝番目の入力画像データ２２に対しては符号化データ２４の生成および出力は行わず、次の第｛ｍ＋２｝番目の入力画像データ２２から符号化データ２４の生成および出力を再開する。すなわち、第｛ｍ＋１｝番目の入力画像データ２２は、符号化データ２４の生成および出力について間引きされる。

【0108】

また、例えば上記Ｎ＝３の場合であれば、第｛ｍ＋１｝番目および第｛ｍ＋２｝番目のピクチャ３２が間引きされる。

【0109】

つまり、符号化データ２４の生成および出力は、イントラ符号化データ２４ｔｒａに対応するピクチャ３２に続く｛Ｎ−１｝枚のピクチャ３２については行われず、当該｛Ｎ−１｝枚のピクチャ３２の次のピクチャ３２から再開される。

【0110】

後続の画像データ２２に対する処理不実行は、例えば、イントラ／インター選択手段１０６が、上記Ｎの値を予め取得し、間引く枚数｛Ｎ−１｝をカウントし、当該カウント中はイントラ予測データ１５２とインター予測データ１５４のいずれも出力しないことによって実現可能である。

【0111】

あるいは、例えば符号化手段１１２が、イントラ／インター選択手段１０６の上記出力制限およびその解除を行ってもよい。

【0112】

あるいは、例えば、符号化手段１１２や制御手段２００等が、符号化手段１１２または圧縮符号化手段１００に対するデータの入力制限およびその解除を行ってもよい。

【0113】

＜復号化装置１６への符号化データ２４の入力＞
符号化装置１４から順次送信される符号化データ２４は、復号化装置１６によって順次受信される。なお、図７の第３段目に図示されるように、復号化装置１６が受信する符号化データ２４には、符号化装置１４において間引かれた第｛ｍ＋１｝番目のピクチャ３２に対応するインター符号化データ２４ｔｅｒは含まれていない。

【0114】

また、図７の第３段目の例示において符号化データ２４を表す四角形の面積は、第２段目と同様に、符号量（データ量）の概略を表している。また、図７の第３段目の例示では、符号化データ２４を表す四角形の横寸法は、その符号化データ２４の受信時間の概略を表している。

【0115】

符号化装置１４における上記符号量制御と装置１４，１６間の伝送レートとによれば、図７の第３段目に図示されるように、符号化データ２４ｔｅｒ，２４ｔｒａはそれぞれ所定時間Ｔ，Ｔｔｒａ内に受信を完了可能である。特に増量されたイントラ符号化データ２４ｔｒａの受信は、伝送路の伝送レートの制限を受ける結果、許容時間Ｔよりも長い時間Ｔｔｒａがかかる。

【0116】

なお、図７には、圧縮符号化の開始から（ここでは符号化装置１４へ画像データ２２が入力された時点から）符号化データ２４が復号化装置１６へ到達するまでの遅延時間Ｄを例示している。かかる遅延時間Ｄには、符号化データ２４の生成および出力に費やされる処理時間と、装置１４，１６間の伝送に費やされる伝送時間とが含まれる。

【0117】

＜復号化＞
復号化装置１６は、上記のように、入力された符号化データ２４に対して復号化を行って復号化データ２６を生成する。図７では符号化データ２４の入力に対して遅延無く、復号化が開始される場合を例示しているが、かかる例に限定されるものではない。

【0118】

また、図７の第４段目の例示において符号化データ２４を表す四角形の面積は、第２段目および第３段目と同様に、符号量（データ量）の概略を表している。また、図７の第４段目の例示では、符号化データ２４を表す四角形の横寸法は、その符号化データ２４の復号化に要する処理時間の概略を表している。

【0119】

図７の第４段目に図示されるように、符号化データ２４ｔｅｒ，２４ｔｒａの復号化はそれぞれ所定時間Ｔ，Ｔｔｒａ内に完了可能である。特に増量されたイントラ符号化データ２４ｔｒａに関しては、その受信自体に許容時間Ｔよりも長い時間がかかるため、復号化も許容時間Ｔよりも長い時間がかかる。

【0120】

＜表示装置１８への復号化データ２６の出力＞
復号化装置１６は、上記のように、復号化データ２６を順次、表示装置１８へ出力する。これにより、各復号化データ２６に基づく画像が連続的に表示装置１８に表示され、復号化された動画像が得られる。なお、図７には復号化開始から復号化データ２６が出力されるまでの間に処理時間Ｔと同じ長さの遅延がある場合を例示しているが、かかる例に限定されるものではない。

【0121】

ここで、イントラ符号化データ２４ｔｒａの復号化処理時間Ｔｔｒａは、インター符号化データ２４ｔｅｒの復号化処理時間Ｔよりも長い。このため、第｛ｍ−１｝番目のピクチャ３２に対応するインター復号化データ２６ｔｅｒの出力後に、第ｍ番目のピクチャ３２に対応するイントラ復号化データ２６ｔｒａの復号化が終了していない場合が生じうる。

【0122】

かかる点に鑑み、復号化装置１６の出力手段４０６は、図７の最下段に図示されるように、イントラ復号化データ２６ｔｒａの直前のインター復号化データ２６ｔｅｒ、すなわち第｛ｍ−１｝番目のピクチャ３２に対応する復号化データ２６ｔｅｒを再度出力する。これにより、第｛ｍ−１｝番目のピクチャ３２に対応する復号化データ２６ｔｅｒが再度表示される。

【0123】

例えばＴｔｒａ＝Ｔ×３の場合、復号化装置１６は、第｛ｍ−１｝番目のピクチャ３２に対応する復号化データ２６ｔｅｒを合計３回連続して出力する。

【0124】

つまり、イントラ符号化データ２４ｔｒａについての復号化が終了するまで、当該イントラ符号化データ２４ｔｒａの直前に受信したインター符号化データ２４ｔｅｒに対応するインター復号化データ２６ｔｅｒが繰り返し、表示装置１８へ出力される。

【0125】

なお、同じ復号化データ２６ｔｅｒの繰り返し表示は、人の目に静止画像として認識されない時間を限度にするのが好ましい。これは、同じ画像（絵柄）が所定時間を超えて継続すると、人の目には静止画として認識されやすくなり、その結果、動画像としての画質低下に繋がる場合があるからである。当該所定時間は、個人差はあるが、約０．１秒が目安になる。換言すれば、例えば、入力動画像のフレームレートが３０フレーム／秒である場合、上記Ｎ（Ｎは２以上の整数）の値として２または３が選定されることが好ましい。

【0126】

符号化装置１４、復号化装置１６、システム１２およびこれらに採用されている上記各種手法によれば、次の効果を得ることができる。

【0127】

まず、イントラ符号化データ２４ｔｒａの符号量が、伝送路の伝送レートに基づいて規定される上記最大符号量よりも多く設定される。このため、イントラ符号化データ２４ｔｒａの符号量が、インター符号化データ２４ｔｅｒと同様に上記最大符号量以下に設定される場合に比べて、イントラ符号化データを復号化して得られるピクチャの画質を向上させることができる。さらには、その結果として、復号化された動画像全体の画質を向上させることができる。

【0128】

ここで、図８の模式図に示すように、従来の圧縮符号化ではインター符号化データとイントラ符号化データとのいずれについても、生成される符号量が、伝送レートに応じて決まる最大符号量以下になるように、量子化パラメータが制御されていた。

【0129】

これに対し、符号化装置１４では、図９の模式図に示すように、イントラ符号化データについては、上記最大符号量を超える符号量が許容される。但し、伝送レートによる出力制限を受けるため、伝送路への出力完了にはインター符号化データよりも時間がかかる。

【0130】

なお、図８および図９にはインター符号化の符号量が変動している場合を例示している。一般に発生符号量は絵柄（画像の内容）にも依存するため、符号量を一定化するのは非常に困難である。従ってここで例示したのは、通信帯域による符号量の上限以下でできるだけ高画質、すなわち高符号量を狙って符号化した結果の一例である。

【0131】

また、イントラ符号化データ２４ｔｒａに対応するピクチャ３２に続く｛Ｎ−１｝枚のピクチャ３２については、符号化データ２４の生成および出力が間引かれるため、伝送路へ出力されるデータ量（符号量）を抑制することができる。伝送レートによる制限に鑑みれば、上記増量されたイントラ符号化データ２４ｔｒａの出力完了のためには、上記｛Ｎ−１｝枚のピクチャ分の許容時間Ｔも費やされる。したがって、上記｛Ｎ−１｝枚のピクチャ３２を間引かない場合には、伝送路へのデータ出力が順次遅延していき、さらにはイントラ符号化データ２４ｔｒａの出力の度に遅延が累積していくことになる。これに対し、上記の間引き手法によれば、そのような出力遅延および遅延累積を防止することができる。

【0132】

ところで、図７の第２段目には、上記のように、イントラ符号化データ２４ｔｒａの生成自体は許容時間Ｔ内に完了可能である態様を例示した。かかる例の場合、図１０の第２段目に破線で示すように、上記では間引かれていた第｛ｍ＋１｝番目のピクチャ３２に対してインター符号化を行うことも可能である。しかし、生成されたインター符号化データ２４ｔｅｒを出力する場合には、上記のように出力遅延および遅延累積が生じてしまう。

【0133】

このため、伝送路へ出力する予定のない符号化データ２４については、処理量削減のため、図７の例のように、その生成さえも行わないのが好ましい。なお、処理量削減の結果、省電力化等を図ることができる。

【0134】

また、圧縮符号化手段１００が上記のようにイントラ符号化データ２４ｔｒａの生成自体は許容時間Ｔ内に完了可能な性能を有する場合でも、伝送レートの都合で出力完了までに長い時間Ｔｔｒａがかかるのであれば、イントラ符号化データ２４ｔｒａの生成時間を許容時間Ｔよりも長くしてもよい（図１１参照）。

【0135】

つまり、イントラ符号化データ２４ｔｒａに関する処理を全体的に、許容時間Ｔよりも長く、かつ、許容時間ＴのＮ倍の時間以下の処理時間Ｔｔｒａをかけて行えばよい。かかる態様によっても、イントラ符号化データ２４ｔｒａを上記最大符号量を超える符号量で以て生成可能であり、かつ、そのように増量されたイントラ符号化データ２４ｔｒａを伝送レートの制限に従いつつも伝送路へ出力完了可能である。

【0136】

これによれば、図７の例に比べて、圧縮符号化手段１００の処理負荷を低減することができる。また、処理負荷低減に伴って圧縮符号化手段１００に高性能な構成を採用する必要性が低くなるため、低コスト化、省電力化等を図ることができる。

【0137】

上記では、イントラ符号化データ２４ｔｒａにはインター符号化データ２４ｔｅｒよりも長い復号化時間が必要になるところ、イントラ符号化データ２４ｔｒａの復号化が終了するまでの間は直前のインター符号化データ２４ｔｅｒを復号化した画像が繰り返し表示される。このため、復号化した動画像において画像の欠損（例えば全面黒表示の画像が割り込む）が生じないようにすることができる。画像欠損の防止、さらには画像欠損に起因した表示不具合（例えば画像欠損の存在により画像がちらつく等）の防止により、動画像の画質を向上させることができる。

【0138】

ところで、上記では、伝送レートに制約がある場合に、イントラ符号化データ２４ｔｒａの増量を実現しうる各種態様を例示した。このうちの図１１の態様を応用すれば、圧縮符号化手段１００の性能（例えば処理速度）に制約がある場合であっても、イントラ符号化データ２４ｔｒａの増量を実現可能である。

【0139】

具体的には、圧縮符号化手段１００は、イントラ符号化データ２４ｔｒａについての所定処理（生成および伝送路への出力が含まれる）を、許容時間Ｔよりも長く、かつ、許容時間ＴのＮ倍の時間以下の処理時間をかけて行えば良い。

【0140】

これによれば、イントラ符号化データ２４ｔｒａの符号量を、１ピクチャ当たりの許容時間Ｔ内で生成・出力可能な最大符号量よりも、多くすることができる。このため、イントラ符号化データ２４ｔｒａに許容時間Ｔしか割り当てない場合に比べて、イントラ符号化データ２４ｔｒａを復号化して得られるピクチャの画質を向上させることができる。さらには、その結果として、復号化された動画像全体の画質を向上させることができる。

【0141】

また、上記増量されたイントラ符号化データ２４ｔｒａを許容時間Ｔ内で生成させる場合に比べて、圧縮符号化手段１００の処理負荷が少なくて済む。このため、圧縮符号化手段１００に高性能な構成を採用する必要性が低くなり、処理速度の遅い構成等を採用することができる。その結果、低コスト化、省電力化等を図ることができる。

【0142】

さて、上記特許文献１に記載の符号化方法では、シーンチェンジ直後の画像をＩピクチャとして符号化するとともに新しいＧＯＰ（Group Of Picture）の先頭に設定する。また、かかる符号化方法において、シーンチェンジの検出結果と、過去に符号化した結果の蓄積データとに基づいて、ピクチャタイプ（Ｉ，Ｐ，Ｂピクチャの種別）を決定し、決定されたピクチャタイプに応じて符号化ビットレートを制御する。また、かかる符号化方法において、ＧＯＰ長を可変にする手法と、ＧＯＰ長は固定し、当該固定長における各ピクチャの情報量を配分する手法とが紹介されている。

【0143】

しかし、特許文献１には、符号化装置１４等に採用されている上記各種手法は開示されていない。例えば、伝送路の伝送レートを要因とする制約や、圧縮符号化手段１００の性能を要因とする制約を満足しつつイントラ符号化データ２４ｔｒａの符号量を増大させて、高画質化を図る手法は、特許文献１に開示されていない。また、例えば、イントラ符号化の実行中に入力される画像データ２２を間引く手法も、特許文献１には開示されていない。また、イントラ復号化データ２６ｔｒａの直前のインター復号化データ２６ｔｅｒを繰り返し表示装置向けに出力する手法も、特許文献１には開示されていない。

【0144】

＜変形例１＞
図１２に、シングルバッファ構成を採用した復号化装置１６Ｂを概説するブロック図を示す。この復号化装置１６Ｂは、上記の復号化装置１６（図５参照）において２つのバッファ４０４，４０６を１つのバッファ４１０に変更した構成を有している。

【0145】

シングルバッファ構成では、イントラ復号化データ２６ｔｒａとインター復号化データ２６ｔｅｒの両方ともバッファ４１０へ格納される。このため、出力手段４０６が、復号化手段４００に対する書き込み許可／禁止を信号４５２で指示することによって、必要なデータ２６が上書きされて消失してしまうのを防止している。

【0146】

具体的には、バッファ４１０において、表示装置１８への出力（上記の繰り返し出力を含む）が済んだ復号化データ２６の記憶領域は上書きをしても支障がないので、出力手段４０６は、そのような上書き許容領域の発生、あるいはさらにその領域の位置指定を書き込み許可信号４５２によって、復号化手段４００へ通知する。復号化手段４００は、当該信号４５２の受信により、復号化を行って、その許容領域へ復号化データ２６を書き込む（図１３の模式図参照）。

【0147】

なお、書き込み許容信号４５２は、復号化データ２６の全体を格納可能な大きさの記憶領域が発生した時点で発信されてもよいし、あるいは、復号化データ２６を部分的に（例えばブロック単位で）格納可能な大きさの記憶領域が発生した時点で発信されてもよい。

【0148】

復号化装置１６Ｂによっても、上記各種効果を得ることができる。

【0149】

＜変形例２＞
上記では、同じ入力画像データ２２に対して、イントラ予測データ１５２とインター予測データ１５４の両方を生成する場合を例示した（図４参照）。これに対し、制御手段２００がイントラ符号化要求信号２５０（図３参照）の受信／不受信に従ってイントラ予測手段１０２とインター予測手段１０４とのうちのいずれか一方のみを制御することによって、イントラ予測データ１５２とインター予測データ１５４のうちの一方のみを生成するように変形することも可能である。かかる場合も上記各種効果を得ることができる。

【0150】

＜変形例３＞
ところで、上記のように、イントラ符号化は、他のピクチャ３２に依拠することなく、対象とするピクチャ３２を符号化する処理である。このため、イントラ符号化には、イントラ予測を行わずに、入力画像データ２２をそのまま符号化する場合も含まれる。

【0151】

かかる点に鑑みた符号化装置１４Ｂのブロック図を図１４に例示する。符号化装置１４Ｂでは、図４に例示した構成からイントラ予測手段１０２が取り除かれ、入力画像データ２２がイントラ／インター選択手段１０６へ入力され、イントラ／インター選択手段１０６から入力画像データ２２とインター予測データ１５４とうちのいずれか一方が出力される。符号化装置１４Ｂのその他の構成は、上記の符号化装置１４（図４参照）と同様である。符号化装置１４Ｂによっても、上記各種効果を得ることができる。

【符号の説明】

【0152】

１２ 画像符号化復号化システム
１４，１４Ｂ 画像符号化装置
１６，１６Ｂ 画像復号化装置
１８ 表示装置
２２ 画像データ
２４ 符号化データ
２４ｔｅｒ インター符号化データ
２４ｔｒａ イントラ符号化データ
２６ 復号化データ
２６ｔｅｒ インター復号化データ
２６ｔｒａ イントラ復号化データ
３０ 動画像
３２ ピクチャ
１００ 圧縮符号化手段
２００ 制御手段
４００ 復号化手段
４０６ 出力手段
Ｔ，Ｔｔｒａ 処理時間

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】