【文献】
Kei Kawamura(外2名),Description of scalable video coding technology proposal by KDDI,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 JCTVC-K0052,米国,ITU-T,2012年10月19日,p.1-11
(58)【調査した分野】(Int.Cl.,DB名)
解像度スケーラビリティを有するスケーラブル符号化ストリームをシングル符号化ストリームに変換する映像圧縮フォーマット変換装置における映像圧縮フォーマット方法であって、
前記スケーラブル符号化ストリームに含まれるフラグ情報に基づいて、符号化モードや、動きベクトルまたはイントラ予測方向を予測し、決定する予測方法決定手段を備え、
前記予測方法決定手段は、
スケーラブル符号化を行うマクロブロックにおいて、当該マクロブロックに対応する下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承するか否かを示す第1のフラグ情報を、少なくとも前記フラグ情報として用い、
前記第1のフラグ情報が真であれば、シングルストリーム符号化を行うマクロブロックにおいて、当該マクロブロックに対応するスケーラブル符号化ストリームの下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承する第1のステップと、
前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されている場合には、当該スケーラブル符号化ストリームの下位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から1つ以上を符号化モード候補として選択し、
前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されていない場合には、当該スケーラブル符号化ストリームの上位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から1つ以上を符号化モード候補として選択する第2のステップと、
を備えることを特徴とする映像圧縮フォーマット変換方法。
解像度スケーラビリティを有するスケーラブル符号化ストリームをシングル符号化ストリームに変換する映像圧縮フォーマット変換装置における映像圧縮フォーマット方法をコンピュータに実行させるためのプログラムであって、
前記スケーラブル符号化ストリームに含まれるフラグ情報に基づいて、符号化モードや、動きベクトルまたはイントラ予測方向を予測し、決定する予測方法決定手段を備え、
前記予測方法決定手段は、
スケーラブル符号化を行うマクロブロックにおいて、当該マクロブロックに対応する下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承するか否かを示す第1のフラグ情報を、少なくとも前記フラグ情報として用い、
前記第1のフラグ情報が真であれば、シングルストリーム符号化を行うマクロブロックにおいて、当該マクロブロックに対応するスケーラブル符号化ストリームの下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承する第1のステップと、
前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されている場合には、当該スケーラブル符号化ストリームの下位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から1つ以上を符号化モード候補として選択し、
前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されていない場合には、当該スケーラブル符号化ストリームの上位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から1つ以上を符号化モード候補として選択する第2のステップと、
をコンピュータに実行させるためのプログラム。
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来の高速なフォーマット変換技術が対象としているのは、フォーマット変換の前後で圧縮方式が異なっており、フォーマット変換の前後がシングルストリームである場合である。このため、従来の高速なフォーマット変換技術を、上述のSVCストリームからシングルストリームへの変換に適用する場合には、SVCストリームをデコードし、得られたデコード映像をシングルストリームで符号化する必要がある。ところが、シングルストリームへの符号化処理には、
図6を用いて後述するように、多大な処理量が必要である。
【0007】
図6は、従来の符号化処理のフローチャートである。
図6に示す従来の符号化処理は、従来の映像圧縮フォーマット変換装置により、マクロブロックごとに行われる。
【0008】
ステップS101において、従来の映像圧縮フォーマット変換装置は、符号化処理を行うマクロブロックで適用し得る全ての符号化モードのそれぞれについて、最適な動きベクトルまたはイントラ予測方向をサーチして求め、ステップS102に処理を移す。
【0009】
ステップS102において、従来の映像圧縮フォーマット変換装置は、符号化モードを決定し、ステップS103に処理を移す。具体的には、従来の映像圧縮フォーマット変換装置は、ステップS101で最適な動きベクトルまたはイントラ予測方向を求めた各符号化モードの符号化性能を評価する。そして、符号化性能の最も高い符号化モードを、符号化処理を行うマクロブロックに最適な符号化モードとして決定する。
【0010】
ステップS103において、従来の映像圧縮フォーマット変換装置は、動きベクトルまたはイントラ予測方向を決定し、ステップS104に処理を移す。具体的には、従来の映像圧縮フォーマット変換装置は、ステップS102で決定した符号化モードに対してステップS101で求めた動きベクトルまたはイントラ予測方向を、符号化処理を行うマクロブロックに最適な動きベクトルまたはイントラ予測方向として決定する。
【0011】
ステップS104において、従来の映像圧縮フォーマット変換装置は、上述のステップS101〜S103で求めた符号化モードと、動きベクトルまたはイントラ予測方向と、を用いて、符号化処理を行うマクロブロックの予測誤差を算出し、
図6に示す従来の符号化処理を終了する。
【0012】
以上のように、従来の符号化処理では、符号化処理を行うマクロブロックで適用し得る全ての符号化モードのそれぞれについて、最適な動きベクトルまたはイントラ予測方向を求める必要がある。このため、上述のように、多大な処理量が必要である。
【0013】
ここで、エンドユーザ環境における処理性能は、限定的である。このため、エンドユーザ環境にて、従来の高速なフォーマット変換技術を、上述のSVCストリームからシングルストリームへの変換に適用することは、困難であった。
【0014】
そこで、本発明は、上述の課題に鑑みてなされたものであり、画質の低下を抑制しつつ、SVCストリームからシングルストリームへの変換に要する処理コストを低減できる映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0015】
本発明は、上記の課題を解決するために、以下の事項を提案している。
(1) 本発明は、解像度スケーラビリティを有するスケーラブル符号化ストリーム(例えば、後述のSVCストリームに相当)をシングル符号化ストリーム(例えば、後述のAVCストリームに相当)に変換する映像圧縮フォーマット変換装置(例えば、
図1の映像圧縮フォーマット変換装置1に相当)であって、前記スケーラブル符号化ストリームに含まれる下位レイヤ継承情報(例えば、後述のフラグ情報に相当)に基づいて、予測方法(例えば、後述の符号化モードや、動きベクトルまたはイントラ予測方向に相当)を決定する予測方法決定手段(例えば、
図1のエンコード処理部21に相当)を備えることを特徴とする映像圧縮フォーマット変換装置を提案している。
【0016】
この発明によれば、解像度スケーラビリティを有するスケーラブル符号化ストリームをシングル符号化ストリームに変換する映像圧縮フォーマット変換装置に、予測方法決定手段を設けた。そして、予測方法決定手段により、スケーラブル符号化ストリームに含まれる下位レイヤ継承情報に基づいて、予測方法を決定することとした。このため、予測方法を決定する際の処理量を削減することができ、画質の低下を抑制しつつ、スケーラブル符号化ストリームからシングル符号化ストリームへの変換に要する処理コストを低減できる。
【0017】
(2) 本発明は、(1)の映像圧縮フォーマット変換装置について、前記予測方法決定手段は、スケーラブル符号化を行うマクロブロックにおいて、当該マクロブロックに対応する下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承するか否かを示す第1のフラグ情報(例えば、後述のBase_mode_flagに相当)を、少なくとも前記下位レイヤ継承情報として用い、前記第1のフラグ情報が真であれば、シングルストリーム符号化を行うマクロブロックにおいて、当該マクロブロックに対応するスケーラブル符号化ストリームの下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承することを特徴とする映像圧縮フォーマット変換装置を提案している。
【0018】
この発明によれば、(1)の映像圧縮フォーマット変換装置において、予測方法決定手段により、スケーラブル符号化を行うマクロブロックにおいて、このマクロブロックに対応する下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承するか否かを示す第1のフラグ情報を、少なくとも下位レイヤ継承情報として用いる。さらに、予測方法決定手段により、第1のフラグ情報が真であれば、シングルストリーム符号化を行うマクロブロックにおいて、このマクロブロックに対応するスケーラブル符号化ストリームの下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承する。このため、符号化モードごとに最適な動きベクトルを求める必要がない。したがって、画質の低下を抑制しつつ、スケーラブル符号化ストリームからシングル符号化ストリームへの変換に要する処理コストを大幅に低減できる。
【0019】
(3) 本発明は、(1)の映像圧縮フォーマット変換装置について、前記予測方法決定手段は、スケーラブル符号化を行う所定の領域において、当該所定の領域に対応する下位レイヤの領域における動きベクトルを継承するか否かを示す第2のフラグ情報(例えば、後述のMotion_prediction_flagに相当)を、少なくとも前記下位レイヤ継承情報として用い、前記第2のフラグ情報が真であれば、シングルストリーム符号化を行う所定の領域において、当該所定の領域に対応するスケーラブル符号化ストリームの下位レイヤの領域における動きベクトルを継承することを特徴とする映像圧縮フォーマット変換装置を提案している。
【0020】
この発明によれば、(1)の映像圧縮フォーマット変換装置において、予測方法決定手段により、スケーラブル符号化を行う所定の領域において、この所定の領域に対応する下位レイヤの領域における動きベクトルを継承するか否かを示す第2のフラグ情報を、少なくとも下位レイヤ継承情報として用いる。さらに、予測方法決定手段により、第2のフラグ情報が真であれば、シングルストリーム符号化を行う所定の領域において、この所定の領域に対応するスケーラブル符号化ストリームの下位レイヤの領域における動きベクトルを継承する。このため、動きベクトルを求める際にサーチを行う必要がない。したがって、画質の低下を抑制しつつ、スケーラブル符号化ストリームからシングル符号化ストリームへの変換に要する処理コストを低減できる。
【0021】
(4) 本発明は、(2)または(3)の映像圧縮フォーマット変換装置について、前記予測方法決定手段は、スケーラブル符号化を行うマクロブロックにおいて、当該マクロブロックに対応する下位レイヤのマクロブロックにおける予測誤差情報を継承するか否かを示す第3のフラグ情報(例えば、後述のResidual_prediction_flagに相当)を、少なくとも前記下位レイヤ継承情報として用い、前記第3のフラグ情報が真であれば、シングルストリーム符号化を行うマクロブロックにおいて、当該マクロブロックに対応するスケーラブル符号化ストリームの下位レイヤのマクロブロックにおける予測誤差情報を継承することを特徴とする映像圧縮フォーマット変換装置を提案している。
【0022】
この発明によれば、(2)または(3)の映像圧縮フォーマット変換装置において、予測方法決定手段により、スケーラブル符号化を行うマクロブロックにおいて、このマクロブロックに対応する下位レイヤのマクロブロックにおける予測誤差情報を継承するか否かを示す第3のフラグ情報を、少なくとも下位レイヤ継承情報として用いる。さらに、予測方法決定手段により、第3のフラグ情報が真であれば、シングルストリーム符号化を行うマクロブロックにおいて、このマクロブロックに対応するスケーラブル符号化ストリームの下位レイヤのマクロブロックにおける予測誤差情報を継承する。このため、予測誤差を算出する際の処理量を削減できる。したがって、画質の低下を抑制しつつ、スケーラブル符号化ストリームからシングル符号化ストリームへの変換に要する処理コストを低減できる。
【0023】
(5) 本発明は、(1)〜(4)のいずれかの映像圧縮フォーマット変換装置について、前記予測方法決定手段は、前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されている場合には、当該スケーラブル符号化ストリームの下位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から1つ以上を符号化モード候補として選択し、前記スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されていない場合には、当該スケーラブル符号化ストリームの上位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から1つ以上を符号化モード候補として選択することを特徴とする映像圧縮フォーマット変換装置を提案している。
【0024】
この発明によれば、(1)〜(4)のいずれかの映像圧縮フォーマット変換装置において、スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されている場合には、予測方法決定手段により、スケーラブル符号化ストリームの下位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から1つ以上を符号化モード候補として選択する。また、スケーラブル符号化ストリームでレイヤ間予測符号化モードが適用されていない場合には、予測方法決定手段により、スケーラブル符号化ストリームの上位レイヤの符号化モードに基づいて、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードの中から1つ以上を符号化モード候補として選択する。このため、シングルストリーム符号化を行うマクロブロックに最適な符号化モードを決定する際の処理量を削減できる。したがって、画質の低下を抑制しつつ、スケーラブル符号化ストリームからシングル符号化ストリームへの変換に要する処理コストを低減できる。
【0025】
(6) 本発明は、(5)の映像圧縮フォーマット変換装置について、前記予測方法決定手段は、前記スケーラブル符号化ストリームの下位レイヤの符号化モードごとに、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードのうち前記符号化モード候補として選択する符号化モードを予め定めた情報と、前記スケーラブル符号化ストリームの上位レイヤの符号化モードごとに、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードのうち前記符号化モード候補として選択する符号化モードを予め定めた情報と、を記憶することを特徴とする映像圧縮フォーマット変換装置を提案している。
【0026】
この発明によれば、(5)の映像圧縮フォーマット変換装置において、予測方法決定手段により、スケーラブル符号化ストリームの下位レイヤの符号化モードごとに、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードのうち符号化モード候補として選択する符号化モードを予め定めた情報を記憶する。また、予測方法決定手段により、スケーラブル符号化ストリームの上位レイヤの符号化モードごとに、シングルストリーム符号化を行うマクロブロックで適用し得る全ての符号化モードのうち符号化モード候補として選択する符号化モードを予め定めた情報を記憶する。このため、これら情報を参照して、符号化モード候補を選択することができ、上述した効果と同様の効果を奏することができる。
【0027】
(7) 本発明は、予測方法決定手段(例えば、
図1のエンコード処理部21に相当)を備え、解像度スケーラビリティを有するスケーラブル符号化ストリーム(例えば、後述のSVCストリームに相当)からシングル符号化ストリーム(例えば、後述のAVCストリームに相当)に変換する映像圧縮フォーマット変換装置(例えば、
図1の映像圧縮フォーマット変換装置1に相当)における映像圧縮フォーマット変換方法であって、前記予測方法決定手段が、スケーラブル符号化ストリームに含まれる下位レイヤ継承情報(例えば、後述のフラグ情報に相当)に基づいて、予測方法(例えば、後述の符号化モードや、動きベクトルまたはイントラ予測方向に相当)を決定するステップを備えることを特徴とする映像圧縮フォーマット方法を提案している。
【0028】
この発明によれば、予測方法決定手段により、スケーラブル符号化ストリームに含まれる下位レイヤ継承情報に基づいて、予測方法を決定することとした。このため、予測方法を決定する際の処理量を削減することができ、画質の低下を抑制しつつ、スケーラブル符号化ストリームからシングル符号化ストリームへの変換に要する処理コストを低減できる。
(8) 本発明は、予測方法決定手段(例えば、
図1のエンコード処理部21に相当)を備え、解像度スケーラビリティを有するスケーラブル符号化ストリーム(例えば、後述のSVCストリームに相当)からシングル符号化ストリーム(例えば、後述のAVCストリームに相当)に変換する映像圧縮フォーマット変換装置(例えば、
図1の映像圧縮フォーマット変換装置1に相当)における映像圧縮フォーマット変換方法を、コンピュータに実行させるためのプログラムであって、前記予測方法決定手段が、スケーラブル符号化ストリームに含まれる下位レイヤ継承情報(例えば、後述のフラグ情報に相当)に基づいて、予測方法(例えば、後述の符号化モードや、動きベクトルまたはイントラ予測方向に相当)を決定するステップを、コンピュータに実行させるためのプログラムを提案している。
【0029】
この発明によれば、コンピュータを用いてプログラムを実行することで、予測方法決定手段により、スケーラブル符号化ストリームに含まれる下位レイヤ継承情報に基づいて、予測方法を決定することとした。このため、予測方法を決定する際の処理量を削減することができ、画質の低下を抑制しつつ、スケーラブル符号化ストリームからシングル符号化ストリームへの変換に要する処理コストを低減できる。
【発明の効果】
【0030】
本発明によれば、画質の低下を抑制しつつ、SVCストリームからシングルストリームへの変換に要する処理コストを低減できる。
【発明を実施するための形態】
【0032】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【0033】
<第1実施形態>
[映像圧縮フォーマット変換装置1の構成および動作]
図1は、本発明の第1実施形態に係る映像圧縮フォーマット変換装置1のブロック図である。なお、本実施形態では、解像度スケーラビリティを有するSVCストリームについて、下位レイヤと比べて解像度の高い上位レイヤの映像を、シングル符号化ストリームに変換する場合を説明する。また、本実施形態では、SVCストリームは、Baseレイヤ(下位レイヤ)およびEnhancementレイヤ(上位レイヤ)の2レイヤで構成されるものとする。
【0034】
映像圧縮フォーマット変換装置1は、SVCストリームをデコードするSVCデコード処理部10と、SVCデコード処理部10でデコードされた上位レイヤのデコード映像をシングルストリーム符号化で再圧縮するAVCエンコード処理部20と、を備える。
【0035】
SVCデコード処理部10は、第1のデコード処理部11および第2のデコード処理部12を備える。第1のデコード処理部11は、SVCストリームの下位レイヤの映像をデコードし、下位レイヤのデコード映像を出力する。第2のデコード処理部12は、下位レイヤのデコード映像を用いてSVCストリームの上位レイヤの映像をデコードし、上位レイヤのデコード映像を出力する。
【0036】
AVCエンコード処理部20は、エンコード処理部21を備える。エンコード処理部21は、SVCストリームの下位レイヤの映像と、SVCストリームの上位レイヤの映像と、を用いて、SVCデコード処理部10から出力された上位レイヤのデコード映像をシングルストリーム符号化で再圧縮し、シングルストリームを出力する。このエンコード処理部21の動作について、
図2、3を用いて以下に詳述する。
【0037】
[エンコード処理部21の動作]
図2、3は、エンコード処理部21がマクロブロックごとに行う符号化処理のフローチャートである。なお、本実施形態では、SVCストリームがH.264 SVCであり、シングルストリームがH.264 AVCであるものとする。
【0038】
エンコード処理部21は、ステップS1〜S7の処理により、フラグ情報(Base_mode_flag、Motion_prediction_flag)に基づいて符号化モードおよび動きベクトルを決定する。ただし、フラグ情報(Base_mode_flag、Motion_prediction_flag)に基づいて符号化モードおよび動きベクトルを決定できない場合には、ステップS11〜S16の処理により、SVCストリームでレイヤ間予測符号化モードが適用されているか否かに応じて、符号化モードと、動きベクトルまたはイントラ予測方向と、を決定する。
【0039】
図2のステップS1において、エンコード処理部21は、SVCストリームのマクロブロック解析を行って、ステップS2に処理を移す。具体的には、ステップS1では、エンコード処理部21は、符号化処理を行うマクロブロックに対するフラグ情報を解析する。このフラグ情報は、SVCストリームに含まれており、マクロブロックごとに予め設定されるものである。
【0040】
本実施形態では、フラグ情報とは、Base_mode_flagおよびMotion_prediction_flagのことである。これらBase_mode_flagおよびMotion_prediction_flagのSVC符号化における役割は、以下の通りである。
【0041】
Base_mode_flagは、SVCストリームの上位レイヤのマクロブロックごとに付与される1ビットの情報である。Base_mode_flagが真であれば、SVC符号化を行うマクロブロックにおいて、このマクロブロックに対応する下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承する。そして、本実施形態では、Base_mode_flagが真であれば、ステップS3において後述するように、AVC符号化を行うマクロブロックにおいて、このマクロブロックに対応するSVCストリームの下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルを継承するものとする。
【0042】
Motion_prediction_flagは、SVCストリームの上位レイヤの8×8領域ごとに付与される1ビットのフラグ情報である。Motion_prediction_flagが真であれば、SVC符号化を行う8×8領域において、この8×8領域に対応する下位レイヤの4×4領域における動きベクトルを承継する。そして、本実施形態では、Motion_prediction_flagが真であれば、ステップS6において後述するように、AVC符号化を行う8×8領域において、この8×8領域に対応するSVCストリームの下位レイヤの4×4領域における動きベクトルを承継するものとする。
【0043】
ステップS2において、エンコード処理部21は、Base_mode_flagが真であるか否かを判別する。そして、Base_mode_flagが真である場合には、ステップS3に処理を移し、Base_mode_flagが偽である場合には、ステップS5に処理を移す。
【0044】
ステップS3において、エンコード処理部21は、符号化処理を行うマクロブロックにおいて、このマクロブロックに対応するSVCストリームの下位レイヤのマクロブロックにおける符号化モードを継承するものとし、ステップS4に処理を移す。
【0045】
ステップS4において、エンコード処理部21は、符号化処理を行うマクロブロックにおいて、このマクロブロックに対応するSVCストリームの下位レイヤのマクロブロックにおける動きベクトルを継承するものとし、ステップS8に処理を移す。
【0046】
以上のステップS2〜S4によれば、Base_mode_flagが真であれば、符号化処理を行うマクロブロックでは、このマクロブロックに対応するSVCストリームの下位レイヤのマクロブロックにおける符号化モードおよび動きベクトルが、継承されることになる。このため、SVCストリームにおけるマクロブロックのBase_mode_flagが真であれば、このマクロブロックに対応するマクロブロックに対してAVC再圧縮における符号化処理を行う際に、インター符号化を適用し、このマクロブロックに対応するSVCストリームの下位レイヤのマクロブロックと同一の符号化モードおよび動きベクトルを用いることになる。
【0047】
ステップS5において、エンコード処理部21は、Motion_prediction_flagが真であるか否かを判別する。そして、Motion_prediction_flagが真である場合には、ステップS6に処理を移し、Motion_prediction_flagが偽である場合には、
図3のステップS11に処理を移す。
【0048】
ステップS6において、エンコード処理部21は、符号化モードを決定し、ステップS7に処理を移す。具体的には、エンコード処理部21は、符号化方式がインター符号化であると決定し、Inter4×4、Inter8×8、Inter16×16といったインター符号化の各符号化モードの符号化性能を評価する。そして、符号化性能の最も高い符号化モードを、符号化処理を行うマクロブロックに最適な符号化モードとして決定する。
【0049】
ステップS7において、エンコード処理部21は、符号化処理を行う8×8領域について、この8×8領域に対応するSVCストリームの下位レイヤの4×4領域における動きベクトルをスケーリングしたものを継承するものとして、ステップS8に処理を移す。
【0050】
以上のステップS5〜S7によれば、Motion_prediction_flagが真であれば、符号化処理を行う8×8領域では、この8×8領域に対応するSVCストリームの下位レイヤの4×4領域における動きベクトルが継承されることになる。このため、SVCストリームにおけるマクロブロックのMotion_prediction_flagが真であれば、このマクロブロックに対応する8×8領域に対してAVC再圧縮における符号化処理を行う際に、インター符号化を適用し、この8×8領域に対応するSVCストリームの下位レイヤの4×4領域と同一の動きベクトルをスケーリングしたものを用いることになる。
【0051】
ステップS8において、エンコード処理部21は、上述のステップS1〜S7で求めた符号化モードおよび動きベクトルを用いて、符号化処理を行うマクロブロックの予測誤差を算出し、
図2、3に示す符号化処理を終了する。
【0052】
図3のステップS11において、エンコード処理部21は、SVCストリームでレイヤ間予測符号化モードが適用されているか否かを判別する。そして、適用されていると判別した場合には、ステップS12に処理を移し、適用されていないと判別した場合には、ステップS14に処理を移す。
【0053】
ステップS12において、エンコード処理部21は、SVCストリームの下位レイヤにおける符号化モードに基づいて、AVC再圧縮で選択可能な符号化モードの候補を絞り込み、ステップS13に処理を移す。具体的には、エンコード処理部21は、予め定められた符号化モード遷移テーブルを記憶しており、この符号化モード遷移テーブルを参照して符号化モードの候補を絞り込む。
【0054】
符号化モード遷移テーブルには、SVCストリームの下位レイヤにおける符号化モードがどの符号化モードである場合に、符号化処理を行うマクロブロックで適用し得る全ての符号化モードのうちどれを候補に絞るのかという情報が、記憶されている。例えば、符号化モード遷移テーブルには、SVCストリームの下位レイヤにおける符号化方式がイントラ符号化である場合にはInter4×4、Inter8×8、およびInter16×16に絞り込むといった情報や、SVCストリームの下位レイヤにおける符号化モードがIntra4×4である場合にはIntra8×8、Intra16×16、およびInter8×8に絞り込むといった情報が、記憶されている。
【0055】
ステップS13において、エンコード処理部21は、符号化モードを決定し、ステップS16に処理を移す。具体的には、エンコード処理部21は、ステップS12において絞り込んだ符号化モードの候補のそれぞれについて、符号化性能を評価する。そして、ステップS12において絞り込んだ符号化モードの候補のうち最も符号化性能が高いものを、符号化処理を行うマクロブロックに最適な符号化モードとして決定する。
【0056】
ステップS14において、エンコード処理部21は、SVCストリームの上位レイヤにおける符号化モードに基づいて、AVC再圧縮で選択可能な符号化モードの候補を絞り込み、ステップS15に処理を移す。具体的には、エンコード処理部21は、上述の符号化モード遷移テーブルを参照して符号化モードの候補を絞り込む。
【0057】
上述の符号化モード遷移テーブルには、SVCストリームの上位レイヤにおける符号化モードがどの符号化モードである場合に、符号化処理を行うマクロブロックで適用し得る全ての符号化モードのうちどれを候補に絞るのかという情報も、記憶されている。
【0058】
ステップS15において、エンコード処理部21は、符号化モードを決定し、ステップS16に処理を移す。具体的には、エンコード処理部21は、ステップS14において絞り込んだ符号化モードの候補のそれぞれについて、符号化性能を評価する。そして、ステップS14において絞り込んだ符号化モードの候補のうち最も符号化性能が高いものを、符号化処理を行うマクロブロックに最適な符号化モードとして決定する。
【0059】
ステップS16において、エンコード処理部21は、ステップS13またはステップS15で決定した符号化モードに最適な動きベクトルまたはイントラ予測方向をサーチして決定し、ステップS17に処理を移す。
【0060】
ステップS17において、エンコード処理部21は、上述のステップS11〜S16で求めた符号化モードおよび動きベクトルを用いて、符号化処理を行うマクロブロックの予測誤差を算出し、
図2、3に示す符号化処理を終了する。
【0061】
以上の映像圧縮フォーマット変換装置1によれば、以下の効果を奏することができる。
【0062】
映像圧縮フォーマット変換装置1は、SVCストリームにおけるマクロブロックのBase_mode_flagが真であれば、このマクロブロックに対応するマクロブロックに対してAVC再圧縮における符号化処理を行う際に、インター符号化を適用し、このマクロブロックに対応するSVCストリームの下位レイヤのマクロブロックと同一の符号化モードおよび動きベクトルを用いる。このため、
図6に示した従来の符号化処理と比べて、符号化モードごとに最適な動きベクトルまたはイントラ予測方向を求める必要がない。したがって、画質の低下を抑制しつつ、SVCストリームからAVCストリームへの変換に要する処理コストを大幅に低減できる。
【0063】
また、映像圧縮フォーマット変換装置1は、SVCストリームにおけるマクロブロックのBase_mode_flagが偽であっても、Motion_prediction_flagが真であれば、このマクロブロックに対応する8×8領域に対してAVC再圧縮における符号化処理を行う際に、インター符号化を適用し、この8×8領域に対応するSVCストリームの下位レイヤの4×4領域と同一の動きベクトルをスケーリングしたものを用いる。このため、
図6に示した従来の符号化処理と同様に、符号化モードごとに最適な動きベクトルまたはイントラ予測方向を求める必要はあるものの、
図6に示した従来の符号化処理と比べて、これら動きベクトルまたはイントラ予測方向を求める際にサーチを行う必要はない。したがって、画質の低下を抑制しつつ、SVCストリームからAVCストリームへの変換に要する処理コストを低減できる。
【0064】
また、映像圧縮フォーマット変換装置1は、SVCストリームにおけるマクロブロックのBase_mode_flagおよびMotion_prediction_flagが偽であっても、SVCストリームでレイヤ間予測符号化モードが適用されているか否かに応じて、符号化処理を行うマクロブロックで適用し得る全ての符号化モードの中から候補を予め絞り込む。このため、符号化処理を行うマクロブロックに最適な符号化モードを決定する際の処理量を削減できる。したがって、画質の低下を抑制しつつ、SVCストリームからAVCストリームへの変換に要する処理コストを低減できる。
【0065】
<第2実施形態>
[映像圧縮フォーマット変換装置1Aの構成および動作]
本発明の第2実施形態に係る映像圧縮フォーマット変換装置1Aは、
図1に示した本発明の第1実施形態に係る映像圧縮フォーマット変換装置1とは、エンコード処理部21の代わりにエンコード処理部21Aを備える点が異なる。なお、映像圧縮フォーマット変換装置1Aにおいて、映像圧縮フォーマット変換装置1と同一構成要件については、同一符号を付し、その説明を省略する。
【0066】
図4、5は、エンコード処理部21Aがマクロブロックごとに行う符号化処理のフローチャートである。
【0067】
エンコード処理部21Aは、ステップS21〜S27のそれぞれでは、エンコード処理部21が行うステップS1〜S7のそれぞれと同様の処理を行う。また、ステップS41〜S47のそれぞれでは、エンコード処理部21が行うステップS11〜S17のそれぞれと同様の処理を行う。ただし、エンコード処理部21Aは、エンコード処理部21が行わないステップS28〜S30の処理を行う。
【0068】
ステップS28において、エンコード処理部21Aは、Residual_prediction_flagが真であるか否かを判別する。そして、Residual_prediction_flagが真である場合には、ステップS29に処理を移し、Residual_prediction_flagが偽である場合には、ステップS30に処理を移す。
【0069】
本実施形態では、フラグ情報とは、Base_mode_flagおよびMotion_prediction_flagに加えて、Residual_prediction_flagのことである。このResidual_prediction_flagのSVC符号化における役割は、以下の通りである。
【0070】
Residual_prediction_flagは、SVCストリームの上位レイヤのマクロブロックごとに付与される1ビットの情報である。Residual_prediction_flagが真であれば、SVC符号化を行うマクロブロックにおいて、このマクロブロックに対応する下位レイヤのマクロブロックにおける予測誤差情報を継承する。そして、本実施形態では、Residual_prediction_flagが真であれば、ステップS29において後述するように、AVC符号化を行うマクロブロックにおいて、このマクロブロックに対応するSVCストリームの下位レイヤのマクロブロックにおける予測誤差情報を継承するものとする。
【0071】
ステップS29において、エンコード処理部21Aは、符号化処理を行うマクロブロックにおいて、このマクロブロックに対応するSVCストリームの下位レイヤのマクロブロックにおけるインター符号化の予測残差情報をスケーリングしたものを用いるものとし、
図4、5に示す符号化処理を終了する。
【0072】
ステップS30において、エンコード処理部21Aは、上述のステップS21〜S27で求めた符号化モードおよび動きベクトルを用いて、符号化処理を行うマクロブロックの予測誤差を算出し、
図4、5に示す符号化処理を終了する。
【0073】
以上の映像圧縮フォーマット変換装置1Aによれば、映像圧縮フォーマット変換装置1が奏することのできる上述の効果に加えて、以下の効果を奏することができる。
【0074】
映像圧縮フォーマット変換装置1Aは、SVCストリームにおけるマクロブロックのResidual_prediction_flagが真であれば、このマクロブロックに対応するマクロブロックに対してAVC再圧縮における符号化処理を行う際に、SVCストリームの下位レイヤのマクロブロックにおけるインター符号化の予測残差情報をスケーリングしたものを用いる。このため、予測残差を算出する際の処理量を削減できる。したがって、画質の低下を抑制しつつ、SVCストリームからAVCストリームへの変換に要する処理コストを低減できる。
【0075】
なお、本発明の映像圧縮フォーマット変換装置1や映像圧縮フォーマット変換装置1Aの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを映像圧縮フォーマット変換装置1や映像圧縮フォーマット変換装置1Aに読み込ませ、実行することによって、本発明を実現できる。
【0076】
ここで、上述の記録媒体には、例えば、EPROMやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、CD−ROMなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、映像圧縮フォーマット変換装置1や映像圧縮フォーマット変換装置1Aに設けられたプロセッサによって行われる。
【0077】
また、上述のプログラムは、このプログラムを記憶装置などに格納した映像圧縮フォーマット変換装置1や映像圧縮フォーマット変換装置1Aから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
【0078】
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を映像圧縮フォーマット変換装置1や映像圧縮フォーマット変換装置1Aにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0079】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
【0080】
例えば、上述の第1実施形態や第2実施形態では、H.264 SVCからH.264 AVCへの変換について説明したが、これに限らない。本発明は、SVC方式からシングルストリーム形式への変換に対して適用できる。