特許 6460691 映像圧縮装置、映像圧縮方法及び映像圧縮プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6460691

(24)【登録日】2019年1月11日

(45)【発行日】2019年1月30日

(54)【発明の名称】映像圧縮装置、映像圧縮方法及び映像圧縮プログラム

(51)【国際特許分類】

   H04N 19/88 20140101AFI20190121BHJP

   H04N 19/186 20140101ALI20190121BHJP

   H04N 19/182 20140101ALI20190121BHJP

【ＦＩ】

   H04N19/88

   H04N19/186

   H04N19/182

【請求項の数】8

【全頁数】17

(21)【出願番号】特願2014-187767(P2014-187767)

(22)【出願日】2014年9月16日

(65)【公開番号】特開2016-63289(P2016-63289A)

(43)【公開日】2016年4月25日

【審査請求日】2017年8月1日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(72)【発明者】

【氏名】菊地 幸大

(72)【発明者】

【氏名】梶山 岳士

(72)【発明者】

【氏名】宮下 英一

【審査官】 牛丸 太希

(56)【参考文献】

【文献】 特開２００６−０４９９５０（ＪＰ，Ａ）

【文献】 特開２０１３−１５０１２３（ＪＰ，Ａ）

【文献】 特開２０１２−０８０５６９（ＪＰ，Ａ）

【文献】 特開２０１０−０４５８５３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０１３９６４２（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１０／０３１０１６２（ＵＳ，Ａ１）

【文献】 特開２０１３−８５０４３（ＪＰ，Ａ）

【文献】 菊地 幸大、他，スーパーハイビジョン圧縮記録技術，２０１４年映像情報メディア学会年次大会，日本，一般社団法人映像情報メディア学会，２０１４年 ９月 ２日，１６−６

【文献】 Yoshiaki Shishikui, et al.，High-Performance Video Codec for Super Hi-Vision，Proceedings of the IEEE，米国，IEEE，２０１３年 １月３１日，Vol.101, No.1，pp130〜139，IEEE Xplore，ＵＲＬ，https://ieeexplore.ieee.org/document/6265335/

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

Ｂａｙｅｒ配列のサンプリング構造を持つデュアルグリーン方式の単一フレーム画像について、色成分毎に画素を分割する画素分割部と、
前記画素分割部により分割された第１の色成分の画像を、当該画像の各画素を幾何学的規則に従って不足領域へ全て移動した画像と足し合わせることにより補間する画素補間部と、
補間後の前記第１の色成分、並びに前記画素分割部により分割された第２及び第３の色成分をパッケージした処理単位毎に、所定の圧縮方式により符号化を行う符号化部と、を備える映像圧縮装置。

【請求項2】

前記単一フレーム画像を、前記処理単位に適合するブロックに分割するブロック化部を備え、
前記画素補間部は、前記ブロック毎に補間処理を行う請求項１に記載の映像圧縮装置。

【請求項3】

前記画素補間部は、前記第１の色成分の画像を、当該画像の各画素を水平方向に反転させた画像と足し合わせることにより補間する請求項１又は請求項２に記載の映像圧縮装置。

【請求項4】

前記画素補間部は、前記第１の色成分の画像を、当該画像の各画素を垂直方向に反転させた画像と足し合わせることにより補間する請求項１又は請求項２に記載の映像圧縮装置。

【請求項5】

前記画素補間部は、前記第１の色成分の画像を、当該画像の各画素を中心点の周りに９０度回転させた画像と足し合わせることにより補間する請求項１又は請求項２に記載の映像圧縮装置。

【請求項6】

請求項１から請求項５のいずれかに記載の映像圧縮装置において、前記所定の圧縮方式により符号化された映像データを復号する復号部と、
前記復号部により復号された画像データについて、前記第１、第２及び第３の色成分を分離する色成分分離部と、
前記色成分分離部により分離された前記第１の色成分の画像のうち、前記画素補間部により補間された画素を間引く画素間引部と、
前記第１、第２及び第３の色成分の画素を合成する画素合成部と、を備える映像再生装置。

【請求項7】

コンピュータの制御部が、
Ｂａｙｅｒ配列のサンプリング構造を持つデュアルグリーン方式の単一フレーム画像について、色成分毎に画素を分割する画素分割ステップと、
前記画素分割ステップにおいて分割された第１の色成分の画像を、当該画像の各画素を幾何学的規則に従って不足領域へ全て移動した画像と足し合わせることにより補間する画素補間ステップと、
補間後の前記第１の色成分、並びに前記画素分割ステップにおいて分割された第２及び第３の色成分をパッケージした処理単位毎に、所定の圧縮方式により符号化を行う符号化ステップと、を実行する映像圧縮方法。

【請求項8】

コンピュータの制御部に、
Ｂａｙｅｒ配列のサンプリング構造を持つデュアルグリーン方式の単一フレーム画像について、色成分毎に画素を分割する画素分割ステップと、
前記画素分割ステップにおいて分割された第１の色成分の画像を、当該画像の各画素を幾何学的規則に従って不足領域へ全て移動した画像と足し合わせることにより補間する画素補間ステップと、
補間後の前記第１の色成分、並びに前記画素分割ステップにおいて分割された第２及び第３の色成分をパッケージした処理単位毎に、所定の圧縮方式により符号化を行う符号化ステップと、を実行させるための映像圧縮プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、高精細映像信号のデータ量を圧縮する映像圧縮装置、映像圧縮方法及び映像圧縮プログラムに関する。

【背景技術】

【0002】

近年、ハイビジョン（解像度１９２０×１０８０）を上回る高精細映像システムとして、ハイビジョンの１６倍の画素数を有するスーパーハイビジョン（解像度７６８０×４３２０）の研究開発が進められている。
スーパーハイビジョンは、従来のハイビジョンと比べ、データ量が極めて大きくなるため、コンテンツ制作には大規模な信号処理装置や高速なインターフェースが必要となる。そこで、よりコンパクトで機動的なコンテンツ制作を実現するため、デュアルグリーン方式のスーパーハイビジョン信号が用いられる（非特許文献１参照）。

【0003】

デュアルグリーン方式のスーパーハイビジョン信号（以下ＤＧ信号と呼ぶ）は、図１４（ａ）に示すように、単板撮像素子のカラーフィルタ配列として知られるＢａｙｅｒ配列のフレーム画像で構成される。Ｂａｙｅｒ配列では、相互に異なる位置に、赤（Ｒ）、緑（Ｇ１及びＧ２）、青（Ｂ）の４種類の画素が配置される。フル解像度（フルカラー約１億画素）のスーパーハイビジョン信号（ｂ）に比べて、ＤＧ信号は、画素数が１／３（約３３００万画素）になるため、信号処理装置の小型化や、伝送帯域の節減に有利である。ＤＧ信号は、多くのスーパーハイビジョンのコンテンツ制作において、撮像素子や機器間インターフェース信号として使用されている。

【0004】

ところで、映像信号のデータ量を圧縮するための符号化方式として、例えば、画像データを複数の低解像度ブロックに分割し、ブロック単位で２次元の離散コサイン変換（ＤＣＴ）を行い、得られたＤＣＴ係数を量子化し、エントロピー符号化を行う手法がある。このような手法の代表例として、図１５にＪＰＥＧの処理手順を示す。
こうした既存の符号化方式をＤＧ信号に適用する場合、Ｂａｙｅｒ配列のフレーム画像を、フルカラー画像に変換（デモザイキング）するか、又は図１６に示すように、Ｂａｙｅｒ配列のフレーム画像を、Ｒ、Ｇ１、Ｇ２、Ｂのそれぞれに画素分割（サブサンプリング）し、４枚の４Ｋ画像（解像度３８４０×２１６０）に再構成した後に、符号化（圧縮）する必要があった（特許文献１及び非特許文献２参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００６−０１９８０４号公報

【非特許文献】

【0006】

【非特許文献1】山下誉行，三谷公二，菅原正幸，島本洋，岡野文男： “走査線４０００本級４板式超高精細動画カメラ”， 映像情報メディア学会誌， Ｖｏｌ．５８， Ｎｏ．３， ｐｐ．３８３−３９１ （Ｍａｒｃｈ ２００４）

【非特許文献2】Ｅ． Ｍｉｙａｓｈｉｔａ ａｎｄ Ｔ． Ｋａｊｉｙａｍａ： “Ｃｏｍｐａｃｔ ｃａｍｅｒａ ｒｅｃｏｒｄｅｒ ｆｏｒ Ｓｕｐｅｒ Ｈｉ−Ｖｉｓｉｏｎ”， ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ ２０１４， ｐｐ．１６５−１６６ （Ｊａｎｕａｒｙ ２０１４）

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、デモザイキングを行う手法では、精度良く不足画素の推定を行うために複雑な計算が必要となり、ハードウェアの負荷が大きくなる。さらに、画素数が３倍になるため、圧縮前のデータ量が増大してしまう。

【0008】

また、画素分割を行う手法では、空間的に連続した相関関係の強いＧ１及びＧ２の２つのＧ信号を空間的に分割して、別々に符号化を行うため、分割画像の境界部において、隣接画素との連続性が失われてしまい、圧縮効率の低下や、圧縮ひずみが生じる等の課題があった。また、この手法を映像記録装置に用いた場合、単一のフレーム画像を複数の記録データに分割して記録するため、複数の記録媒体、又は複数の記録領域への記録が必要となり、記録媒体の管理や、記録データの閲覧、バックアップといった作業が煩雑になってしまう。さらに、このような映像記録装置で記録したＤＧ信号を再生する際、分割されたそれぞれの記録データを並列して読み出すためのタイミング同期回路が必要となるため、装置構成が複雑になるという課題もあった。

【0009】

本発明は、高精細映像信号を効率的に符号化できる映像圧縮装置、映像圧縮方法及び映像圧縮プログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明に係る映像圧縮装置は、Ｂａｙｅｒ配列のサンプリング構造を持つデュアルグリーン方式の単一フレーム画像について、色成分毎に画素を分割する画素分割部と、前記画素分割部により分割された第１の色成分の画像を、当該画像の各画素を幾何学的規則に従って変換した画像と合成することにより補間する画素補間部と、補間後の前記第１の色成分、並びに前記画素分割部により分割された第２及び第３の色成分をパッケージした処理単位毎に、所定の圧縮方式により符号化を行う符号化部と、を備える。

【0011】

この構成によれば、映像圧縮装置は、Ｂａｙｅｒ配列のフレーム画像のうち、第１の色成分（Ｇ信号）について、幾何学的特徴を持つ補間処理を行うことにより、フル解像度のＧ信号を生成する。また、映像圧縮装置は、このような補間処理を用いて得られた信号について、所定の圧縮方式で規定されている処理単位にパッケージ化して圧縮符号化を行う。
したがって、映像圧縮装置は、高精細映像信号を既存の符号化方式を用いて圧縮できるため、符号化ハードウェアのコストを抑えることができる。また、映像圧縮装置は、フレーム画像を、空間的に複数の画像に分割することなく、画像の連続性を保ちつつ圧縮を行えるため、圧縮ひずみを抑えられる。さらに、映像圧縮装置は、幾何学的特徴を有する画素の補間手法を採用したことにより、空間周波数変換後の２次元ヒストグラムを、ある特定の成分（ｕ軸方向、ｖ軸方向又は対角方向）に離散させることができるため、エントロピー符号化による圧縮効率が向上し、高精細映像信号を効率的に符号化できる。

【0012】

前記映像圧縮装置は、前記単一フレーム画像を、前記処理単位に適合するブロックに分割するブロック化部を備え、前記画素補間部は、前記ブロック毎に補間処理を行ってもよい。

【0013】

この構成によれば、映像圧縮装置は、符号化方式の処理ブロック単位に分割し、このブロック毎に補間処理を行うので、規定の符号化方式に適合した補間処理によって符号化効率を向上できる。

【0014】

前記画素補間部は、前記第１の色成分の画像を、当該画像の各画素を水平方向に反転させた画像と合成することにより補間してもよい。

【0015】

この構成によれば、映像圧縮装置は、水平方向に反転する画像変換によって、補間処理後の幾何学的特徴を容易に作り出し、符号化効率を向上できる。

【0016】

前記画素補間部は、前記第１の色成分の画像を、当該画像の各画素を垂直方向に反転させた画像と合成することにより補間してもよい。

【0017】

この構成によれば、映像圧縮装置は、垂直方向に反転する画像変換によって、補間処理後の幾何学的特徴を容易に作り出し、符号化効率を向上できる。

【0018】

前記画素補間部は、前記第１の色成分の画像を、当該画像の各画素を中心点の周りに９０度回転させた画像と合成することにより補間してもよい。

【0019】

この構成によれば、映像圧縮装置は、９０度回転する画像変換によって、補間処理後の幾何学的特徴を容易に作り出し、符号化効率を向上できる。

【0020】

本発明に係る映像再生装置は、請求項１から請求項５のいずれかに記載の映像圧縮装置において、前記所定の圧縮方式により符号化された映像データを復号する復号部と、前記復号部により復号された画像データについて、前記第１、第２及び第３の色成分を分離する色成分分離部と、前記色成分分離部により分離された前記第１の色成分の画像のうち、前記画素補間部により補間された画素を間引く画素間引部と、前記第１、第２及び第３の色成分の画素を合成する画素合成部と、を備える。

【0021】

この構成によれば、映像再生装置は、映像圧縮装置により圧縮された高精細映像信号を、補間された画素を間引くことにより容易に復元できる。また、映像信号の記録データが複数に分割されないため、映像再生装置は、複数の記録媒体又は複数の記録領域を並列して読み出すためのタイミング同期回路が不要となり、装置構成を単純化できる。

【0022】

本発明に係る映像圧縮方法は、コンピュータの制御部が、Ｂａｙｅｒ配列のサンプリング構造を持つデュアルグリーン方式の単一フレーム画像について、色成分毎に画素を分割する画素分割ステップと、前記画素分割ステップにおいて分割された第１の色成分の画像を、当該画像の各画素を幾何学的規則に従って変換した画像と合成することにより補間する画素補間ステップと、補間後の前記第１の色成分、並びに前記画素分割ステップにおいて分割された第２及び第３の色成分をパッケージした処理単位毎に、所定の圧縮方式により符号化を行う符号化ステップと、を実行する。

【0023】

本発明に係る映像圧縮プログラムは、コンピュータの制御部に、Ｂａｙｅｒ配列のサンプリング構造を持つデュアルグリーン方式の単一フレーム画像について、色成分毎に画素を分割する画素分割ステップと、前記画素分割ステップにおいて分割された第１の色成分の画像を、当該画像の各画素を幾何学的規則に従って変換した画像と合成することにより補間する画素補間ステップと、補間後の前記第１の色成分、並びに前記画素分割ステップにおいて分割された第２及び第３の色成分をパッケージした処理単位毎に、所定の圧縮方式により符号化を行う符号化ステップと、を実行させる。

【発明の効果】

【0024】

本発明によれば、高精細映像信号を効率的に符号化できる。

【図面の簡単な説明】

【0025】

【図1】第１実施形態に係る映像記録再生装置の機能構成を示す図である。

【図2】第１実施形態に係る前処理部の機能構成を示す図である。

【図3】第１実施形態に係る画素分割部により単一フレーム画像が分割される様子を示す図である。

【図4】第１実施形態に係る画素補間処理の第１パターンを例示する図である。

【図5】第１実施形態に係る画素補間処理の第２パターンを例示する図である。

【図6】第１実施形態に係る画素補間処理の第３パターンを例示する図である。

【図7】第１実施形態に係る画素補間を行った場合のＤＣＴ係数を例示する図である。

【図8】第１実施形態に係る再配置処理を例示する図である。

【図9】第１実施形態に係るパッケージ化処理を例示する図である。

【図10】第１実施形態に係る後処理部の機能構成を示す図である。

【図11】第１実施形態に係るＤＧ信号が復元される様子を示す図である。

【図12】第２実施形態に係る映像圧縮伝送システムの機能構成を示す図である。

【図13】シミュレーションにより得られたＰＳＮＲと圧縮後のファイルサイズとの関係を示す図である。

【図14】Ｂａｙｅｒ配列及びフル解像度のフレーム画像の構成を示す図である。

【図15】ＪＰＥＧの処理手順を示す図である。

【図16】画素分割による圧縮記録の手法を示す図である。

【発明を実施するための形態】

【0026】

［第１実施形態］
以下、本発明の第１実施形態について説明する。
なお、本実施形態では、符号化技術としてＪＰＥＧを用いた場合を例に説明するが、本発明は、その他の空間周波数変換を用いた符号化技術に対しても、同様に適用できる。

【0027】

図１は、本実施形態に係る映像記録再生装置１（映像圧縮装置、映像再生装置）の機能構成を示す図である。
映像記録再生装置１は、入力部１１と、前処理部１２と、符号化部１３と、記録部１４と、記録媒体１５と、復号部１６と、後処理部１７と、出力部１８とを備える。

【0028】

入力部１１は、外部装置からＤＧ信号を取得する。
外部装置は、ＤＧ信号インターフェースを持つスーパーハイビジョン単板カメラ及び４板式カメラの他、ＣＣＵ（Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、レコーダ、スイッチャ等の映像機器が挙げられる。この他、外部装置は、４Ｋシネマカメラ又はデジタルスチルカメラ等の高精細撮像素子において、ＤＧ信号と同様の画素配列が用いられたＲＡＷ信号出力を持つものであってもよい。この場合、入力部１１は、入力された信号のフォーマットを判別し、前処理部１２に最適な処理方法を選択させる。

【0029】

前処理部１２は、入力されたＤＧ信号から、符号化部１３で用いられる符号化技術（例えば、ＪＰＥＧ）の処理単位である規定のサンプリング構造を持つ画像データを構成する。

【0030】

図２は、本実施形態に係る前処理部１２の機能構成を示す図である。
前処理部１２は、ブロック化部１２１と、画素分割部１２２と、画素補間部１２３と、再配置部１２４と、パッケージ化部１２５とを備える。

【0031】

ブロック化部１２１は、入力されたＤＧ信号を、所定サイズのブロック（例えば、ＪＰＥＧの場合、８×８ピクセル）毎にバッファし、符号化技術（例えば、ＪＰＥＧ）の処理単位を構成する回路である。
なお、符号化技術の処理単位が４×４、１６×１６、３２×３２等の場合、又は４×８、８×１６等の様に長方形の場合には、ブロック化部１２１は、これらの処理単位に合わせて、ブロック化を行う。

【0032】

画素分割部１２２は、ＤＧ信号をＲ、Ｇ、Ｂのそれぞれに分割する回路であり、分割したＧ（Ｇ１及びＧ２）の画像データを画素補間部１２３に、Ｂの画像データ及びＲの画像データを再配置部１２４に、それぞれ入力する。

【0033】

図３は、本実施形態に係る画素分割部１２２によりＤＧ信号の単一フレーム画像が分割される様子を示す図である。
Ｂａｙｅｒ配列に配置されたＲ、Ｇ１、Ｇ２、Ｂの各画素は、Ｇ１及びＧ２からなる欠落画素を含む画像データ、Ｒのみからなる欠落画素を含む画像データ、及びＢのみからなる欠落画素を含む画像データに分割される。

【0034】

画素補間部１２３は、画素分割部１２２により分割されたＧ成分（第１の色成分）の画像を、この画像の各画素を幾何学的規則に従って変換した画像と合成することにより補間して、欠落画素のない画像データを生成する回路である。
幾何学的規則は、例えば、以下の３つのパターンが採用される。

【0035】

図４は、本実施形態に係る画素補間処理の第１パターンを例示する図である。
この例では、画素補間部１２３は、ＤＧ信号のＧ１及びＧ２をブロック（８×８ピクセル）毎に水平方向に反転させ、Ｇ１及びＧ２以外の不足領域の補間値として挿入することで、８×８の欠落画素のないＧ信号に変換している。

【0036】

このようにして得られたＧ信号は、８×８のブロック単位で、水平方向に幾何学的対称性を持つため、ＤＣＴにより得られるＤＣＴ係数は、垂直方向に離散的となり、後段におけるエントロピー符号化により、効率的な圧縮が可能となる。

【0037】

図５は、本実施形態に係る画素補間処理の第２パターンを例示する図である。
この例では、画素補間部１２３は、ＤＧ信号のＧ１及びＧ２をブロック（８×８ピクセル）毎に垂直方向に反転させ、Ｇ１及びＧ２以外の不足領域の補間値として挿入することで、８×８の欠落画素のないＧ信号に変換している。

【0038】

このようにして得られたＧ信号は、８×８のブロック単位で、垂直方向に幾何学的対称性を持つため、ＤＣＴにより得られるＤＣＴ係数は、水平方向に離散的となり、後段におけるエントロピー符号化により、効率的な圧縮が可能となる。

【0039】

図６は、本実施形態に係る画素補間処理の第３パターンを例示する図である。
この例では、画素補間部１２３は、ＤＧ信号のＧ１及びＧ２をブロック（８×８ピクセル）毎に中心点を軸に９０度、時計方向又は反時計方向に回転させ、Ｇ１及びＧ２以外の不足領域の補間値として挿入することで、８×８の欠落画素のないＧ信号に変換している。

【0040】

このようにして得られたＧ信号は、８×８のブロック単位で、対角線方向に幾何学的特徴を持つため、ＤＣＴにより得られるＤＣＴ係数は、対角線方向に離散的となり、後段におけるエントロピー符号化により、効率的な圧縮が可能となる。

【0041】

図７は、本実施形態に係る画素補間を行った場合のＤＣＴ係数を例示する図である。
（ａ）は、８×８ピクセルの元画像に対してＤＣＴを行った場合のＤＣＴ係数である。この場合、低周波領域に大きな値が集中し、高周波領域の値が小さくなっている。

【0042】

（ｂ）は、（ａ）と同一の元画像のＧ１及びＧ２信号をサンプリングした後、第１パターン（図４）の画素補間処理を行った場合のＤＣＴ係数である。この場合、ｖ軸に平行な方向に離散的に係数値が生成され、ｕ軸方向には、０以外を含む列と０の列とが交互に現れる。

【0043】

（ｃ）は、（ａ）と同一の元画像のＧ１及びＧ２信号をサンプリングした後、第２パターン（図５）の画素補間処理を行った場合のＤＣＴ係数である。この場合、ｕ軸に平行な方向に離散的に係数値が生成され、ｖ軸方向には、０以外を含む行と０の行とが交互に現れる。

【0044】

（ｄ）は、（ａ）と同一の元画像のＧ１及びＧ２信号をサンプリングした後、第３パターン（図６）の画素補間処理を行った場合のＤＣＴ係数である。この場合、対角線上に離散的に係数値が生成される。また、ｕ軸方向及びｖ軸方向のいずれにも、０と０以外を含む値とが交互に現れ、対角方向に０の列が現れる。

【0045】

これら（ｂ）〜（ｄ）のように０が規則的に現れる場合、エントロピー符号化に有利となり、符号化の効率が向上する。

【0046】

なお、図４〜図６に示した画素補間部１２３の補間処理は、変換行列フィルタを用いてハードウェア上で処理されてよい。これにより、複雑な計算をすることなく画素補間が実現できる。また、画素補間部１２３は、ソフトウェア処理により、画素補間を実現してもよい。

【0047】

再配置部１２４は、画素分割部１２２により分割されたＲ成分（第２の色成分）及びＢ（第３の色成分）それぞれの画像を、欠落画素を間引いた構造に再配置する。

【0048】

図８は、本実施形態に係る再配置処理を例示する図である。
この例では、再配置部１２４は、ＤＧ信号における８×８のブロックについて、Ｒ成分及びＢ成分をそれぞれ４×４に再配置している。

【0049】

パッケージ化部１２５は、画素補間部１２３によって得られたＧ信号、及び再配置部１２４によって得られたＲ信号及びＢ信号を、ＭＣＵ（Ｍｉｎｉｍｕｍ Ｃｏｄｅｄ Ｕｎｉｔ）単位でパッケージし、符号化部１３に供給する。

【0050】

図９は、本実施形態に係るパッケージ化処理を例示する図である。
この例では、８×８ピクセルのＧ信号４ブロック（計１６×１６ピクセル）と、４×４ピクセルのＲ及びＢ信号のそれぞれ４ブロック（計８×８ピクセル）とをパッケージ化し、４：２：０サンプリング構造のＭＣＵとして扱う場合を示している。

【0051】

以上の説明は、前処理部１２の基本的な機能構成であるが、この他に、ブロック化部１２１の前段には、ノイズ除去回路や、色補正回路、ＹＵＶ変換等の色空間変換回路等が設けられてもよい。

【0052】

図１に戻り、符号化部１３は、前処理部１２より供給されたＭＣＵについて、所定の圧縮方式を用いた符号化によりデータ量の圧縮を行う。このとき、前処理部１２においてＧ信号は、離散的な２次元ヒストグラムを持つ構造に変換されたため、エントロピー符号化の圧縮効率を向上させることができる。
特に、符号化方式がＪＰＥＧの場合、符号化部１３は、ＤＣＴ係数をジグザグスキャンしハフマン符号化を行う。本実施形態においては、スキャン後のシリアルデータは、連続的に０になったり、交互に０と整数とが繰り返されたりするため、符号化部１３は、最適なハフマンテーブルを選択することで、圧縮効率を高めることができる。

【0053】

記録部１４は、符号化部１３により符号化されたデータを、連番ファイル又は動画ファイルへの変換、ＭＸＦ（Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔ）等のコンテナフォーマットへのラッピングを行い、記録媒体１５へ記録する。
また、映像再生時には、記録部１４は、記録媒体１５から符号化された記録データを読み出し、復号部１６へ供給する。
さらに、記録部１４には、ユーザが操作パネル等から記録データの順序入れ替え又は消去等の操作を行った結果を、記録媒体１５に反映させる機能が設けられてもよい。

【0054】

記録媒体１５は、ＳＳＤ（Ｓｏｌｉｄ−Ｓｔａｔｅ Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、磁気テープ等、高速転送が可能なデバイスを用いて構成される。記録媒体１５は、容量増加、転送速度増大、及び信頼性向上等のために、ＲＡＩＤ構成による並列記録を行ってもよい。この場合、ＲＡＩＤ制御は、記録部１４により行われるのが好ましい。

【0055】

復号部１６は、記録部１４より供給された符号化データを復号し、復号した画像データを後処理部１７へ供給する。

【0056】

後処理部１７は、復号部１６により復号された画像データを変換し、映像記録再生装置１に入力されたＤＧ信号を復元する。

【0057】

図１０は、本実施形態に係る後処理部１７の機能構成を示す図である。
後処理部１７は、パッケージ分割部１７１と、色成分分離部１７２と、画素間引部１７３と、再配置部１７４と、画素合成部１７５とを備える。

【0058】

パッケージ分割部１７１は、復号部１６より供給された信号を、ＭＣＵ単位、さらにはブロック（８×８ピクセル）に分割し、色成分分離部１７２に供給する回路である。

【0059】

色成分分離部１７２は、ブロック内のＲ、Ｇ、Ｂの各色成分を分離する回路であり、分離したＧ成分を画素間引部１７３に、Ｂ成分及びＲ成分を再配置部１７４に、それぞれ入力する。

【0060】

画素間引部１７３は、色成分分離部１７２により分離されたＧ成分（第１の色成分）の画像データのうち、画素補間部１２３により補間された画素を間引き、元画像のＧ１及びＧ２成分のみを取り出す回路である。

【0061】

再配置部１７４は、色成分分離部１７２により分離されたＲ成分（第２の色成分）及びＢ成分（第３の色成分）それぞれの画像の画素を、Ｇ成分の欠落画素位置へ再配置する回路である。

【0062】

画素合成部１７５は、画素間引部１７３から出力されたＧ１成分及びＧ２成分と、再配置部１７４から出力されたＲ成分及びＢ成分と合成することで、ＤＧ信号を生成する回路である。

【0063】

図１１は、本実施形態に係る画素間引部１７３、再配置部１７４及び画素合成部１７５によってＤＧ信号が復元される様子を示す図である。
このように、Ｇ成分から半分の画素が間引かれたＧ１及びＧ２の画像データと、Ｒ成分及びＢ成分をＧ１及びＧ２の隙間に再配置した画像データとが合成され、欠落画素のないＤＧ信号が生成される。

【0064】

出力部１８は、後処理部１７より得られたＤＧ信号を、外部装置に出力する。外部装置とは、ＤＧ信号インターフェースを持つスーパーハイビジョンモニタの他、カラーグレーディング装置又は伝送装置等の映像処理装置であってもよい。

【0065】

本実施形態によれば、映像記録再生装置１は、ＤＧ信号のＢａｙｅｒ配列のフレーム画像のうち、Ｇ信号について、幾何学的特徴を持つ補間処理を行うことにより、フル解像度のＧ信号を生成する。また、映像記録再生装置１は、このような補間処理を用いて得られた信号について、サンプリング構造が４：２：０のフォーマットの既存の符号化方式による圧縮符号化を行う。

【0066】

したがって、映像記録再生装置１は、ＤＧ信号を既存の符号化方式を用いて圧縮できるため、符号化ハードウェアのコストを抑えることができる。また、映像記録再生装置１は、ＤＧ信号のフレーム画像を、空間的に複数の画像に分割することなく、画像の連続性を保ちつつ圧縮を行えるため、圧縮ひずみを抑えられる。さらに、映像記録再生装置１は、幾何学的特徴を有する画素の補間手法を採用したことにより、空間周波数変換後の２次元ヒストグラムを、ある特定の成分（ｕ軸方向、ｖ軸方向又は対角方向）に離散させることができるため、エントロピー符号化による圧縮効率が向上し、高精細映像信号を効率的に符号化できる。

【0067】

このとき、映像記録再生装置１は、符号化方式の処理ブロック単位に分割し、このブロック毎に補間処理を行うので、規定の符号化方式に適合した補間処理によって符号化効率を向上できる。

【0068】

また、映像記録再生装置１は、水平方向に反転、垂直方向に反転、又は９０度回転といった画像変換によって、補間処理後の幾何学的特徴を容易に作り出し、符号化効率を向上できる。

【0069】

また、映像記録再生装置１が圧縮した画像を記録する場合、記録データが複数に分割されないため、記録媒体の管理や、記録データの閲覧、バックアップといった作業が容易になる。また、記録データの再生時は、複数の記録媒体又は複数の記録領域を並列して読み出すためのタイミング同期回路が不要となるため、映像記録再生装置１の装置構成を単純化できる。

【0070】

［第２実施形態］
以下、本発明の第２実施形態について説明する。
なお、第１実施形態と同様の構成については、同一の符号を付し、説明を省略又は簡略化する。

【0071】

図１２は、本実施形態に係る映像圧縮伝送システム２の機能構成を示す図である。
映像圧縮伝送システム２は、伝送装置２ａ（映像圧縮装置）から受信装置２ｂ（映像再生装置）へ、伝送路３を介してＤＧ信号を伝送する。

【0072】

伝送装置２ａは、入力部１１と、前処理部１２と、符号化部１３と、変調部２１と、伝送部２２とを備える。
受信装置２ｂは、受信部２３と、復調部２４と、復号部１６と、後処理部１７と、出力部１８とを備える。
ここで、入力部１１、前処理部１２、符号化部１３、復号部１６、後処理部１７、及び出力部１８は、第１実施形態の映像記録再生装置１（図１）と同様の構成でよい。

【0073】

変調部２１は、圧縮された符号化データを、伝送路３に適合した伝送用の信号に変換する。
伝送部２２は、伝送用の信号を物理信号として伝送路３に送出する。
伝送路３は、電気通信路、光ファイバ、導波管、又は自由空間における搬送波等であってよい。

【0074】

受信部２３は、伝送された信号を受信する。
復調部２４は、受信した伝送用の信号を、符号化データへと戻す。

【0075】

本実施形態によれば、映像圧縮伝送システム２は、高精細な映像信号を効率的に符号化できるので、限られた伝送帯域でも、高画質に映像を伝送できる。

【0076】

［実施例］
以下、前述の実施形態の効果を示すために行ったシミュレーションの手順及び結果を示す。
この例では、記録再生の対象となるテスト画像に、フルカラーのハイビジョン画像（解像度１９２０×１０８０）を用いたが、スーパーハイビジョン画像、又は他の高精細画像が入力された場合にも同様の結果が期待できる。

【0077】

図１３は、本実施形態に係るシミュレーションにより得られたＰＳＮＲ（ピーク信号対雑音比）とＧ信号の圧縮後のファイルサイズとの関係を示す図である。

【0078】

ここで、グラフにおけるＤＣＴ局所化１及びＤＣＴ局所化２は、実施形態の圧縮手法による結果を示し、以下の手順によりシミュレーションを行ったものである。
（手順１）テスト画像をＢａｙｅｒ配列にサブサンプリングする。
（手順２）（１）で得られた画像のうち、Ｇ信号について、８×８ブロック単位で、第１パターン（図４）及び第３パターン（図６）の手法により画素補間を行う。
（手順３）画素補間したＧ信号をＪＰＥＧにより圧縮符号化する。
（手順４）（３）で符号化されたＧ信号のファイルサイズを測定する。
（手順５）符号化された信号を復号する。
（手順６）（５）で得られた画像を、Ｂａｙｅｒ配列にサブサンプリングする。
（手順７）（１）と（６）とで得られたＧ信号について、ＰＳＮＲを計算する。

【0079】

また、上記手法の比較対象として、以下の手順によるシミュレーション結果を、従来手法として示している。
（手順１）テスト画像をＢａｙｅｒ配列にサブサンプリングする。
（手順２）（１）で得られた画像を、Ｇ１，Ｇ２，Ｒ，Ｂの４つの低解像度画像に分割する。
（手順３）（２）で得られた画像のＧ１及びＧ２信号を、それぞれ別々にＪＰＥＧにより圧縮符号化する。
（手順４）（３）で符号化されたＧ１及びＧ２信号のファイルサイズを測定する。
（手順５）符号化された信号を復号する。
（手順６）（１）と（５）とで得られたＧ信号について、ＰＳＮＲを計算する。

【0080】

上記シミュレーションでは、ＪＰＥＧのエンコードソフトとして、ＩＪＧ（Ｉｎｄｅｐｅｎｄｅｎｔ ＪＰＥＧ Ｇｒｏｕｐ）が提供する標準プログラム（ｃｊｐｅｇ／ｄｊｐａｇ）を使用した。特に、ハフマン符号化用のテーブル生成は、ｃｊｐｅｇのｏｐｔｉｍｉｚｅスイッチを用いて、最適化を行った。

【0081】

実施形態の手法を用いた場合、ＰＳＮＲがいずれも従来手法と比較して約２ｄＢ程度改善されている。実施形態の手法では、非圧縮のＧ信号のファイルサイズは２０２５ＫＢであり、従来方式の１０１２．５ＫＢよりも増加させていることを考慮すると、実施形態の手法は、従来手法よりも高圧縮であるにも関わらず、画質が優れていることが分かる。

【0082】

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

【0083】

符号化方式に用いる周波数変換としては、ＤＣＴ以外に、離散サイン変換（ＤＳＴ）、アダマール変換、ウェーブレット変換、その他の空間周波数変換を行うものに、広く応用が可能である。
また、本発明には、幾何学的対称性を持つような補間処理以外にも、公知の補間方法を用いることが可能である。その際、複数の補間方法をユーザが切り替え可能であってもよい。

【0084】

前述の実施形態では、映像の記録機能及び再生機能の双方を備えた映像記録再生装置１を説明したが、これには限られない。
例えば、復号部１６、後処理部１７及び出力部１８は、別の再生装置として分離されてもよい。また、記録部１４及び記録媒体１５が別の装置として分離されてもよい。

【0085】

本実施形態では、主に映像記録再生装置の構成と動作について説明したが、本発明はこれに限られず、各構成要素を備え、映像を記録及び再生するための方法、又はプログラムとして構成されてもよい。

【0086】

さらに、映像記録再生装置の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

【0087】

ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0088】

さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

【符号の説明】

【0089】

１ 映像記録再生装置（映像圧縮装置、映像再生装置）
２ 映像圧縮伝送システム
２ａ 伝送装置（映像圧縮装置）
２ｂ 受信装置（映像再生装置）
１１ 入力部
１２ 前処理部
１３ 符号化部
１４ 記録部
１５ 記録媒体
１６ 復号部
１７ 後処理部
１８ 出力部
２１ 変調部
２２ 伝送部
２３ 受信部
２４ 復調部
１２１ ブロック化部
１２２ 画素分割部
１２３ 画素補間部
１２４ 再配置部
１２５ パッケージ化部
１７１ パッケージ分割部
１７２ 色成分分離部
１７３ 画素間引部
１７４ 再配置部
１７５ 画素合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】