特許第6584118号(P6584118)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧
特許6584118画像圧縮装置、画像圧縮方法及び画像圧縮プログラム
<>
  • 特許6584118-画像圧縮装置、画像圧縮方法及び画像圧縮プログラム 図000002
  • 特許6584118-画像圧縮装置、画像圧縮方法及び画像圧縮プログラム 図000003
  • 特許6584118-画像圧縮装置、画像圧縮方法及び画像圧縮プログラム 図000004
  • 特許6584118-画像圧縮装置、画像圧縮方法及び画像圧縮プログラム 図000005
  • 特許6584118-画像圧縮装置、画像圧縮方法及び画像圧縮プログラム 図000006
  • 特許6584118-画像圧縮装置、画像圧縮方法及び画像圧縮プログラム 図000007
  • 特許6584118-画像圧縮装置、画像圧縮方法及び画像圧縮プログラム 図000008
  • 特許6584118-画像圧縮装置、画像圧縮方法及び画像圧縮プログラム 図000009
  • 特許6584118-画像圧縮装置、画像圧縮方法及び画像圧縮プログラム 図000010
  • 特許6584118-画像圧縮装置、画像圧縮方法及び画像圧縮プログラム 図000011
  • 特許6584118-画像圧縮装置、画像圧縮方法及び画像圧縮プログラム 図000012
  • 特許6584118-画像圧縮装置、画像圧縮方法及び画像圧縮プログラム 図000013
  • 特許6584118-画像圧縮装置、画像圧縮方法及び画像圧縮プログラム 図000014
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6584118
(24)【登録日】2019年9月13日
(45)【発行日】2019年10月2日
(54)【発明の名称】画像圧縮装置、画像圧縮方法及び画像圧縮プログラム
(51)【国際特許分類】
   H04N 1/41 20060101AFI20190919BHJP
   H04N 19/124 20140101ALI20190919BHJP
   H04N 19/146 20140101ALI20190919BHJP
   H04N 19/172 20140101ALI20190919BHJP
【FI】
   H04N1/41
   H04N19/124
   H04N19/146
   H04N19/172
【請求項の数】7
【全頁数】15
(21)【出願番号】特願2015-76800(P2015-76800)
(22)【出願日】2015年4月3日
(65)【公開番号】特開2016-197806(P2016-197806A)
(43)【公開日】2016年11月24日
【審査請求日】2018年2月26日
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100120891
【弁理士】
【氏名又は名称】林 一好
(72)【発明者】
【氏名】菊地 幸大
(72)【発明者】
【氏名】梶山 岳士
(72)【発明者】
【氏名】宮下 英一
【審査官】 松永 隆志
(56)【参考文献】
【文献】 特開平10−257431(JP,A)
【文献】 特開平11−177984(JP,A)
【文献】 特開2010−074263(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 1/00− 1/64
H04N 19/00−19/98
(57)【特許請求の範囲】
【請求項1】
画像データをブロック単位で符号化する際の圧縮パラメータを決定する圧縮制御装置であって、
前記画像データを前記ブロック単位でサンプリングした縮小画像データを生成する画像縮小部と、
高圧縮パラメータ、及び低圧縮パラメータにより、それぞれ前記縮小画像データの符号化を試行する符号化試行部と、
前記低圧縮パラメータによる圧縮後のデータ量から前記高圧縮パラメータによる圧縮後のデータ量までを0から1に正規化した際の、前記縮小画像データの圧縮後の正規化目標データ量を算出する算出部と、
前記低圧縮パラメータから前記高圧縮パラメータまでの圧縮パラメータの離散値それぞれと前記正規化目標データ量の範囲との対応関係を規定した変換テーブルに基づいて、前記算出された正規化目標データ量に対応する圧縮パラメータを決定する決定部と、を備え
前記変換テーブルにおける前記正規化目標データ量は、前記離散値それぞれに対して、圧縮後の正規化データ量の統計分布におけるピークよりも、当該分布の形状に基づいて所定量大きくした値を下限とする範囲が設定される圧縮制御装置。
【請求項2】
前記正規化目標データ量は、前記画像データの圧縮後の目標データ量に対して、前記サンプリングによるデータ量の縮小率の統計に基づいて設定される請求項1に記載の圧縮制御装置。
【請求項3】
前記画像縮小部は、前記サンプリングを、空間的に一様な間隔で行う請求項1又は請求項2に記載の圧縮制御装置。
【請求項4】
前記画像縮小部は、前記サンプリングを、空間的にランダムに行う請求項1又は請求項2に記載の圧縮制御装置。
【請求項5】
前記画像縮小部は、前記サンプリングにおいて、複雑度が高いブロックを優先して選択する請求項1又は請求項2に記載の圧縮制御装置。
【請求項6】
画像データをブロック単位で符号化する際の圧縮パラメータを決定する圧縮制御方法であって、コンピュータの制御部が、
前記画像データを前記ブロック単位でサンプリングした縮小画像データを生成する画像縮小ステップと、
高圧縮パラメータ、及び低圧縮パラメータにより、それぞれ前記縮小画像データの符号化を試行する符号化試行ステップと、
前記低圧縮パラメータによる圧縮後のデータ量から前記高圧縮パラメータによる圧縮後のデータ量までを0から1に正規化した際の、前記縮小画像データの圧縮後の正規化目標データ量を算出する算出ステップと、
前記低圧縮パラメータから前記高圧縮パラメータまでの圧縮パラメータの離散値それぞれと前記正規化目標データ量の範囲との対応関係を規定した変換テーブルに基づいて、前記算出された正規化目標データ量に対応する圧縮パラメータを決定する決定ステップと、を実行し、
前記変換テーブルにおける前記正規化目標データ量は、前記離散値それぞれに対して、圧縮後の正規化データ量の統計分布におけるピークよりも、当該分布の形状に基づいて所定量大きくした値を下限とする範囲が設定される圧縮制御方法。
【請求項7】
画像データをブロック単位で符号化する際の圧縮パラメータを決定するための圧縮制御プログラムであって、コンピュータの制御部に、
前記画像データを前記ブロック単位でサンプリングした縮小画像データを生成する画像縮小ステップと、
高圧縮パラメータ、及び低圧縮パラメータにより、それぞれ前記縮小画像データの符号化を試行する符号化試行ステップと、
前記低圧縮パラメータによる圧縮後のデータ量から前記高圧縮パラメータによる圧縮後のデータ量までを0から1に正規化した際の、前記縮小画像データの圧縮後の正規化目標データ量を算出する算出ステップと、
前記低圧縮パラメータから前記高圧縮パラメータまでの圧縮パラメータの離散値それぞれと前記正規化目標データ量の範囲との対応関係を規定した変換テーブルに基づいて、前記算出された正規化目標データ量に対応する圧縮パラメータを決定する決定ステップと、を実行させ
前記変換テーブルにおける前記正規化目標データ量は、前記離散値それぞれに対して、圧縮後の正規化データ量の統計分布におけるピークよりも、当該分布の形状に基づいて所定量大きくした値を下限とする範囲が設定される圧縮制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、高解像度を有する画像データのデータ量を圧縮する画像圧縮装置、画像圧縮方法及び画像圧縮プログラムに関する。
【背景技術】
【0002】
近年、イメージセンサの高集積化が進み、4K(解像度3840×2160)又は8K(解像度7680×4320)といった超高解像度を有する画像(動画映像を含む)の撮影が可能となった。こうした超高解像度画像はデータ量が膨大になるため、データを記録メディアに保存する場合、又は限られた帯域の伝送路を用いて送信する場合等には、データ量の圧縮が行われる。
【0003】
画像データのデータ量を圧縮する符号化技術は、今日まで様々なものが考案され用いられてきたが、超高解像度画像を実用的なハードウェア規模の装置で圧縮できる符号化技術は限られている。中でも、離散コサイン変換(DCT)とエントロピー符号化(例えば、ハフマン符号化)とを組み合わせた符号化技術(例えば、図13に示すJPEG)は、回路規模が小さく、高速処理に適しているため、低圧縮用途(例えば、ビデオ制作におけるマスターメディアへの収録又は局間素材伝送)であれば、超高解像度画像の符号化技術として有望である。
【0004】
一方、JPEGは、圧縮後のデータ量を目標値以内に収めるための制御機能が無く、一定の圧縮パラメータを用いた場合、対象画像の絵柄の特徴によってデータ量にバラつきが生じる。このため、例えば記録媒体の転送帯域に制限がある記録装置、又は回線帯域に制限がある伝送装置等では、圧縮後のデータ量が帯域の上限を超えないように、安全マージンを確保すると、画質が劣化しやすい高圧縮のパラメータを設定することになる。
【0005】
この問題を解決するために、JPEGのデータ量を制御する手法が提案されている。特許文献1では、画像データを低圧縮及び高圧縮の2つのパラメータでそれぞれ圧縮して、データ量と圧縮パラメータとの近似曲線又は近似直線を求め、得られた近似曲線又は近似直線に基づき、目標のデータ量となる圧縮パラメータを推定する方法が提案されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平10−150633号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、従来の手法を超高解像度画像の圧縮後のデータ量の制御に用いる場合、データ量の大きい超高解像度画像を複数回圧縮処理することになるため、演算時間が飛躍的に増大してしまう。また、特許文献1で提案されている画像データを市松状に2つに分割し、それぞれについて異なる圧縮率で圧縮する手法を用いた場合でも、圧縮符号化の演算時間は短縮するが、データ量制御の演算に必要なフレームメモリ量は、分割前の画像データ分必要なため、回路規模の縮小には不利となる。さらに、JPEGの場合、圧縮パラメータ(特に、量子化パラメータ)と圧縮後のデータ量とは離散的な関係にあるため、近似曲線又は近似直線から直接的に最適な量子化パラメータを求めることは難しく、実際は二分検索を複数回繰り返し、所望のデータ量に漸近させる必要があった。
【0008】
本発明は、画像データの圧縮後のデータ量を効率的に目標値以内に収める画像圧縮装置、画像圧縮方法及び画像圧縮プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る圧縮制御装置は、画像データをブロック単位で符号化する際の圧縮パラメータを決定する圧縮制御装置であって、前記画像データを前記ブロック単位でサンプリングした縮小画像データを生成する画像縮小部と、高圧縮パラメータ、及び低圧縮パラメータにより、それぞれ前記縮小画像データの符号化を試行する符号化試行部と、前記低圧縮パラメータによる圧縮後のデータ量から前記高圧縮パラメータによる圧縮後のデータ量までを0から1に正規化した際の、前記縮小画像データの圧縮後の正規化目標データ量を算出する算出部と、前記低圧縮パラメータから前記高圧縮パラメータまでの圧縮パラメータの離散値それぞれと前記正規化目標データ量の範囲との対応関係を規定した変換テーブルに基づいて、前記算出された正規化目標データ量に対応する圧縮パラメータを決定する決定部と、を備える。
【0010】
前記正規化目標データ量は、前記画像データの圧縮後の目標データ量に対して、前記サンプリングによるデータ量の縮小率の統計に基づいて設定されてもよい。
【0011】
前記画像縮小部は、前記サンプリングを、空間的に一様な間隔で行ってもよい。
【0012】
前記画像縮小部は、前記サンプリングを、空間的にランダムに行ってもよい。
【0013】
前記画像縮小部は、前記サンプリングにおいて、複雑度が高いブロックを優先して選択してもよい。
【0014】
前記変換テーブルは、前記離散値それぞれによる圧縮後の正規化データ量の統計に基づいて前記対応関係が設定されてもよい。
【0015】
前記変換テーブルにおける前記正規化目標データ量は、前記離散値それぞれに対して、圧縮後の正規化データ量の統計分布におけるピークよりも、当該分布の形状に基づいて所定量大きくした値を下限とする範囲が設定されてもよい。
【0016】
本発明に係る圧縮制御方法は、画像データをブロック単位で符号化する際の圧縮パラメータを決定する圧縮制御方法であって、コンピュータの制御部が、前記画像データを前記ブロック単位でサンプリングした縮小画像データを生成する画像縮小ステップと、高圧縮パラメータ、及び低圧縮パラメータにより、それぞれ前記縮小画像データの符号化を試行する符号化試行ステップと、前記低圧縮パラメータによる圧縮後のデータ量から前記高圧縮パラメータによる圧縮後のデータ量までを0から1に正規化した際の、前記縮小画像データの圧縮後の正規化目標データ量を算出する算出ステップと、前記低圧縮パラメータから前記高圧縮パラメータまでの圧縮パラメータの離散値それぞれと前記正規化目標データ量の範囲との対応関係を規定した変換テーブルに基づいて、前記算出された正規化目標データ量に対応する圧縮パラメータを決定する決定ステップと、を実行する。
【0017】
本発明に係る圧縮制御プログラムは、画像データをブロック単位で符号化する際の圧縮パラメータを決定するための圧縮制御プログラムであって、コンピュータの制御部に、前記画像データを前記ブロック単位でサンプリングした縮小画像データを生成する画像縮小ステップと、高圧縮パラメータ、及び低圧縮パラメータにより、それぞれ前記縮小画像データの符号化を試行する符号化試行ステップと、前記低圧縮パラメータによる圧縮後のデータ量から前記高圧縮パラメータによる圧縮後のデータ量までを0から1に正規化した際の、前記縮小画像データの圧縮後の正規化目標データ量を算出する算出ステップと、前記低圧縮パラメータから前記高圧縮パラメータまでの圧縮パラメータの離散値それぞれと前記正規化目標データ量の範囲との対応関係を規定した変換テーブルに基づいて、前記算出された正規化目標データ量に対応する圧縮パラメータを決定する決定ステップと、を実行させる。
【発明の効果】
【0018】
本発明によれば、画像データの圧縮後のデータ量を効率的に目標値以内に収めることができる。
【図面の簡単な説明】
【0019】
図1】第1実施形態に係る映像記録再生装置の機能構成を示す図である。
図2】第1実施形態に係る符号化ブロックを例示する図である。
図3】第1実施形態に係る推定部の機能構成を示す図である。
図4】第1実施形態に係る画像データの第1の縮小方法を例示する図である。
図5】第1実施形態に係る画像データの第2の縮小方法を例示する図である。
図6】第1実施形態に係る画像データの第3の縮小方法を例示する図である。
図7】第1実施形態に係る被縮小画像のデータ量と縮小画像のデータ量との関係を示す図である。
図8】第1実施形態に係る圧縮パラメータ変換テーブルを例示する図である。
図9】第1実施形態に係る圧縮パラメータ推定処理の一例を示すフローチャートである。
図10】第2実施形態に係る映像圧縮伝送装置2の機能構成を示す図である。
図11】実施形態の手法によるシミュレーションの結果を示す図である。
図12】実施形態の手法との比較シミュレーションの結果を示す図である。
図13】JPEGの処理手順を示す図である。
【発明を実施するための形態】
【0020】
[第1実施形態]
以下、本発明の第1実施形態について説明する。
なお、本実施形態では、符号化技術としてJPEGを用いた場合を例に説明するが、本発明は、その他の符号化技術に対しても、同様に適用できる。
【0021】
図1は、本実施形態に係る映像記録再生装置1の機能構成を示す図である。
映像記録再生装置1は、入力部11と、前処理部12と、符号化部13と、記録制御部14と、記録媒体15と、復号部16と、後処理部17と、出力部18と、圧縮制御装置としての推定部19とを備える。
【0022】
入力部11は、外部装置から映像信号を取得する。
外部装置は、高解像度カメラの他、CCU(Camera Control Unit)、レコーダ、スイッチャ等の映像機器が挙げられる。入力部11は、入力された信号のフォーマットを判別し、前処理部12に最適な処理方法を選択させる。
【0023】
前処理部12は、入力された映像信号から、符号化部13で用いられる符号化技術(例えば、JPEG)の処理単位である規定のサンプリング構造(符号化ブロック)を持つ画像データを構成するために、デシリアライズ、色変換及び色差成分のサブサンプリング等の処理を行う。
【0024】
図2は、本実施形態に係る符号化ブロックを例示する図である。
(a)は、YUV4:4:4フォーマットで符号化する場合であり、輝度成分Y及び色差成分UV共に8×8ピクセル単位でブロック化される。
(b)は、YUV4:2:2フォーマットで符号化する場合であり、輝度成分Yは16×8、色差成分UVは8×8ピクセル単位でブロック化される。
(c)は、YUV4:2:0フォーマット、又はYUV4:1:1フォーマットで符号化する場合であり、輝度成分Yは16×16、色差成分UVは8×8ピクセル単位でブロック化される。
(d)は、RGB4:4:4フォーマットで符号化する場合であり、RGB共に8×8ピクセル単位でブロック化される。
【0025】
符号化部13は、前処理部12より供給された前処理後の画像データについて、所定の圧縮方式を用いた符号化によりデータ量の圧縮を行う。このとき、符号化部13は、後述の推定部19により推定された圧縮後のデータ量を目標値以内に収めるための圧縮パラメータを用いて画像データを圧縮する。
【0026】
記録制御部14は、符号化部13により符号化されたデータを、記録媒体15へ記録する。
また、映像再生時には、記録制御部14は、記録媒体15から符号化された記録データを読み出し、復号部16へ供給する。
【0027】
記録媒体15は、SSD(Solid−State Drive)、HDD(Hard Disk Drive)、磁気テープ等、高速転送が可能なデバイスを用いて構成される。記録媒体15は、容量増加、転送速度増大、及び信頼性向上等のために、RAID構成による並列記録を行ってもよい。この場合、RAID制御は、記録制御部14により行われてよい。
【0028】
復号部16は、記録制御部14より供給された符号化データを復号し、復号した画像データを後処理部17へ供給する。
【0029】
後処理部17は、復号部16により復号された画像データに対して、信号の補間、色変換、シリアライズ等を行う。
【0030】
出力部18は、後処理部17より得られた映像信号を、表示装置又は伝送装置等の映像処理装置に出力する。
【0031】
推定部19は、入力画像の圧縮後のデータ量を目標値以内に収めるための圧縮パラメータ(例えば、JPEGにおけるQ値)を推定する。
【0032】
図3は、本実施形態に係る推定部19の機能構成を示す図である。
推定部19は、画像縮小部191と、符号化試行部192と、算出部193と、決定部194と、テーブル記憶部195とを備える。
【0033】
画像縮小部191は、符号化ブロック単位にまとめられた入力画像を、この符号化ブロック単位で画素を間引いてサンプリングすることで縮小画像を生成する。
具体的には、画像縮小部191は、入力画像(解像度N×M)から、圧縮符号化技術の符号化ブロック(解像度a×b)単位で画素間引きを行うことで、縮小画像(解像度na×mb)を生成する。ここで、N,M,n,m,a,bは、0より大きい正の整数とし、N≧na,M≧mbとする。
画像データの縮小方法は、例えば以下の第1〜第3の方法が採用される。
【0034】
図4は、本実施形態に係る画像データの第1の縮小方法を例示する図である。
第1の縮小方法では、符号化ブロック単位の画素間引きは、空間的に一様な間隔で行われる。
【0035】
この例では、符号化ブロックは、8×8ピクセルである。
画像縮小部191は、入力画像(以下、被縮小画像と呼ぶ)を4×4ブロックの小領域に分割する。画像縮小部191は、それぞれの小領域から特定のブロック(例えば左上隅の符号化ブロック)を選択し、このブロックを保持するように画素間引きを行うことで、画像サイズが(N/4)×(M/4)ピクセル、すなわち被縮小画像の1/16となる縮小画像を生成する。
【0036】
このとき、図4に示すように、小領域の行又は列毎に保持するブロックの位置を変える(例えば、奇数行では左上隅、偶数行では右上隅を選択する)ことで、より被縮小画像の持つ絵柄の特徴を保持しやすくなる。
なお、小領域は、4×4ブロック以外の大きさであってもよい。
【0037】
図5は、本実施形態に係る画像データの第2の縮小方法を例示する図である。
第2の縮小方法では、符号化ブロック単位の画素間引きは、空間的にランダムに行われる。
【0038】
この例では、符号化ブロックは、8×8ピクセルである。
画像縮小部191は、被縮小画像を4×4ブロックの小領域に分割する。画像縮小部191は、それぞれの小領域からランダムな位置のブロックを選択し、このブロックを保持するように画素間引きを行うことで、画像サイズが被縮小画像の1/16となる縮小画像を生成する。小領域は、4×4ブロック以外の大きさであってもよい。
ここでは、小領域内でランダムにブロックを選択する例を示したが、画像縮小部191は、小領域に分割せずに、被縮小画像全体でランダムにブロックを選択してもよい。
【0039】
図6は、本実施形態に係る画像データの第3の縮小方法を例示する図である。
第3の縮小方法では、画像縮小部191は、符号化ブロック毎に画像の複雑度を計算し、複雑度の指標が大きいブロックを優先的に選択して、指標が小さいブロックを間引く。
【0040】
この例では、符号化ブロックは、8×8ピクセルである。
画像縮小部191は、被縮小画像を4×4ブロックの小領域に分割する。画像縮小部191は、それぞれの小領域の複雑度を計算し、複雑度が大きいブロックを優先的に選択して画素間引きを行う。
【0041】
複雑度の計算方法は、例えば、符号化ブロック内の画素値の分散を求める方法や、符号化ブロックの空間周波数を求め、高周波成分の値を求める方法等が考えられる。特に、符号化ブロックのDCT係数から複雑度を求める方法は、JPEG等のDCTを用いる符号化技術との親和性が高く、DCT係数の計算結果を、そのまま複雑度として入力することができる。
【0042】
この第3の縮小方法を用いることで、画像縮小部191は、被縮小画像が局所的に複雑な絵柄を持つような場合でも、縮小画像にその複雑さを反映することができる。
ここでは、小領域内で複雑度を計算し、ブロックを選択する例を示したが、画像縮小部191は、小領域に分割せずに、被縮小画像全体で複雑度を計算し、ブロックを選択してもよい。
【0043】
なお、フレーム画像が連続する映像データの場合、これらの縮小方法は、各フレーム画像で同一位置のブロックが選択されてもよいし、各フレーム画像で異なる位置のブロックが選択されてもよい。
【0044】
これらの縮小方法によれば、被縮小画像を圧縮する際の符号化ブロックと、縮小画像を圧縮する際の符号化ブロックとは、同様の特徴を持つ。このため、様々な画像に対して、被縮小画像の圧縮後のデータ量と、縮小画像の圧縮後のデータ量との間には高い相関が得られる。
【0045】
図7は、本実施形態に係る被縮小画像のデータ量と縮小画像のデータ量との関係を示す図である。
この図は、様々な8K画像について、前述の第1の縮小方法による縮小前のデータ量と縮小後のデータ量との関係を2次元のグラフ上にプロットしたものである。
【0046】
この結果から、図に示すような近似直線Lが引けることが分かる。したがって、被縮小画像の圧縮後のデータ量を目標値内に収める圧縮パラメータを推定するためには、被縮小画像の目標値から縮小画像の目標値dtを線形的に求め、縮小画像の圧縮後のデータ量をこの目標値内に収めるための圧縮パラメータを求めればよい。
【0047】
符号化試行部192は、縮小画像をまず第1の圧縮パラメータを用いて圧縮する。次に、符号化試行部192は、圧縮後の第1のデータ量d1と目標データ量dtとの比較結果から第2の圧縮パラメータを決定し、縮小画像をこの第2の圧縮パラメータを用いて圧縮し、第2のデータ量d2を求める。符号化試行部192は、d1<dtの場合、第2の圧縮パラメータを第1の圧縮パラメータより低圧縮に、すなわちQ値を大きく設定し、dt≦d1の場合、第2の圧縮パラメータを第1の圧縮パラメータより高圧縮に、すなわちQ値を小さく設定する。
【0048】
ここで、被縮小画像の圧縮後の目標データ量をDtとすると、画素数の割合からdt=Dt×(namb/NM)としてもよい。また、統計データに基づいて図7の近似直線Lを予め求めておき、符号化試行部192は、近似直線Lの傾きからdtを算出してもよい。このとき、データ量を目標値に確実に収めるために、近似直線Lを安全側に、すなわち縮小画像の目標データ量を小さくするように傾けてもよい。
【0049】
算出部193は、得られた第1のデータ量d1と第2のデータ量d2との間を0から1に正規化した際の、縮小画像の正規化目標データ量fを算出する。
d2>d1の場合、f=(dt−d1)/(d2−d1)であり、d1>d2の場合、f=(dt−d2)/(d1−d2)である。
【0050】
決定部194は、正規化目標データ量fから圧縮パラメータを導出する圧縮パラメータ変換テーブルを用いて、入力画像の圧縮後のデータ量を目標値以内に収めるための第3の圧縮パラメータを決定する。圧縮パラメータ変換テーブルは、テーブル記憶部195に予め記憶されている。
【0051】
圧縮パラメータ変換テーブルの生成例を説明する。
圧縮パラメータ変換テーブルは、信号源(カメラ又は他の信号処理装置)から得られた様々な絵柄の画像を圧縮し、得られたデータ量から統計的に生成される。各圧縮パラメータに対応する正規化目標データ量は、離散値である圧縮パラメータそれぞれに対して、この圧縮パラメータを用いた圧縮後の正規化データ量の統計分布におけるピーク(例えば、平均値又は最頻値等)よりも、この統計分布の形状に基づいて所定量大きくした値を下限とする範囲が設定される。
【0052】
具体的には、まず、信号源から得られた様々な絵柄の画像について、圧縮後のデータ量を求め、圧縮パラメータqに対するデータ量を正規化した値の平均値μ及び標準偏差σを求める。
このとき、正規化データ量の99%(μ−3×σ 〜 μ+3×σ)を目標値fより小さくするために、圧縮パラメータqに対するfの値域を次のように設定する。
μ+3×σ+R<f≦μq+1+3×σq+1+Rq+1
ここで、Rは、システム安定化のための調整値であり、画像の縮小方法に合わせて適宜設定される。
【0053】
この値域を、前述の第一の圧縮パラメータ又は第2の圧縮パラメータとして設定される値の間(例えば、Q値の85から95)で離散値(例えば、1刻みの値)毎に求め、区間毎のテーブルとして、テーブル記憶部195に記憶される。
【0054】
図8は、本実施形態に係る圧縮パラメータ変換テーブルを例示する図である。
ここでは、符号化技術としてJPEGを、圧縮パラメータとして量子化パラメータ(Q値)を用いたときの圧縮パラメータ変換テーブルを示す。
なお、Q値が大きいほど低圧縮で高品質、すなわち圧縮後のデータ量が大きくなる。
【0055】
圧縮パラメータ変換テーブルは、縮小画像を高圧縮及び低圧縮したときの2種類のデータ量の差(d2−d1)と、目標データ量から換算した目標縮小画像データ量と縮小画像を高圧縮したときのデータ量の差(dt−d1)との比f=(dt−d1)/(d2−d1)に対する、最適な量子化パラメータの値を示している。圧縮パラメータとデータ量との間には離散的な関係があるため、正規化目標データ量fの値域に対してQ値が階段状になる。
【0056】
図9は、本実施形態に係る推定部19による圧縮パラメータ推定処理の一例を示すフローチャートである。
ここでは、符号化技術としてJPEG、圧縮パラメータとして量子化パラメータ(Q値)、量子化パラメータの推定範囲として75〜95を用いた場合を示す。
【0057】
ステップS1において、推定部19(符号化試行部192)は、縮小画像をQ値=85で圧縮し、圧縮後のデータ量d85を求める。
【0058】
ステップS2において、推定部19(符号化試行部192)は、求めたd85が目標値dtより小さいか否かを判定する。この判定がYESの場合、処理はステップS3に移り、判定がNOの場合、処理はステップS6に移る。
【0059】
ステップS3において、推定部19(符号化試行部192)は、縮小画像をQ値=95で圧縮し、圧縮後のデータ量d95を求める。
【0060】
ステップS4において、推定部19(算出部193)は、正規化目標データ量f=(dt−d85)/(d95−d85)を算出する。
【0061】
ステップS5において、推定部19(決定部194)は、圧縮パラメータ変換テーブルを参照し、正規化目標データ量fに対応するQ値を決定する。
【0062】
ステップS6において、推定部19(符号化試行部192)は、縮小画像をQ値=75で圧縮し、圧縮後のデータ量d75を求める。
【0063】
ステップS7において、推定部19(算出部193)は、正規化目標データ量f=(dt−d75)/(d85−d75)を算出する。
【0064】
ステップS8において、推定部19(決定部194)は、圧縮パラメータ変換テーブルを参照し、正規化目標データ量fに対応するQ値を決定する。
【0065】
本実施形態によれば、推定部19は、第1の解像度を持つ入力画像から、符号化ブロック単位で画素間引きを行い、第2の解像度を持つ縮小画像を生成する。そして、推定部19は、第1の圧縮パラメータ及び第2の圧縮パラメータで縮小画像を圧縮し、得られた第1のデータ量及び第2のデータ量を用いて、圧縮パラメータ変換テーブルから、入力画像の圧縮後のデータ量を目標値以内に収めるための第3の圧縮パラメータを推定する。
これにより、推定部19は、超高解像度の画像データの圧縮後のデータ量を、短い計算時間と少ないメモリ量で、バラつきを抑え、目標値以内に効率的に制御することが可能となる。したがって、記録装置又は伝送装置等の帯域に制限があるシステムにおいても、安定して転送することができ、システム設計も容易になる。
【0066】
縮小画像を圧縮する際の目標データ量は、サンプリング(間引き)によるデータ量の縮小率の統計に基づいて、元の入力画像の圧縮後の目標データ量から換算されるので、推定部19は、より現実に則した対応関係によって、精度良く圧縮パラメータを推定できる。
【0067】
縮小画像を生成する際のサンプリングは、空間的に一様な間隔、又はランダムで行われると、元画像の特徴が保持されやすく、圧縮パラメータの推定精度の向上が期待できる。
また、推定部19は、サンプリングにおいて、複雑度が高いブロックを優先して選択すると、複雑度が高く圧縮効率が低いブロックで符号化を試行することにより、元画像の圧縮後のデータ量を目標値により確実に収めることができる。
【0068】
圧縮パラメータ変換テーブルは、様々な絵柄の画像から圧縮パラメータの離散値それぞれについて統計的に生成されるので、推定部19は、二分検索等の負荷の大きい処理によらず高精度に圧縮パラメータを推定できる。
【0069】
圧縮パラメータ変換テーブルは、各圧縮パラメータに対応付けられる目標データ量の値域が、統計データの平均値(μ)から分散に基づく所定量(3×σ+R)だけ大きく(低圧縮側へシフト)した値を下限として設定されるので、推定部19は、安全を見込んだ圧縮パラメータを決定でき、元画像の圧縮後のデータ量を目標値により確実に収めることができる。
【0070】
[第2実施形態]
以下、本発明の第2実施形態について説明する。
なお、第1実施形態と同様の構成については、同一の符号を付し、説明を省略又は簡略化する。
【0071】
図10は、本実施形態に係る映像圧縮伝送装置2の機能構成を示す図である。
映像圧縮伝送装置2は、高解像度カメラ等の外部装置から入力された映像信号を圧縮符号化及び変調し、変調信号を伝送路へ送出する。
【0072】
映像圧縮伝送装置2は、入力部11と、前処理部12と、符号化部13と、推定部19と、変調部21と、出力部22とを備える。
ここで、入力部11、前処理部12、符号化部13及び推定部19は、第1実施形態の映像記録再生装置1(図1)と同様の構成でよい。
【0073】
変調部21は、圧縮された符号化データを、伝送路に適合した伝送用の変調信号に変換する。
出力部22は、変調信号の増幅等を行い、伝送路へ出力する。伝送路は、電気通信路、光ファイバ、導波管、又は自由空間における搬送波等であってよい。
【0074】
本実施形態によれば、映像圧縮伝送装置2は、高精細な映像信号を効率的に目標データ量に圧縮符号化できるので、限られた伝送帯域でも、高画質に映像を伝送できる。
【0075】
[実施例]
以下、前述の実施形態の効果を示すために行ったシミュレーションの手順及び結果を示す。
ここでは、以下の条件によるシミュレーションを行った。
(1)テスト画像: 4種類の画像(解像度7680×4320、12bit/pixel)
(2)符号化技術: JPEG
(3)フォーマット: YUV4:2:0
(4)画像縮小方法: 符号化ブロック単位の画素間引き(図4の第1の縮小方法)
(5)圧縮パラメータ: 量子化パラメータQ値(75〜95の間で推定)
(6)目標データ量:12MByte(YUV4:2:0 約1/6圧縮)
【0076】
図11は、前述の実施形態による手法で推定した量子化パラメータQ値を用いて、それぞれの画像について圧縮を行った結果を示す図である。
横軸は画像の種類、縦軸は圧縮後のデータ量を示す。本実施形態によれば、圧縮後のデータ量を、目標データ量を超えない範囲で、精度よく漸近させることができた。
【0077】
図12は、前述の実施形態による手法との比較として、量子化パラメータQ値を一定にして、それぞれの画像について圧縮を行った結果を示す図である。
この場合、圧縮後のデータ量は画像によってバラつきがあり、画像A,C及びDで、目標データ量を大きく下回っている。これはすなわち、転送帯域の利用効率が低下することを示す。また一方で、画像Bについては、目標データ量を大きく越えてしまっている。これは帯域に制限があるシステムにおいては、転送エラーの原因となる。
【0078】
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
【0079】
本実施形態の手法は、JPEGに限らず、符号化ブロック単位での処理を行う種々の符号化技術に適用が可能である。
また、本実施形態は、超高解像度映像の記録装置又は伝送装置としての利用を前提に説明したが、これらには限られず、一般的なデジタルスチルカメラ等、画像データの圧縮を要する様々な用途に広く適用できる。
【0080】
本実施形態では、主に圧縮制御装置の構成と動作について説明したが、本発明はこれに限られず、各構成要素を備え、画像データを圧縮符号化するための方法、又はプログラムとして構成されてもよい。
【0081】
さらに、圧縮制御装置の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
【0082】
ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0083】
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【0084】
1 映像記録再生装置
2 映像圧縮伝送装置
19 推定部(圧縮制御装置)
191 画像縮小部
192 符号化試行部
193 算出部
194 決定部
195 テーブル記憶部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13