特許第6221207号(P6221207)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特許6221207画像処理装置および方法、並びに、プログラム
<>
  • 特許6221207-画像処理装置および方法、並びに、プログラム 図000003
  • 特許6221207-画像処理装置および方法、並びに、プログラム 図000004
  • 特許6221207-画像処理装置および方法、並びに、プログラム 図000005
  • 特許6221207-画像処理装置および方法、並びに、プログラム 図000006
  • 特許6221207-画像処理装置および方法、並びに、プログラム 図000007
  • 特許6221207-画像処理装置および方法、並びに、プログラム 図000008
  • 特許6221207-画像処理装置および方法、並びに、プログラム 図000009
  • 特許6221207-画像処理装置および方法、並びに、プログラム 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6221207
(24)【登録日】2017年10月13日
(45)【発行日】2017年11月1日
(54)【発明の名称】画像処理装置および方法、並びに、プログラム
(51)【国際特許分類】
   H04N 1/41 20060101AFI20171023BHJP
   H04N 19/50 20140101ALI20171023BHJP
【FI】
   H04N1/41 B
   H04N19/50
【請求項の数】16
【全頁数】23
(21)【出願番号】特願2012-130913(P2012-130913)
(22)【出願日】2012年6月8日
(65)【公開番号】特開2013-255179(P2013-255179A)
(43)【公開日】2013年12月19日
【審査請求日】2015年5月22日
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(72)【発明者】
【氏名】福原 隆浩
(72)【発明者】
【氏名】貴家 仁志
【審査官】 西谷 憲人
(56)【参考文献】
【文献】 特開2011−176407(JP,A)
【文献】 特開平07−046407(JP,A)
【文献】 特開2011−150401(JP,A)
【文献】 岩橋 政宏 Masahiro IWAHASHI,ハイダイナミックレンジ画像のための二階層ロスレス符号化 Two Layered Lossless Coding of High Dynamic Range Images,映像情報メディア学会技術報告 Vol.36 No.21 ITE Technical Report,日本,(一社)映像情報メディア学会 The Institute of Image Information and Television Engineers,2012年 6月 4日,第36巻/第21号,17-20
(58)【調査した分野】(Int.Cl.,DB名)
H04N 1/41
H04N 19/00
(57)【特許請求の範囲】
【請求項1】
浮動小数点表現された画像データを可逆な階調写像変換する階調写像変換部と、
前記階調写像変換部により階調写像変換された画像データの画素値をベース層の画像データのビット深度分右にシフトする第1の演算部と、
前記第1の演算部により画素値が前記ベース層の画像データのビット深度分右にシフトされた前記画像データの小数点以下を切り捨てることにより、前記ベース層の画像データを生成する切り捨て部と、
前記階調写像変換部により階調写像変換された画像データと、前記切り捨て部により生成された前記ベース層の画像データを用いて、拡張層のデータを生成する拡張層生成部と
を備える画像処理装置。
【請求項2】
前記階調写像変換部は、可逆の対数写像変換によって前記浮動小数点表現された画像データを階調写像変換する
請求項1に記載の画像処理装置。
【請求項3】
前記階調写像変換部は、前記浮動小数点表現された画像データの指数部と前記指数部の最小値との差分値と、前記浮動小数点表現された画像データの仮数部のビット深度を指数とする2の冪乗とを乗算し、さらに、前記乗算の結果に、前記浮動小数点表現された画像データの仮数部を加算することにより、前記浮動小数点表現された画像データを階調写像変換する
請求項2に記載の画像処理装置。
【請求項4】
前記拡張層生成部は、
前記ベース層の画像データに対して、前記ベース層の画像データのビット深度を指数とする2の冪乗の計算を施す第2の演算部と、
前記階調写像変換部により階調写像変換された画像データと、前記第2の演算部により前記2の冪乗の計算が施された前記ベース層の画像データとの差分データを生成する差分データ生成部と
を備える請求項1に記載の画像処理装置。
【請求項5】
前記第2の演算部は、前記ベース層の画像データの画素値を、前記ベース層の画像データのビット深度分左にシフトする
請求項4に記載の画像処理装置。
【請求項6】
前記切り捨て部により生成された前記ベース層の画像データを符号化するベース層符号化部をさらに備える
請求項1に記載の画像処理装置。
【請求項7】
前記拡張層生成部により生成された前記拡張層のデータを符号化する拡張層符号化部をさらに備える
請求項1に記載の画像処理装置。
【請求項8】
画像処理装置の画像処理方法において、
前記画像処理装置は、
浮動小数点表現された画像データを可逆な階調写像変換し、
階調写像変換された画像データの画素値をベース層の画像データのビット深度分右にシフトし、
画素値が前記ベース層の画像データのビット深度分右にシフトされた前記画像データの小数点以下を切り捨てることにより、前記ベース層の画像データを生成し、
階調写像変換された画像データと、生成された前記ベース層の画像データを用いて、拡張層のデータを生成する
画像処理方法。
【請求項9】
コンピュータを、
浮動小数点表現された画像データを可逆な階調写像変換する階調写像変換部と、
前記階調写像変換部により階調写像変換された画像データの画素値をベース層の画像データのビット深度分右にシフトする第1の演算部と、
前記第1の演算部により画素値が前記ベース層の画像データのビット深度分右にシフトされた前記画像データの小数点以下を切り捨てることにより、前記ベース層の画像データを生成する切り捨て部と、
前記階調写像変換部により階調写像変換された画像データと、前記切り捨て部により生成された前記ベース層の画像データを用いて、拡張層のデータを生成する拡張層生成部と
して機能させるためのプログラム。
【請求項10】
浮動小数点表現された画像データが階調写像変換された画像データから生成されたベース層の画像データの画素値を前記ベース層の画像データのビット深度分左にシフトする演算部と、
前記階調写像変換された画像データと前記ベース層の画像データとを用いて生成された拡張層のデータに、前記演算部により画素値が前記ベース層の画像データのビット深度分左にシフトされた前記ベース層の画像データを加算することにより前記階調写像変換された画像データを生成する加算部と、
前記加算部により生成された前記階調写像変換された画像データを可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する階調写像逆変換部と
を備える画像処理装置。
【請求項11】
前記階調写像逆変換部は、可逆の対数写像逆変換によって前記浮動小数点表現の画像データを生成する
請求項10に記載の画像処理装置。
【請求項12】
前記ベース層の画像データの符号化データを復号するベース層復号部をさらに備え、
前記演算部は、前記ベース層復号部により得られた前記ベース層画像データの画素値を前記ベース層の画像データのビット深度分左にシフトする
請求項10に記載の画像処理装置。
【請求項13】
前記拡張層のデータの符号化データを復号する拡張層復号部をさらに備え、
前記加算部は、前記拡張層復号部により得られた前記拡張層のデータに、前記演算部により画素値が前記ベース層の画像データのビット深度分左にシフトされた前記ベース層の画像データを加算することにより前記階調写像変換された画像データを生成する
請求項10に記載の画像処理装置。
【請求項14】
符号化に関する情報を受け取る受け取り部と、
前記受け取り部により受け取られた前記符号化に関する情報により指定される符号化方式に対応する方式で、前記ベース層の画像データの符号化データを復号するベース層復号部と、
前記受け取り部により受け取られた前記符号化に関する情報により指定される符号化方式に対応する方式で、前記拡張層のデータの符号化データを復号する拡張層復号部と
をさらに備える請求項10に記載の画像処理装置。
【請求項15】
画像処理装置の画像処理方法において、
前記画像処理装置は、
浮動小数点表現された画像データが階調写像変換された画像データから生成されたベース層の画像データの画素値を前記ベース層の画像データのビット深度分左にシフトし、
前記階調写像変換された画像データと前記ベース層の画像データとを用いて生成された拡張層のデータに、画素値が前記ベース層の画像データのビット深度分左にシフトされた前記ベース層の画像データを加算することにより前記階調写像変換された画像データを生成し、
生成された前記階調写像変換された画像データを可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する
画像処理方法。
【請求項16】
コンピュータを、
浮動小数点表現された画像データが階調写像変換された画像データから生成されたベース層の画像データの画素値を前記ベース層の画像データのビット深度分左にシフトする演算部と、
前記階調写像変換された画像データと前記ベース層の画像データとを用いて生成された拡張層のデータに、前記演算部により画素値が前記ベース層の画像データのビット深度分左にシフトされた前記ベース層の画像データを加算することにより前記階調写像変換された画像データを生成する加算部と、
前記加算部により生成された前記階調写像変換された画像データを可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する階調写像逆変換部と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、画像処理装置および方法、並びに、プログラムに関し、特に、生成するデータのデータ量をより低減させることができるようにした画像処理装置および方法、並びに、プログラムに関する。
【背景技術】
【0002】
近年、撮像素子(イメージセンサ)の高ビット化、ディスプレイでの高ビット対応等によって、画像の高ダイナミックレンジ化が進んでいる。
【0003】
高ビット深度画像の符号化表現については、これまで多数の研究結果が報告されている。例えば、トーンマッピングを行うことで、低ビット深度画像を作成し、その復号画像と原画像との差分を別の符号化器で符号化する2段構成の符号化方法が提案されている(例えば、非特許文献1参照)。
【0004】
また、トーンマッピングの代わりにロイドマックス(Lloyd-Max)量子化を適用することで、非可逆圧縮時のビットレート低減を実現する方法が提案されている(例えば、非特許文献2参照)。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】”Bit-depth Scalable Video Coding”, Proc. IEEE Intl. Conf. on Image Processing, pp.I-5〜I-7, 2007 (M.Winken, D.Marpe, etc.)
【非特許文献2】“ビット深度変換処理を用いた高ビット深度画像の符号化に関する基礎検討”、2009信学総大,S-5,2009(伊藤、坂東、高村、上倉、八島)
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、これらの手法では拡張層のビット深度が大きくなり、十分にデータ量を低減させることができない恐れがあった。
【0007】
本技術は、このような状況に鑑みて提案されたものであり、生成するデータのデータ量をより低減させることを目的とする。
【課題を解決するための手段】
【0008】
本技術の一側面は、浮動小数点表現された画像データを可逆な階調写像変換する階調写像変換部と、前記階調写像変換部により階調写像変換された画像データの画素値をベース層の画像データのビット深度分右にシフトする第1の演算部と、前記第1の演算部により画素値が前記ベース層の画像データのビット深度分右にシフトされた前記画像データの小数点以下を切り捨てることにより、前記ベース層の画像データを生成する切り捨て部と、前記階調写像変換部により階調写像変換された画像データと、前記切り捨て部により生成された前記ベース層の画像データを用いて、拡張層のデータを生成する拡張層生成部とを備える画像処理装置である。
【0009】
前記階調写像変換部は、可逆の対数写像変換によって前記浮動小数点表現された画像データを階調写像変換することができる。
【0010】
前記階調写像変換部は、前記浮動小数点表現された画像データの指数部と前記指数部の最小値との差分値と、前記浮動小数点表現された画像データの仮数部のビット深度を指数とする2の冪乗とを乗算し、さらに、前記乗算の結果に、前記浮動小数点表現された画像データの仮数部を加算することにより、前記浮動小数点表現された画像データを階調写像変換することができる。
【0013】
前記拡張層生成部は、前記ベース層の画像データに対して、前記ベース層の画像データのビット深度を指数とする2の冪乗の計算を施す第2の演算部と、前記階調写像変換部により階調写像変換された画像データと、前記第2の演算部により前記2の冪乗の計算が施された前記ベース層の画像データとの差分データを生成する差分データ生成部とを備えることができる。
【0014】
前記第2の演算部は、前記ベース層の画像データの画素値を、前記ベース層の画像データのビット深度分左にシフトすることができる。
【0015】
前記切り捨て部により生成された前記ベース層の画像データを符号化するベース層符号化部をさらに備えることができる。
【0016】
前記拡張層生成部により生成された前記拡張層のデータを符号化する拡張層符号化部をさらに備えることができる。
【0017】
本技術の一側面は、また、画像処理装置の画像処理方法において、前記画像処理装置が、浮動小数点表現された画像データを可逆な階調写像変換し、階調写像変換された画像データの画素値をベース層の画像データのビット深度分右にシフトし、画素値が前記ベース層の画像データのビット深度分右にシフトされた前記画像データの小数点以下を切り捨てることにより、前記ベース層の画像データを生成し、階調写像変換された画像データと、生成された前記ベース層の画像データを用いて、拡張層のデータを生成する画像処理方法である。
【0018】
本技術の一側面は、さらに、コンピュータを、浮動小数点表現された画像データを可逆な階調写像変換する階調写像変換部と、前記階調写像変換部により階調写像変換された画像データの画素値をベース層の画像データのビット深度分右にシフトする第1の演算部と、前記第1の演算部により画素値が前記ベース層の画像データのビット深度分右にシフトされた前記画像データの小数点以下を切り捨てることにより、前記ベース層の画像データを生成する切り捨て部と、前記階調写像変換部により階調写像変換された画像データと、前記切り捨て部により生成された前記ベース層の画像データを用いて、拡張層のデータを生成する拡張層生成部として機能させるためのプログラムである。
【0019】
本技術の他の側面は、浮動小数点表現された画像データが階調写像変換された画像データから生成されたベース層の画像データの画素値を前記ベース層の画像データのビット深度分左にシフトする演算部と、前記階調写像変換された画像データと前記ベース層の画像データとを用いて生成された拡張層のデータに、前記演算部により画素値が前記ベース層の画像データのビット深度分左にシフトされた前記ベース層の画像データを加算することにより前記階調写像変換された画像データを生成する加算部と、前記加算部により生成された前記階調写像変換された画像データ可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する階調写像逆変換部とを備える画像処理装置である。
【0020】
前記階調写像逆変換部は、可逆の対数写像逆変換によって前記浮動小数点表現の画像データを生成することができる。
【0023】
前記ベース層の画像データの符号化データを復号するベース層復号部をさらに備え、前記演算部は、前記ベース層復号部により得られた前記ベース層画像データの画素値を前記ベース層の画像データのビット深度分左にシフトすることができる。
【0024】
前記拡張層のデータの符号化データを復号する拡張層復号部をさらに備え、前記加算部は、前記拡張層復号部により得られた前記拡張層のデータに、前記演算部により画素値が前記ベース層の画像データのビット深度分左にシフトされた前記ベース層の画像データを加算することにより前記階調写像変換された画像データを生成することができる。
【0025】
符号化に関する情報を受け取る受け取り部と、前記受け取り部により受け取られた前記符号化に関する情報により指定される符号化方式に対応する方式で、前記ベース層の画像データの符号化データを復号するベース層復号部と、前記受け取り部により受け取られた前記符号化に関する情報により指定される符号化方式に対応する方式で、前記拡張層のデータの符号化データを復号する拡張層復号部とをさらに備えることができる。
【0026】
本技術の他の側面は、また、画像処理装置の画像処理方法において、前記画像処理装置が、浮動小数点表現された画像データから生成されたベース層の画像データの画素値を前記ベース層の画像データのビット深度分左にシフトし、前記階調写像変換された画像データと前記ベース層の画像データとを用いて生成された拡張層のデータに、画素値が前記ベース層の画像データのビット深度分左にシフトされた前記ベース層の画像データを加算することにより前記階調写像変換された画像データを生成し、生成された前記階調写像変換された画像データを、可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する画像処理方法である。
【0027】
本技術の他の側面は、さらに、コンピュータを、浮動小数点表現された画像データが階調写像変換された画像データから生成されたベース層の画像データの画素値を前記ベース層の画像データのビット深度分左にシフトする演算部と、前記階調写像変換された画像データと前記ベース層の画像データとを用いて生成された拡張層のデータに、前記演算部により画素値が前記ベース層の画像データのビット深度分左にシフトされた前記ベース層の画像データを加算することにより前記階調写像変換された画像データを生成する加算部と、前記加算部により生成された前記階調写像変換された画像データを、可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する階調写像逆変換部として機能させるためのプログラムである。
【0028】
本技術の一側面においては、浮動小数点表現された画像データが可逆な階調写像変換され、階調写像変換された画像データの画素値がベース層の画像データのビット深度分右にシフトされ、画素値がベース層の画像データのビット深度分右にシフトされた画像データの小数点以下が切り捨てられてベース層の画像データが生成され、階調写像変換された画像データと、生成された前記ベース層の画像データを用いて、拡張層のデータが生成される。
【0029】
本技術の他の側面においては、浮動小数点表現された画像データが階調写像変換された画像データから生成されたベース層の画像データの画素値がそのベース層の画像データのビット深度分左にシフトされ、階調写像変換された画像データとそのベース層の画像データとを用いて生成された拡張層のデータに、画素値がベース層の画像データのビット深度分左にシフトされたベース層の画像データが加算されることにより階調写像変換された画像データが生成され、生成された階調写像変換された画像データが可逆な階調写像逆変換されて、浮動小数点表現の画像データが生成される。
【発明の効果】
【0030】
本技術によれば、画像を処理することが出来る。特に、データ量をより低減させることができる。
【図面の簡単な説明】
【0031】
図1】画像符号化装置の主な構成例を示すブロック図である。
図2】画像復号装置の主な構成例を示すブロック図である。
図3】画像符号化装置の主な構成例を示すブロック図である。
図4】符号化処理の流れの例を説明するフローチャートである。
図5】画像復号装置の主な構成例を示すブロック図である。
図6】復号処理の流れの例を説明するフローチャートである。
図7】ビット深度の比較の例を示す図である。
図8】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【0032】
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(画像符号化装置、画像復号装置)
2.第2の実施の形態(コンピュータ)
【0033】
<1.第1の実施の形態>
[1−1 画像符号化装置]
まず、一般的な、高ダイナミックレンジ画像の符号化について説明する。
【0034】
画像や映像のデジタルデータ圧縮において、圧縮結果が複数の階層に分離される符号化方式は、スケーラビリティ機能と呼ばれ、これまでに多くの研究結果が報告されている。近年、これに対して「ビット深度」の階層化が盛んに研究されている。
【0035】
ビット深度とは、画素値を表す階調数を意味し、汎用的な8ビット深度の装置では、2^8=256階調が表現できる。近年では、これまでの固定小数点形式に加え、浮動小数点形式を用いることで、より広い値域(高ダイナミックレンジ)を表現することが可能になっている。
【0036】
このような、浮動小数点形式で表現された高ダイナミックレンジ画像を、ベース層と拡張層の2つに分けて符号化する方法がある。このように2層に分離された符号化データにより、ベース層からは標準的なビット深度の低ダイナミックレンジ画像を復号することができ、ベース層と拡張層とを併せることで、元の高ダイナミックレンジ画像を復号することができる。
【0037】
このようなビット深度の階層化については、これまで多くの研究報告がある。例えば階調写像により高ダイナミックレンジ画像から低ダイナミックレンジ画像を作成し、JPEG(Joint Photographic Experts Group)方式で圧縮を行い、ベース層を生成する。また、低ダイナミックレンジ画像を逆階調写像して、高ダイナミックレンジ画像からの差分を取り、これを拡張層とする。しかしこの方法だと、拡張層は残差データであるため、画素相関が小さいため、高い圧縮率は望めない恐れがあった。
【0038】
図1は、このような浮動小数点精度の画像をベース層と拡張層とに分けてエンコードする画像符号化装置の主な構成例を示すブロック図である。図1に示されるように、画像符号化装置10は、Float to Integer精度変換部11、非可逆トーンマッピング変換部12、可逆エンコーダ部13、非可逆トーンマッピング逆変換部14、差分データ生成部15、およびエントロピ符号化部16を有する。
【0039】
浮動小数点精度のデータは、一般に正負符号部bs、仮数部bM、および指数部bEにより構成される。各値は、以下の式(1)のように表される。
【0040】
bs∈[0,2^Ds],bM∈[0,2^DM],bE∈[0,2^DE] ・・・(1)
【0041】
また、各々のビット深度がDs,DM,DE[bit]であるとする。
【0042】
例えば、浮動小数点精度の画像フォーマットとして普及しているOpenEXR形式ではR,G,Bの各色が、[Ds,DM,DE]=[1,10,5]なるビット深度であり、全体では48[bpp]になる。
【0043】
一方、RGBE形式では符号部は無く、仮数部はR,G,Bの各々がDM=8であるが、指数部はR,G,Bで共通化されておりDE=8であるので、全体では32[bpp]になる。
【0044】
例えば、OpenEXRの場合には、0<bE<31に対して画素値は、以下の式(2)のように定義される。なお、仮数部XMと指数部XEは、それぞれ、以下の式(3)、式(4)のように表現される実数になる。
【0045】
X=XM・2^XE ・・・(2)
XM=(-1)^bs・(1+bM・2^(-DM)) ・・・(3)
XE=bE−15 ・・・(4)
【0046】
説明の都合上、bs=0(つまり正の数)とする。図1において、画像符号化装置10には、画像データの浮動小数点表現の仮数部bM(矢印21)と指数部bE(矢印22)が入力される。Float to Integer精度変換部11は、画像データに対して、浮動小数点精度から整数精度への1対1の写像変換を行う。つまり、仮数部bM(矢印21)と指数部bE(矢印22)は、以下の式(5)のように、整数精度の画像データXI(矢印23)に変換される。
【0047】
XI=(2^DM+bM)・2^(bE−Min(bE)) ・・・(5)
【0048】
なお、上記の変換式は、(G.Ward and M.Simmons, “JPEG-HDR: A Backwards Compatible High Dynamic Range Extension to JPEG”, Proc. 13th Color Imaging Conference, Nov.2005)に紹介されている。
【0049】
非可逆トーンマッピング変換部12は、画像データXIを以下の式(6)および式(7)に従って階調写像(トーンマッピング)し、画像データVに変換する。この結果、ビット深度はDvに縮小される。
【0050】
V*=loge(XI) ・・・(6)
【数1】
・・・(7)
【0051】
なお、このトーンマッピング法は、(R.Xu, S.N.Pattanaik and C.E.Huges, “High Dynamic-Range Still Image Encoding in JPEG2000”, IEEE Computer Graphics and Applications, vol.25, no.6, pp.57-64, 2005)に紹介されている。
【0052】
上述した式(6)および式(7)によって階調写像変換された画像データV(矢印24)は、原画像が高ダイナミックレンジ画像であったのに対して、その原画像に対してビット深度が低減されているので低ダイナミックレンジ画像と言える。つまり、この画像データVがベース層の画像に相当する。
【0053】
可逆エンコーダ部13は、ベース層の画像データV(矢印24)を、所定の方法で可逆にエンコードし、ベース層のエンコード・コードストリーム(矢印25)を生成する。
【0054】
非可逆トーンマッピング逆変換部14は、ベース層の画像データV(矢印24)に対して、非可逆トーンマッピング変換部12による階調写像(トーンマッピング)の逆変換を行い、ビット深度を増大させ、高ダイナミックレンジ画像データ(矢印26)を生成する。
【0055】
差分データ生成部15は、Float to Integer精度変換部11により生成された高ダイナミックレンジ画像データXI(矢印23)から、非可逆トーンマッピング逆変換部14により生成された高ダイナミックレンジ画像データ(矢印26)を減算し、それらの差分データ(矢印27)を生成する。この差分データが拡張層に相当する。
【0056】
エントロピ符号化部16は、その差分データ(矢印27)を所定の方法でエントロピ符号化し、拡張層のエンコード・コードストリームを生成する(矢印28)。
【0057】
画像符号化装置10は、ベース層のエンコード・コードストリーム(矢印25)と、拡張層のエンコード・コードストリーム(矢印28)を出力する。
【0058】
[1−2 画像復号装置]
図2は、図1の画像符号化装置10に対応する画像復号装置の主な構成例を示すブロック図である。
【0059】
図2に示される画像復号装置50は、画像符号化装置10において生成されるベース層のエンコード・コードストリーム(矢印62)と、拡張層のエンコード・コードストリーム(矢印61)を受け取り、それらを復号して、低ダイナミックレンジの画像データ(矢印69)や浮動小数点表現の高ダイナミックレンジの画像データ(矢印67および矢印68)を生成する。
【0060】
図2に示されるように、画像復号装置50は、エントロピ復号部51、可逆デコーダ部52、非可逆トーンマッピング逆変換部53、加算部54、およびInteger to Float変換部55を有する。
【0061】
エントロピ復号部51は、供給された拡張層のエンコード・コードストリーム(矢印61)を、図1のエントロピ符号化部16に対応する方法でエントロピ復号し、拡張層の差分データ(矢印63)を生成する。
【0062】
可逆デコーダ部52は、供給されたベース層のエンコード・コードストリーム(矢印62)を、図1の可逆エンコーダ部13に対応する方法で可逆にデコードし、ベース層の画像データ(矢印64、矢印69)を生成する。
【0063】
非可逆トーンマッピング逆変換部53は、図1の非可逆トーンマッピング逆変換部14と同様の方法で、ベース層の画像データ(矢印64)に対して、階調写像(トーンマッピング)の逆変換を行い、ビット深度を増大させ、高ダイナミックレンジ画像データ(矢印65)を生成する。
【0064】
加算部54は、エントロピ復号部51により生成された拡張層の差分データ(矢印63)と、非可逆トーンマッピング逆変換部53により生成された高ダイナミックレンジ画像データ(矢印65)とを加算し、ベース層と拡張層とを合わせた高ダイナミックレンジ画像データ(矢印66)を生成する。
【0065】
Integer to Float変換部55は、整数精度の高ダイナミックレンジ画像データ(矢印66)に対して、図1のFloat to Integer精度変換部11による写像変換の逆変換、すなわち、整数精度から浮動小数点精度への1対1の写像変換を行う。つまり、整数精度の画像データ(矢印66)は、上述した式(5)のように、仮数部bM(矢印67)と指数部bE(矢印68)に変換される。
【0066】
[1−3 圧縮率]
以上のような方法では、拡張層の圧縮率が非常に低くなることである。図1の画像符号化装置10において、XIのビット深度は、以下の式(8)のようになる。
【0067】
DI=DM+2^DE ・・・(8)
【0068】
したがって、ビット深度が大きく、その分、画像のデータサイズが大きくなる恐れがあった。また、これにより、差分データのビット深度も大きくなるので、ロスレスの(可逆な)画像符号化・復号を実現することが困難であった。また、復号画像と原画像との差分のビット数が長くなってしまい、元々の原画像のロスレス表現ができない恐れがあった。
【0069】
また、画像符号化装置10においては、差分データに対してエントロピ符号化が行われるが、差分データは基本的に隣接画素の間に相関が無いので、DCT(Discrete Cosine Transform)やDWT(Discrete Wavelet Transform)等の変換処理では、圧縮効果が望めない恐れがあった。
【0070】
[1−4 画像符号化装置]
そこで、ビット深度をより低減させるように、可逆に階調写像変換を行うようにする。図3は、その場合の画像符号化装置の主な構成例を示すブロック図である。図3に示される画像符号化装置100は、画像データを処理する画像処理装置の一態様であり、入力される浮動小数点表現の高ダイナミックレンジの画像データから拡張層のデータとベース層の低ダイナミックレンジの画像データとを生成する。
【0071】
図4に示されるように、画像符号化装置100は、可逆トーンマッピング部101、ベース層生成部111、拡張層生成部112、可逆エンコーダ部104、並びにエントロピ符号化部107を有する。
【0072】
説明の都合上、bs=0(つまり正の数)とする。図1において、画像符号化装置100には、高ダイナミックレンジの画像データの浮動小数点表現の仮数部bM(矢印121)と指数部bE(矢印122)が入力される。可逆トーンマッピング部101は、その高ダイナミックレンジの画像データに対して、以下の式(9)に示されるような、ロスレスの(可逆な)対数写像変換を行い、階調写像変換された画像データXL(矢印123)を生成する。
【0073】
XL=(bE−Min(bE))・2^DM+bM ・・・(9)
【0074】
ベース層生成部111は、可逆トーンマッピング部101により階調写像変換された画像データXL(矢印123)のビット深度を低減させてベース層の画像データを生成する。ベース層生成部111は、2^(−DV)変換部102およびFloor部103を有する。
【0075】
2^(−DV)変換部102は、ベース層のビット深度をDVとすると、写像変換後の画像データXL(矢印123)の画像値に対して2の(−DV)乗の計算を施し、ビット深度が低減された画像データ(矢印124)を生成する。
【0076】
Floor部103は、ビット深度が低減された画像データ(矢印124)の画素値の小数点以下を切り捨てることにより画素値を整数化し、ベース層の画像データ(矢印125)を生成する。この画像データ(矢印125)は、高ダイナミックレンジの画像データ(矢印121および矢印122)に比べてビット深度が低減された低ダイナミックレンジの画像データである。
【0077】
可逆エンコーダ部104は、ベース層の画像データ(矢印125)を、所定の方法で可逆にエンコードし、ベース層のエンコード・コードストリーム(矢印126)を生成する。この符号化方法は、可逆であれば任意である。
【0078】
拡張層生成部112は、可逆トーンマッピング部101により階調写像変換された画像データXL(矢印123)と、ベース層生成部111により生成されたベース層の画像データ(矢印125)を用いて、拡張層のデータを生成する。拡張層生成部112は、2^(DV)変換部105および差分データ生成部106を有する。
【0079】
2^(DV)変換部105は、Floor部103により生成されたベース層の画像データ(矢印125)の画像値に対して2のDV乗の計算を施し、ビット深度が増大された画像データ(矢印127)を生成する。つまり、2^(DV)変換部105は、低減された画像データのビット深度を元に戻す。
【0080】
差分データ生成部106は、可逆トーンマッピング部101により階調写像変換された画像データXL(矢印123)から、2^(DV)変換部105により生成された画像データ(矢印127)を減算し、それらの差分データ(矢印128)を生成する。この差分データが拡張層に相当する。
【0081】
エントロピ符号化部107は、その差分データ(矢印128)を、所定の方法でエントロピ符号化し、拡張層のエンコード・コードストリームを生成する(矢印129)。この符号化方法は可逆であれば任意である。エントロピ符号化以外の符号化方法であってもよい。
【0082】
画像符号化装置100は、ベース層のエンコード・コードストリーム(矢印126)と、拡張層のエンコード・コードストリーム(矢印129)を出力する。その際、画像符号化装置100は、それらの符号化方法に関する情報を、それぞれのエンコード・コードストリームに含めて復号側に供給するようにしてもよい。また、画像符号化装置100は、それらの符号化方法に関する情報を、それぞれのエンコード・コードストリームとは別のデータとして、復号側に供給するようにしてもよい。なお、画像符号化装置100は、符号化前の、拡張層のデータ(矢印128)や、ベース層の画像データ(矢印125)を出力することもできる。
【0083】
以上の符号化において、可逆トーンマッピング部101が生成する階調写像変換された画像データXLのビット深度DLは、2のべき乗表現では、2^DM×2^DE=2^(DM+DE)になるため、以下の式(10)のように表される。
【0084】
DL=DM+DE ・・・(10)
【0085】
したがって、写像変換後の画像データのビット深度が、画像符号化装置10(図1)の場合(式(8))と比べて大幅に低減される。つまり、画像符号化装置100は、拡張層のデータ(矢印128)のデータ量をより低減させることができる。すなわち、画像符号化装置100は、拡張層のエンコード・コードストリーム(矢印129)やベース層のエンコード・コードストリーム(矢印126)の符号量を低減させることができる(符号化効率を向上させることができる)。また、ビット深度が少ないので可逆な変換が可能である。したがって、復号画像の画質を向上させることができる。
【0086】
また、この場合、画像データ(矢印127)は、ビットシフトされ、小数点以下の画素値が切り捨てられ、さらに、逆ビットシフトが行われただけである。したがって、画像データ(矢印123)の画素値と、画像データ(矢印127)の画素値との間の相関性は非常に高い。つまり、差分データ生成部106が生成する差分データ(矢印128)は、画像データ(矢印123)が有する画素間の相関性を維持することができる。したがって、エントロピ符号化部107は、その画素相関を利用してより効率よく符号化することができる。つまり、画像符号化装置100は、拡張層のエンコード・コードストリーム(矢印129)の符号化効率を向上させることができる。
【0087】
さらに、2^(−DV)変換部102は、右方向に(DV)ビットシフト演算することによりビット深度変換の演算を実現することができる。したがって、2^(−DV)変換部102は、非常に小さい計算負荷で、画像データのビット深度変換を行うことができる(画像データのビット深度を低減させることができる)。つまり、画像符号化装置100は、より容易にベース層の画像データ(矢印125)(ベース層のエンコード・コードストリーム(矢印126))を生成することができる。
【0088】
もちろん、2^(DV)変換部105も、左方向に(DV)ビットシフト演算することによりビット深度変換の演算を実現することができる。したがって、2^(DV)変換部105は、非常に小さい計算負荷で、画像データのビット深度変換を行うことができる(画像データのビット深度を増大させることができる)。つまり、画像符号化装置100は、より容易に拡張層のデータ(矢印128)(拡張層のエンコード・コードストリーム(矢印129))を生成することができる。
【0089】
なお、ベース層の画像のビット深度DVは、任意に設定することができる。これにより、例えば、ベース層の画像データを出力(表示する)デバイスやディスプレイの階調表現能力に応じて、このビット深度DVを設定することができる。つまり、画像符号化装置100は、用途に応じた画像データを生成することができるので、より多様なシステムに適用することができる。
【0090】
また、そのビット深度DVの大小に関わらず、ビット深度変換処理は、ビットシフトにより実現することができる。したがって、画像符号化装置100は、容易に、任意のビット深度のベース層の画像データを生成することができ、また、それに応じた拡張層のデータを生成することができる。
【0091】
[1−5 処理の流れ]
図4のフローチャートを参照して画像符号化装置100により実行される符号化処理の流れの例を説明する。
【0092】
符号化処理が開始されると、可逆トーンマッピング部101は、ステップS101において、浮動小数点表現の高ダイナミックレンジの画像データを取得し、それを可逆に対数写像変換する。
【0093】
ステップS102において、2^(−DV)変換部102は、ステップS101の処理により得られた写像変換後の画像データの画素値に対して2^(−DV)乗する。
【0094】
ステップS103において、Floor部103は、ステップS102の処理により得られた画像データの画素値の小数点以下を切り捨て、ベース層の画像データを生成する。
【0095】
ステップS104において、可逆エンコーダ部104は、ステップS103の処理により得られたベース層の画像データを可逆符号化し、ベース層のエンコード・コードストリームとして出力する。
【0096】
ステップS105において、2^(DV)変換部105は、ステップS103の処理により得られたベース層の画像データの画素値に対して2^(DV)乗する。
【0097】
ステップS106において、差分データ生成部106は、ステップS101の処理により得られた写像変換後の画像データから、ステップS105の処理により得られた画像データを減算し、拡張層の差分データを生成する。
【0098】
ステップS107において、エントロピ符号化部107は、ステップS106の処理により得られた拡張層の差分データをエントロピ符号化し、拡張層のエンコード・コードストリームとして出力する。
【0099】
以上のように符号化処理を行うことにより画像符号化装置100は、データ量をより低減させることができる。なお、ステップS104の処理は省略することができる。その場合、画像符号化装置100は、ベース層の画像データを符号化せずに出力する。また、ステップS107の処理は、省略することができる。その場合、画像符号化装置100は、拡張層のデータを符号化せずに出力する。
【0100】
[1−6 画像復号装置]
図5は、図3の画像符号化装置100に対応する画像処理装置の一態様である画像復号装置の主な構成例を示すブロック図である。
【0101】
図5に示される画像復号装置200は、画像符号化装置100において生成されるベース層のエンコード・コードストリーム(矢印222)と、拡張層のエンコード・コードストリーム(矢印221)を受け取り、それらを復号して、低ダイナミックレンジの画像データ(矢印229)や浮動小数点表現の高ダイナミックレンジの画像データ(矢印227および矢印228)を生成する。なお、画像符号化装置100が、ベース層の画像データや拡張層のデータを符号化せずに出力する場合、画像復号装置200は、それらのデータを取得する。
【0102】
図5に示されるように、画像復号装置200は、エントロピ復号部201、可逆デコーダ部202、画像データ生成部211、および、可逆トーンマッピング逆変換部205を有する。
【0103】
エントロピ復号部201は、供給された拡張層のエンコード・コードストリーム(矢印221)を、図3のエントロピ符号化部107に対応する方法でエントロピ復号し、拡張層の差分データ(矢印223)を生成する。この復号方法は、予め定められていてもよいし、画像符号化装置100から例えば拡張層のエンコード・コードストリームに含められて供給されたり、拡張層のエンコード・コードストリームとは別のデータとして供給されたりした、符号化方法に関する情報に基づいて決定されるようにしてもよい。なお、画像符号化装置100が、拡張層のデータを符号化せずに出力する場合、このエントロピ復号部201は、省略することができる。
【0104】
可逆デコーダ部202は、供給されたベース層のエンコード・コードストリーム(矢印222)を、図3の可逆エンコーダ部104に対応する方法で可逆にデコードし、ベース層の低ダイナミックレンジの画像データ(矢印224、矢印229)を生成する。この復号方法は、予め定められていてもよいし、画像符号化装置100から例えばベース層のエンコード・コードストリームに含められて供給されたり、ベース層のエンコード・コードストリームとは別のデータとして供給されたりした、符号化方法に関する情報に基づいて決定されるようにしてもよい。なお、画像符号化装置100が、ベース層の低ダイナミックレンジの画像データを符号化せずに出力する場合、この可逆デコーダ部202は、省略することができる。
【0105】
画像データ生成部211は、エントロピ復号部201により生成された拡張層の差分データ(矢印223)(若しくは、画像符号化装置100から供給された拡張層の差分データ)と、可逆デコーダ部202により生成されたベース層の低ダイナミックレンジの画像データ(矢印224)(若しくは、画像符号化装置100から供給されたベース層の差分データ)とを用いて、高ダイナミックレンジの画像データ(矢印226)を生成する。この高ダイナミックレンジの画像データは、画像符号化装置100における、階調写像変換された画像データXL(矢印123)に対応する。
【0106】
図5に示されるように画像データ生成部211は、2^(DV)変換部203および加算部204を有する。
【0107】
2^(DV)変換部203は、画像符号化装置100の2^(DV)変換部105と同様の処理部である。つまり、2^(DV)変換部203は、可逆デコーダ部202により生成されたベース層の画像データ(矢印224)の画像値に対して2のDV乗の計算を施し、ビット深度が増大された画像データ(矢印225)を生成する。つまり、2^(DV)変換部203は、例えば画像符号化装置100の2^(−DV)変換部102等において低減された画像データのビット深度を元に戻す。
【0108】
加算部204は、エントロピ復号部201により生成された拡張層の差分データ(矢印223)(若しくは、画像符号化装置100から供給された拡張層の差分データ)と、2^(DV)変換部203により生成された画像データ(矢印225)を加算し、高ダイナミックレンジの画像データ(矢印226)を生成する。
【0109】
可逆トーンマッピング逆変換部205は、高ダイナミックレンジの画像データ(矢印226)に対して、図3の可逆トーンマッピング部101による可逆な対数写像変換の逆変換を行う。つまり、可逆トーンマッピング逆変換部205は、上述した式(9)を用いて、高ダイナミックレンジの画像データ(矢印226)を、仮数部bM(矢印227)と指数部bE(矢印228)に変換する。
【0110】
画像復号装置200は、ベース層の低ダイナミックレンジの画像データ(矢印229)、並びに、拡張層とベース層を併せた、浮動小数点表現の高ダイナミックレンジの画像データの仮数部bM(矢印227)および指数部bE(矢印228)を出力する。
【0111】
したがって、画像復号装置200は、画像符号化装置100により生成されたデータを復号し、低ダイナミックレンジの画像データや高ダイナミックレンジの画像データを生成することができる。つまり、画像復号装置200は、拡張層のデータ(矢印128)のデータ量の低減を実現することができる。すなわち、画像復号装置200は、拡張層のエンコード・コードストリームやベース層のエンコード・コードストリームの符号量の低減を実現することができる(符号化効率の向上を実現することができる)。また、ビット深度が少ないので可逆な変換が可能である。したがって、復号画像の画質向上を実現することができる。
【0112】
また、2^(DV)変換部203は、左方向に(DV)ビットシフト演算することによりビット深度変換の演算を実現することができる。したがって、2^(DV)変換部203は、非常に小さい計算負荷で、画像データのビット深度変換を行うことができる(画像データのビット深度を増大させることができる)。つまり、画像復号装置200は、より容易に拡張層のデータ(矢印226)(拡張層のエンコード・コードストリーム(矢印227および矢印228))を生成することができる。
【0113】
なお、ベース層の画像のビット深度DVは、任意である。つまり、画像復号装置200は、より多様なシステムに適用することができる。
【0114】
[1−7 処理の流れ]
図6のフローチャートを参照して画像復号装置200により実行される復号処理の流れの例を説明する。
【0115】
復号処理が開始されると、エントロピ復号部201は、ステップS201において、拡張層のエンコード・コードストリームを取得し、それを、図4のステップS107の処理において適用された符号化方法に対応する復号方法でエントロピ復号し、拡張層のデータを生成する。
【0116】
ステップS202において、可逆デコーダ部202は、ベース層のエンコード・コードストリームを取得し、それを、図4のステップS104の処理において適用された符号化方法に対応する復号方法で可逆復号し、ベース層の画像データを生成し、出力する。
【0117】
ステップS203において、2^(DV)変換部203は、ステップS202の処理により得られたベース層の画像データの画素値に対して2^(DV)乗する。
【0118】
ステップS204において、加算部204は、ステップS201の処理により得られた拡張層のデータと、ステップS203の処理により得られたベース層の画像データとを加算する。
【0119】
ステップS205において、可逆トーンマッピング逆変換部205は、ステップS204の処理により得られた高ダイナミックレンジの画像データに対して対数写像逆変換を行い、浮動小数点表現の高ダイナミックレンジの画像データを生成し、出力する。
【0120】
以上のように復号処理を行うことにより画像復号装置200は、データ量の低減を実現することができる。なお、ステップS201およびステップS202の処理は省略することができる。
【0121】
[1−8 ビット深度]
図7は、ベース層と拡張層のビット深度の比較の様子を示す図である。
【0122】
図7に示されるグラフにおいて、点線301は、画像符号化装置10(図1)が生成するベース層の画像データのビット深度と拡張層のデータのビット深度の例のプロットを結んだものである。また、実線302は、画像符号化装置100(図3)が生成するベース層の画像データのビット深度と拡張層のデータのビット深度の例のプロットを結んだものである。
【0123】
図7に示されるように、ベース層のビット深度の大小に関わらず、画像符号化装置100(図3)の方が、画像符号化装置10(図1)よりも、少ないビット深度で拡張層のデータを生成することができる。
【0124】
つまり、画像符号化装置100(図3)は、生成するデータのデータ量を、画像符号化装置10(図1)よりも低減させることができる。
【0125】
なお、本技術は、撮像素子(例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ等)からキャプチャした画像を用いた機器やデバイス、撮像素子画像をメモリに書き込むまでの圧縮回路、デジタルスチルカメラ、動画用カムコーダ、医療用画像カメラ、医療用内視鏡、監視カメラ、デジタルシネマ撮影用カメラ、両眼画像カメラ、多眼画像カメラ、LSI(Large Scale Integration)チップでのメモリ削減回路、パーソナルコンピュータ上のオーサリング・ツールまたはそのソフトウェア・モジュール等に適用することができる。
【0126】
<2.第2の実施の形態>
[コンピュータ]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【0127】
図8は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【0128】
図8に示されるコンピュータ900において、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903は、バス904を介して相互に接続されている。
【0129】
バス904にはまた、入出力インタフェース910も接続されている。入出力インタフェース910には、入力部911、出力部912、記憶部913、通信部914、およびドライブ915が接続されている。
【0130】
入力部911は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部912は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部913は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部914は、例えば、ネットワークインタフェースよりなる。ドライブ915は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア921を駆動する。
【0131】
以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部913に記憶されているプログラムを、入出力インタフェース910およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。RAM903にはまた、CPU901が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0132】
コンピュータ(CPU901)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア921に記録して適用することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0133】
コンピュータでは、プログラムは、リムーバブルメディア921をドライブ915に装着することにより、入出力インタフェース910を介して、記憶部913にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部914で受信し、記憶部913にインストールすることができる。その他、プログラムは、ROM902や記憶部913に、あらかじめインストールしておくことができる。
【0134】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0135】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0136】
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0137】
また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
【0138】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0139】
例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0140】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0141】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0142】
なお、本技術は以下のような構成も取ることができる。
(1) 浮動小数点表現された画像データを可逆な階調写像変換する階調写像変換部と、
前記階調写像変換部により階調写像変換された画像データのビット深度を低減させてベース層の画像データを生成するベース層生成部と、
前記階調写像変換部により階調写像変換された画像データと、前記ベース層生成部により生成された前記ベース層の画像データを用いて、拡張層のデータを生成する拡張層生成部と
を備える画像処理装置。
(2) 前記階調写像変換部は、可逆の対数写像変換によって前記浮動小数点表現された画像データを階調写像変換する
前記(1)に記載の画像処理装置。
(3) 前記階調写像変換部は、前記浮動小数点表現された画像データの指数部と前記指数部の最小値との差分値と、前記浮動小数点表現された画像データの仮数部のビット深度を指数とする2の冪乗とを乗算し、さらに、前記乗算の結果に、前記浮動小数点表現された画像データの仮数部を加算することにより、前記浮動小数点表現された画像データを階調写像変換する
前記(2)に記載の画像処理装置。
(4) 前記ベース層生成部は、
前記階調写像変換部により階調写像変換された画像データに対して、前記ベース層の画像データのビット深度を負の指数の絶対値とする2の冪乗の計算を施す第1の演算部と、
前記第1の演算部により前記2の冪乗の計算が施された前記画像データの小数点以下を切り捨てることにより、前記ベース層の画像データを生成する切り捨て部と
を備える前記(3)に記載の画像処理装置。
(5) 前記第1の演算部は、前記階調写像変換部により階調写像変換された画像データの画素値を、前記ベース層の画像データのビット深度分右にシフトする
前記(4)に記載の画像処理装置。
(6) 前記拡張層生成部は、
前記ベース層の画像データに対して、前記ベース層の画像データのビット深度を指数とする2の冪乗の計算を施す第2の演算部と、
前記階調写像変換部により階調写像変換された画像データと、前記第2の演算部により前記2の冪乗の演算が施された前記ベース層の画像データとの差分データを生成する差分データ生成部と
を備える前記(4)または(5)に記載の画像処理装置。
(7) 前記第2の演算部は、前記ベース層の画像データの画素値を、前記ベース層の画像データのビット深度分左にシフトする
前記(6)に記載の画像処理装置。
(8) 前記ベース層生成部により生成された前記ベース層の画像データを符号化するベース層符号化部をさらに備える
前記(1)乃至(7)のいずれかに記載の画像処理装置。
(9) 前記拡張層生成部により生成された前記拡張層のデータを符号化する拡張層符号化部をさらに備える
前記(1)乃至(8)のいずれかに記載の画像処理装置。
(10) 画像処理装置の画像処理方法において、
前記画像処理装置は、
浮動小数点表現された画像データを可逆な階調写像変換し、
階調写像変換された画像データのビット深度を低減させてベース層の画像データを生成し、
階調写像変換された画像データと、生成された前記ベース層の画像データを用いて、拡張層のデータを生成する
画像処理方法。
(11) コンピュータを、
浮動小数点表現された画像データを可逆な階調写像変換する階調写像変換部と、
前記階調写像変換部により階調写像変換された画像データのビット深度を低減させてベース層の画像データを生成するベース層生成部と、
前記階調写像変換部により階調写像変換された画像データと、前記ベース層生成部により生成された前記ベース層の画像データを用いて、拡張層のデータを生成する拡張層生成部と
して機能させるためのプログラム。
(12) 浮動小数点表現された画像データが階調写像変換された画像データと前記階調写像変換された画像データから生成されたベース層の画像データとを用いて生成された拡張層のデータ、並びに、前記ベース層の画像データとを用いて、前記階調写像変換された画像データを生成する画像データ生成部と、
前記画像データ生成部により生成された前記階調写像変換された画像データを可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する階調写像逆変換部と
を備える画像処理装置。
(13) 前記階調写像逆変換部は、可逆の対数写像逆変換によって前記浮動小数点表現の画像データを生成する
前記(12)に記載の画像処理装置。
(14) 前記画像データ生成部は、
前記ベース層の画像データに対して、前記ベース層の画像データのビット深度を指数とする2の冪乗の計算を施す演算部と、
前記拡張層のデータに、前記演算部により前記2の冪乗の計算が施された前記ベース層の画像データを加算することにより前記階調変換された画像データを生成する加算部と
を備える前記(13)に記載の画像処理装置。
(15) 前記演算部は、前記ベース層の画像データの画素値を、前記ベース層の画像データのビット深度分左にシフトする
前記(14)に記載の画像処理装置。
(16) 前記ベース層の画像データの符号化データを復号するベース層復号部をさらに備え、
前記画像データ生成部は、前記ベース層復号部により得られた前記ベース層画像データを用いて、前記階調写像変換された画像データを生成する
前記(12)乃至(15)のいずれかに記載の画像処理装置。
(17) 前記拡張層のデータの符号化データを復号する拡張層復号部をさらに備え、
前記画像データ生成部は、前記拡張層復号部により得られた前記拡張層のデータを用いて、前記階調写像変換された画像データを生成する
前記(12)乃至(16)のいずれかに記載の画像処理装置。
(18) 符号化に関する情報を受け取る受け取り部と、
前記受け取り部により受け取られた前記符号化に関する情報により指定される符号化方式に対応する方式で、前記ベース層の画像データの符号化データを復号するベース層復号部と、
前記受け取り部により受け取られた前記符号化に関する情報により指定される符号化方式に対応する方式で、前記拡張層のデータの符号化データを復号する拡張層復号部と
をさらに備える前記(12)乃至(15)に記載の画像処理装置。
(19) 画像処理装置の画像処理方法において、
前記画像処理装置は、
浮動小数点表現された画像データが階調写像変換された画像データと前記階調写像変換された画像データから生成されたベース層の画像データとを用いて生成された拡張層のデータ、並びに、前記ベース層の画像データとを用いて、前記階調写像変換された画像データを生成し、
生成された前記階調写像変換された画像データを可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する
画像処理方法。
(20) コンピュータを、
浮動小数点表現された画像データが階調写像変換された画像データと前記階調写像変換された画像データから生成されたベース層の画像データとを用いて生成された拡張層のデータ、並びに、前記ベース層の画像データとを用いて、前記階調写像変換された画像データを生成する画像データ生成部と、
前記画像データ生成部により生成された前記階調写像変換された画像データを可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する階調写像逆変換部と
して機能させるためのプログラム。
【符号の説明】
【0143】
100 画像符号化装置, 101 可逆トーンマッピング部, 102 2^(−DV)変換部, 103 Floor部, 104 可逆エンコーダ部, 105 2^(DV)変換部, 106 差分データ生成部, 107 エントロピ符号化部, 111 ベース層生成部, 112 拡張層生成部, 200 画像復号装置, 201 エントロピ復号部, 202 可逆デコーダ部, 203 2^(DV)変換部, 204 加算部, 205 可逆トーンマッピング逆変換部, 211 画像データ生成部
図1
図2
図3
図4
図5
図6
図7
図8