特許 7049437 ハイダイナミックレンジ画像を符号化、復号化および表現するための手法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-29

(45)【発行日】2022-04-06

(54)【発明の名称】ハイダイナミックレンジ画像を符号化、復号化および表現するための手法

(51)【国際特許分類】

   H04N 1/64 20060101AFI20220330BHJP

   H04N 19/36 20140101ALI20220330BHJP

   H04N 19/46 20140101ALI20220330BHJP

   H04N 19/85 20140101ALI20220330BHJP

【ＦＩ】

H04N1/64

H04N19/36

H04N19/46

H04N19/85

【請求項の数】 12

【外国語出願】

(21)【出願番号】P 2020217307

(22)【出願日】2020-12-25

(62)【分割の表示】P 2019191221の分割

【原出願日】2015-01-06

(65)【公開番号】P2021100246

(43)【公開日】2021-07-01

【審査請求日】2021-01-21

(31)【優先権主張番号】61/924,345

(32)【優先日】2014-01-07

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100101683

【弁理士】

【氏名又は名称】奥田 誠司

(74)【代理人】

【識別番号】100155000

【弁理士】

【氏名又は名称】喜多 修市

(74)【代理人】

【識別番号】100188813

【弁理士】

【氏名又は名称】川喜田 徹

(74)【代理人】

【識別番号】100202197

【弁理士】

【氏名又は名称】村瀬 成康

(72)【発明者】

【氏名】ナイナン，アジト

【審査官】西谷 憲人

(56)【参考文献】

【文献】特開２０１５－０３５７９８（ＪＰ，Ａ）

【文献】特開平１１－３３１６１８（ＪＰ，Ａ）

【文献】特開２００５－１８４５３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／６４

Ｈ０４Ｎ １９／３６

Ｈ０４Ｎ １９／４６

Ｈ０４Ｎ １９／８５

(57)【特許請求の範囲】

【請求項1】

ハイダイナミックレンジ画像を復号化する方法であって、
ベースレイヤデータを受け取り、ここで、前記ベースレイヤデータはローダイナミックレンジバージョンの前記ハイダイナミックレンジ画像を含む、ことと、
符号化した後における前記ベースレイヤデータの変更を示すエンコーダ変更パラメータを受け取ることと、
前記ハイダイナミックレンジ画像の残差比データを受け取り、ここで、前記残差比データは、前記ハイダイナミックレンジ画像の輝度値と前記ベースレイヤデータの対応する輝度値との比を記述する情報を含む、ことと、
前記ベースレイヤデータについてのデコータ変更パラメータを算出することと、
前記エンコーダ変更パラメータと前記デコータ変更パラメータとを比較して受信した前記ベースレイヤデータが符号化の後に変更されたかどうかを決定することと、
受信した前記ハイダイナミックレンジ画像の暗号化パラメータを受け取ることと、
前記暗号化パラメータを用いて前記残差比データを復号化することと、
を包含する方法。

【請求項2】

前記暗号化パラメータを用いて前記残差比データを復号化することは、セグメント単位で行われる、請求項１に記載の方法。

【請求項3】

前記エンコーダ変更パラメータおよび前記デコータ変更パラメータは、ハッシュ関数を前記ベースレイヤデータに適用することで生成されるハッシュ値である、請求項１または２に記載の方法。

【請求項4】

前記ハッシュ関数は、非線形ルックアップテーブル、暗号的ハッシュ関数、非暗号的ハッシュ関数、予め規定された集合から１つのハッシュ関数を選択するランダム化、1つ以上の巡回冗長検査、および、１つ以上のチェックサムのうちの１つによって実施される、
請求項３に記載の方法。

【請求項5】

前記エンコーダ変更パラメータおよび前記デコータ変更パラメータは、フィンガープリンティングまたはメディア透かし法を前記ベースレイヤデータに適用することで生成される、請求項１または２に記載の方法。

【請求項6】

ハイダイナミックレンジ画像を符号化する方法であって、
ハイダイナミックレンジ画像を受け取ることと、
前記ハイダイナミックレンジ画像についてのベースレイヤデータおよび残差比データを決定し、ここで、前記ベースレイヤデータはローダイナミックレンジバージョンの前記ハイダイナミックレンジ画像を含み、前記残差比データは、前記ハイダイナミックレンジ画像の輝度値と前記ベースレイヤデータの対応する輝度値との比を記述する情報を含む、ことと、
符号化ハイダイナミックレンジ画像に前記残差比データを格納することと、
符号化した後における前記ベースレイヤデータの変更を示すエンコーダ変更パラメータを算出し、ここで、前記エンコーダ変更パラメータは、対応するパラメータデータセグメントにおいて送信される前記ベースレイヤデータに基づいて算出される、ことと、
デコータにおいて、前記ベースレイヤデータが符号化の後に変更されたかどうかを決定するために、前記エンコーダ変更パラメータを前記符号化ハイダイナミックレンジ画像に格納することと、
前記残差比データを暗号化することと、
デコータにおいて、前記残差比データを復号化するために、暗号化パラメータを、前記符号化ハイダイナミックレンジ画像に格納することと、
を包含する方法。

【請求項7】

前記エンコーダ変更パラメータは、ハッシュ関数を前記ベースレイヤデータに適用することで生成されるハッシュ値である、請求項６に記載の方法。

【請求項8】

前記ハッシュ関数は、非線形ルックアップテーブル、暗号的ハッシュ関数、非暗号的ハッシュ関数、予め規定された集合から１つのハッシュ関数を選択するランダム化、1つ以上の巡回冗長検査、および、１つ以上のチェックサムのうちの１つによって実施される、請求項７に記載の方法。

【請求項9】

前記エンコーダ変更パラメータは、フィンガープリンティングまたはメディア透かし法を前記ベースレイヤデータに適用することで生成される、請求項６に記載の方法。

【請求項10】

請求項１から５のいずれかに記載の方法を実行するデコーダ装置であって、プロセッサを有するデコーダ装置。

【請求項11】

請求項６から９のいずれかに記載の方法を実行するエンコーダ装置であって、プロセッサを有するエンコーダ装置。

【請求項12】

請求項１から９のいずれかに記載の方法をコンピュータに実行させるための命令を包含するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願との相互参照
本願は、２０１４年１月７日付け出願の米国特許仮出願第６１／９２４，３４５号に基づく優先権の利益を主張するものであり、この仮出願の全文を参考のため援用する。

【0002】

発明の技術分野
本発明は、広くハイダイナミックレンジデジタル画像に関する。本発明は具体的には、静止画または動画を問わず、ハイダイナミックレンジ画像を符号化および復号化するための方法および装置に関し、また、デジタルハイダイナミックレンジ画像を含んだデータ構造に関する。

【背景技術】

【0003】

人間の視覚は、１：１０，０００に及ぶコントラスト比を感じることができる。すなわち、人は、ある部分は他の部分よりも１０，０００倍明るくなっているような１つのシーンを受容して、そのシーンの最も明るい部分および最も暗い部分の両方における細部を見ることができる。また人間の視覚はその感度を、さらに６桁にわたり、より明るいまたはより暗いシーンに対して適応させることができる。

【0004】

大抵の従来のデジタル画像フォーマット（いわゆる２４ビットフォーマット）は、画像中の各画素についての色および輝度情報を格納するために最大２４ビットを用いる。例えば、１つの画素に対する赤、緑および青（ＲＧＢ）値が、それぞれ１バイト（８ビット）に格納され得る。このようなフォーマットは、約２桁だけの明るさ変化を表現することができる（各バイトは２５６個の可能な値のうちの１つを格納し得る）。デジタル画像を表現するには、いくつかの標準的なフォーマットが存在している（静止画およびビデオ画像の両方を含む）。これらには、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ
Ｇｒｏｕｐ）、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）、ＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）、ＢＭＰ（Ｂｉｔ Ｍａｐ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）、ＧＩＦ（Ｇｒａｐｈｉｃａｌ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）その他が含まれる。このようなフォーマットは「アウトプットリファード規格」と呼ばれ得る。なぜなら、最も一般的なタイプの電子ディスプレイによって再生され得る以上の画像情報を保存しようとしないからである。最近まで、コンピュータディスプレイ、テレビ、デジタル動画プロジェクターなどのディスプレイは、１：１０００程度よりも良いコントラスト比を有する画像を正確に再生することはできなかった。

【0005】

本出願人その他によって開発されたディスプレイ技術は、ハイダイナミックレンジ（ＨＤＲ）を有する画像を再生することができる。このようなディスプレイは、従来ディスプレイに比べより忠実に現実世界のシーンを表現する画像を、再生することができる。これらのディスプレイや、将来において利用可能になるであろう他のＨＤＲディスプレイ上での再生のために、ＨＤＲ画像の格納用のフォーマットが必要である。

【発明の概要】

【発明が解決しようとする課題】

【0006】

ＨＤＲ画像をデジタルデータとして格納するために、多くのフォーマットが提案されている。これらのフォーマットはすべて、種々の欠点を有している。これらフォーマットの多くは、特別なソフトウェアを通じてしか視聴できないような、極端に大きな画像ファイ
ルを生成してしまう。デジタルカメラのメーカーの中には、独自のＲＡＷフォーマットを提供するものもある。これらのフォーマットは、カメラに対して専用的になりがちであり、またデータ格納要件的にも過剰になりがちである。

【0007】

ハイダイナミックレンジ画像を格納し、やり取りし、再生するための便利なフレームワークが必要である。特に、既存の画像視聴装置技術に対して下位互換的である、そのようなフレームワークが必要である。

【図面の簡単な説明】

【0008】

本発明を、限定ではなく例示として、添付図面の各図により示す。これらの図において、類似の要素には同種の参照符号を付している。

【0009】

【図1】図１は、本発明の一実施形態による、復号化処理の一例を示す。

【図2】図２は、本発明の別の実施形態による、復号化処理の例を示す。

【図3】図３は、本発明の一実施形態における、ＡＰＰ１１ヘッダセグメントに含まれるデータ例を示す。

【図4A】図４Ａは、残差比画像におけるセグメント例を示す。

【図4B】図４Ｂは、残差比画像におけるセグメント例を示す。

【図5】図５は、本明細書に記載のコンピュータまたは計算装置が実装され得る、ハードウェアプラットフォーム例を示す。

【発明を実施するための形態】

【0010】

ＨＤＲ符号化、復号化、およびデータ構造に関する、可能な実施形態例を、本明細書に記載する。以下の説明においては、説明目的のため、本発明を完全に理解できるように多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。しかしながら、“Ａｐｐａｒａｔｕｓ ａｎｄ ｍｅｔｈｏｄｓ ｆｏｒ ｅｎｃｏｄｉｎｇ， ｄｅｃｏｄｉｎｇ， ａｎｄ ｒｅｐｒｅｓｅｎｔｉｎｇ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｉｍａｇｅｓ”の名称を有する米国特許第８，５１４，９３４号を、本願においてあらゆる目的について参考のため援用する。

【0011】

本発明の一実施形態において、ＨＤＲデータ構造は、旧式の画像視聴装置（ｉｍａｇｅ
ｖｉｅｗｅｒ）によって読み取り可能であるように構成される。旧式の画像視聴装置は、トーンマップ情報を読み出し、比データ（後述する）などのＨＤＲ情報を無視することができる。いくつかの実施形態において、データ構造はＪＦＩＦファイルを含み、トーンマップ情報はＪＰＥＧ画像を含む。いくつかの実施形態において、データ構造はＭＰＥＧファイルを含み、トーンマップ情報はＭＰＥＧビデオの１フレームを含む。

【0012】

本発明の別の局面は、初期ダイナミックレンジを有するハイダイナミックレンジ画像を表現するデータ構造を提供する。データ構造は、トーンマップ部およびハイダイナミックレンジ情報部を備えている。トーンマップ部は、画像を表現するトーンマップ情報を含んでおり、初期ダイナミックレンジよりも小さなダイナミックレンジを有している。ハイダイナミックレンジ情報部は、トーンマップ部における（輝度）値の、ハイダイナミックレンジ画像の輝度値に対する比を記述する情報を含んでいる。

【0013】

残差比画像（ＲＥＳＩＤＵＡＬ ＲＡＴＩＯ ＩＭＡＧＥ）
本発明の一局面は、ハイダイナミックレンジ画像データを符号化するための方法を提供する。これらの方法は、ハイダイナミックレンジ画像データに対応するトーンマップ情報を取得あるいは生成することを包含する。トーンマップ情報は、ハイダイナミックレンジ
画像データよりも低いダイナミックレンジを有する。本方法は、ハイダイナミックレンジ画像データにおける値と、トーンマップ情報における対応する値との比を含む、比データを算出する。比データ（またはそこから導出される情報）ならびにトーンマップ情報は格納しておいて、復号化に際して送信されることができる。

【0014】

本発明の別の局面は、コードストリームを復号化してハイダイナミックレンジ画像を再構築するための方法を提供する。これらの方法は、トーンマップ情報および対応する比データ（またはそこから導出される情報）を、受信その他によってアクセスすることを包含する。本法は、トーンマップ情報中の値および対応する比データを用いて、ハイダイナミックレンジ画像を算出する。

【0015】

本願全体において呼ばれるところの比データは、限定しないが、（ｉ）分子値と分母値との除算として（比の対数などのさらなる演算を含むが、これには限定されない）、または（ｉｉ）２つの対数値の減算（さらなる演算を含むが、これには限定されない）として、計算され得る。典型的には、比データは輝度を記述するが、色差（クロマ）チャンネル（例えばＣｒ、Ｃｂ）についても用いることができる。明瞭さのために、本明細書において、比データを、残差データとして記載、あるいは残差データに含まれるものとして記載することがある。

【0016】

図１は、本発明の一実施形態による復号化処理例を示す。処理は、ベース画像を再構築する旧式のデコーダブロックから始まる。この画像を次にオプションとしてクロマアップサンプリングしたのち、逆無相関化（ｉｎｖｅｒｓｅ ｄｅｃｏｒｒｅｌａｔｉｏｎ）ブロックへと続く。この変換の出力は、例えばＲＧＢ系色空間においてサンプル毎につき８ビットを有する、ローダイナミックレンジの下位互換的画像である。

【0017】

ローダイナミックレンジ成分は、ベースマッピング・色空間変換ブロックによって、先行画像（ｐｒｅｃｕｒｓｏｒ ｉｍａｇｅ）と呼ばれる浮動小数点画像に、さらにマッピングされる。先行画像は、オプションとしてＨＤＲ色空間に変換され、輝度が計算され得る。ノイズレベルを用いることによって、ゼロで除算することを回避し、かつ圧縮アーチファクト（これは後続のブロックにおいて増幅され得るため）を減らしてもよい。

【0018】

残差デコーダの経路は、ＡＰＰ１１マーカー中のコードストリームに埋め込まれた残差データを用いる。このデータは再構築されたのち、オプションとしてアップサンプリングされる。そして残差マッピング・逆無相関化ブロックによって処理される。このブロックは、残差データを浮動小数点ドメインへマッピングし、これにオプションとして逆無相関化を行う。このマッピングは、ベースマッピング・色空間変換ブロックによって算出された輝度を用いることができる。マッピングされた残差データおよび先行画像がＨＤＲ再構築ブロックによって処理されることにより、再構築化ＨＤＲ画像を得る。

【0019】

図２は、本発明の別の実施形態による復号化処理例を示す。復号化処理は、ＨＤＲ画像をベースレイヤとＨＤＲ残差比レイヤとに分解することによる、レイヤ化アプローチに依拠する。ベースレイヤは、ローカルまたはグローバルなトーンマッピング器によって元の浮動小数点ＨＤＲからトーンマッピングされた、トーンマッピング化画像である。このコードストリームは、旧式のデコーダにとって、下位互換的でありアクセス可能なものとなる。残差比レイヤは、ＨＤＲ量子化された対数輝度比およびクロミナンス残差を含んでおり、このデータが合わされて、単一の残差比画像として表現される。

【0020】

残差データはＡＰＰ１１マーカー中に隠れているために、旧式のデコーダはこの残差画像をスキップし、ベース画像コードストリームのみにアクセスすることができる。従って、この復号化処理は下位互換的である。ただし、本発明を実施するデコーダは、２つのレ
イヤを組み合わせてＨＤＲ画像を再構築することが可能である。

【0021】

図２において、ブロックＢ１、Ｂ２およびＢ３からなる上側の経路は、旧式のデコーダの標準的フローであり得るものであり、これは典型的にはＲＧＢ空間において、下位互換的な低ダイナミックレンジ（ＬＤＲ）画像を出力する。このベース画像データは次に、ブロックＢ４において線形ＨＤＲ空間にマッピングされ、色空間変換工程により処理される。このブロックは、ＬＤＲ画像を元のＨＤＲ画像の色空間に変換し、またこの画像を浮動小数点値にマッピングし、線形プリＲＧＢ２と呼ばれまた「ＬＰ＿ＲＧＢ２」と呼ばれ得る。パラメータコードストリームにおいて規定されたノイズフロア値が、ＬＰ＿ＲＧＢ２の輝度成分に加算されることにより、ゼロで除算することを回避し、また小さな値についてこのブロックＢ４より下流の動作に起因して起こり得るノイズを増幅することを回避する。

【0022】

図２において、Ｂ５から始まる下側の経路は、ハイダイナミックレンジ画像の残差データから始まり、ＩＳＯ／ＩＥＣ１０９１８－１コードストリームフォーマットによって表現される（これをあらゆる目的について参考のため援用し、所望のフォーマットを示すとする）。このコードストリームを、後述する残差データセグメントとして、ＡＰＰ１１マーカーに埋め込む。デコーダによる復号化の後、Ｂ６によりクロマアップサンプリングステップが行われることにより、全成分がフル解像度、例えば４：４：４にされる。

【0023】

残差比データは次に、Ｂ７によって、浮動小数点線形比輝度値と線形残差色差値とに分離される。入力残差輝度値は、コードストリーム中のパラメータに従って逆量子化される。特定の実施形態において、これはコードストリーム中のパラメータセグメント内の、明示的なルックアップテーブルによって提供されるかである。もしこのテーブルが存在しないならば、パラメータセグメントにおいてｌｎ１，ｌｎ０と呼ばれるｍｉｎおよびｍａｘを用いて、逆対数マップが計算される。同様に、存在するならば、コードストリームのパラメータセグメントにおいてｃｂ０，ｃｂ１およびｃｒ０，ｃｒ１として格納される最小および最大パラメータに従って、入力クロマ残差サンプル値が逆量子化される。

【0024】

次にクロマ値は、ＹＣｂＣｒからＲＧＢ２へのブロックであるＢ８によって処理され、線形逆量子化されたＹＣｂＣｒを、ＨＤＲ色空間にある線形残差ＲＧＢ２（ＬＲ＿ＲＧＢ２とも呼ぶ）に変換する。最後に、ブロックＢ９およびＢ１０が、まずＢ９において線形プリＲＧＢ２を線形残差ＲＧＢ２に加算し、次にＢ１０においてその結果を線形比輝度で乗算することにより、ＨＤＲ画像を構築する。

【0025】

ＡＰＰ１１マーカー
図３に示すように、ＡＰＰ１１マーカーセグメントは、パラメータデータセグメントとデータセグメントとに分解される。パラメータセグメントは、２つ以上の（例えば３つの）タイプのセグメントを有する。例えば、パラメータＡＳＣＩＩタイプセグメント、残差セグメント、およびパラメータバイナリタイプセグメントである。このＡＰＰ１１マーカーセグメントの構造は、図１および２に表される実施形態例を含むがこれに限定されない、本明細書に記載する本発明の任意の実施形態に関連して用いられ得る。

【0026】

編集検出のためのチェックサム
パラメータデータセグメント（ＰＤＳ）は、ＡＳＣＩＩまたはバイナリテキストとして符号化されたパラメータを、ペイロードデータとして保持している。セグメントにおける最終パラメータは、ベースレイヤコードストリームのチェックサムである。特定の実施形態において、ｃｋｂ（ＡＳＣＩＩ）またはｃｈｋｓｕｍ（バイナリ、１６ビット）パラメータが、ベースレイヤコードストリーム中の全バイトを加算することにより算出される、ベースレイヤコードストリームのチェックサムである。チェックサムは、最後のＡＰＰ１
１マーカーセグメント後の最初のＳＯＦ（例、スタート・オブ・フレーム）マーカーを含み、かつＥＯＩ（例、エンド・オブ・フレーム）マーカーまで（これ自身を含み）の全ての後続バイトを含む。これは、ベースレイヤの編集（ハイダイナミックレンジ（ＨＤＲ）画像の復号化の際に望ましくないアーチファクトを生み得る）を、デコーダが検出するために用いられることができる。特定の実施形態において、チェックサムは、位置（または順序）に依存する。例えば、Ｆｌｅｔｃｈｅｒのチェックサムである（例えばＦｌｅｔｃｈｅｒ－１６、Ｆｌｅｔｃｈｅｒ－３２、Ｆｌｅｃｔｃｈｅｒ－６４）。さらなる情報については、Ｆｌｅｔｃｈｅｒ，Ｊ．Ｇ．（Ｊａｎｕａｒｙ １９８２）．“Ａｎ Ａｒｉｔｈｍｅｔｉｃ Ｃｈｅｃｋｓｕｍ ｆｏｒ Ｓｅｒｉａｌ Ｔｒａｎｓｍｉｓｓｉｏｎｓ，”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ＣＯＭ－３０（１）：２４７－２５２を参照のこと。これを本願においてあらゆる目的について参考のため援用する。

【0027】

別の実施形態においては、ＰＤＳは、チェックサムよりも複雑なハッシュアルゴリズムの使用を示し得る。より複雑なハッシュアルゴリズムであれば、例えば異なる入力データから同じハッシュ値が得られるときの検出不可能なデータ変更などの、ハッシュ衝突の可能性を抑制できる。従って、元のベースレイヤに対して生成されたハッシュ値は、ベースレイヤが変更されている場合には確率的には合致することが少ないはずである。ハッシュ関数の例は、以下であるか、あるいは以下により実現され得る。すなわち、
（i）非線形ルックアップテーブル；
（ii）暗号的ハッシュ関数（例えばＨＡＩＦＡ、Ｍｅｒｋｌｅ－Ｄａｍｇaｒｄ、ｕｎｉ
ｑｕｅ ｂｌｏｃｋ ｉｎｔｅｒａｔｉｏｎなど）；
（iii）非暗号的ハッシュ関数（ｘｏｒ、積、和、回転）；
（iv）予め規定された集合から１つのハッシュ関数を選択するランダム化；
（v）巡回冗長検査（単数または複数）；および
（vi）チェックサム（単数または複数）、例えばＦｌｅｔｃｈｅｒやＡｄｌｅｒ－３２である。

【0028】

さらに別の実施形態において、フィンガープリンティングまたはメディア透かし法をＰＤＳによって伝え、復号化または画像再生／描画中において検証することができる。

【0029】

チェックサム、ハッシュ関数およびその他の記載したベースレイヤ編集検出の代替法は、図１および２に表される実施形態例を含むがこれに限定されない、本明細書に記載する本発明の任意の実施形態に関連して用いられ得る。さらに、本教示に基づき、チェックサム、ハッシュ関数または代替法を、残差比レイヤの編集検出に用いることができる。

【0030】

セグメント単位で実施される残差レイヤの暗号化／復号化
ＰＤＳまたは他の場所における別のパラメータとしては、暗号化キーなどの暗号化パラメータであってもよい。この情報は、例えばコードストリームのセグメント単位などで、比残差レイヤを復号化するために用いることができる。１つのセグメントとは、圧縮化画像データのエントロピー符号化されたバイト群の、独立に復号化可能なシーケンスであり得る。すなわち、本発明の一実施形態において、各セグメントに対し異なる暗号化パラメータを用意して用いることができる。暗号化パラメータおよび関連処理は、図１および２に表される実施形態例を含むがこれに限定されない、本明細書に記載する本発明の任意の実施形態に関連して用いられ得る。

【0031】

逆ガンマＬＵＴ／マッピングＬＵＴにおける逆トーンマッピング
上述の逆ガンマルックアップテーブル（ＬＵＴ）（図２のブロックＢ４）は、典型的には２．４の逆線形およびベキ関数である、デフォルトのＲｅｃ．６０１テーブル（ＩＴＵ－Ｒ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＢＴ．６０１；参考として援用するhttp://www.i
tu.int/rec/R-REC-BT.601-7-201103-I/enにて入手可能である）によってロードされる、
２５６エントリのテーブルである。もしＡｄｏｂｅ Ｓｙｓｔｅｍｓ， Ｉｎｃ．によるＡｄｏｂｅＲＧＢなどの別の色空間である場合は、ルックアップテーブルはヘッダ情報中において送られ得る。また、逆ガンマＬＵＴは、逆ヒストグラム平坦化または逆ラインハルトトーンマッピング器などの、逆トーンマッピング関数／曲線を含み得る。いくつかの場合においては、逆トーンマッピングをともなう逆ガンマＬＵＴは、残差比レイヤに用いられるメモリを減少することができる。ラインハルトトーンマッピング器に関するさらなる情報については、http://www.cs.utah.edu/~reinhard/cdrom/tonemapping.pdf（“Ｐｈｏｔｏｇｒａｐｈｉｃ Ｔｏｎｅ Ｒｅｐｒｏｄｕｃｔｉｏｎ ｆｏｒ Ｄｉｇｉｔａｌ
Ｉｍａｇｅｓ”）を参照のこと。これを本願においてあらゆる目的について参考のため援用する。

【0032】

バイナリヘッダセグメント
ＡＰＰ１１マーカーセグメントは、図３において「タイプ３」と示すバイナリパラメータデータを含み得る。タイプ３セグメントおよびその関連処理は、図１および２に表される実施形態例を含むがこれに限定されない、本明細書に記載する本発明の任意の実施形態に関連して用いられ得る。

【0033】

セグメントインデックスおよびそのセグメントにおけるスタート位置
本発明の一実施形態において、残差比画像のセグメントの拡がりや範囲は、ベースレイヤ画像と一致している必要がある。例えば、１つの残差比画像を、複数のセグメント（連続でも非連続でもよい）に区切ることができる。残差比画像のこれらのセグメントの１組は、完全な１つの画像に対応する必要はないが、１つの画像の１以上の部分を定義し得る。この機能性により、ベースレイヤ画像全体ではなく、ベースレイヤ画像のある一部からのＨＤＲ再構築が可能になる。例えば、１つのセグメント（例えば左半分の画像、上半分の画像）に対してはＨＤＲ再構築のために暗号化パラメータを与える一方で、もう１つのセグメント（例えば右半分の画像、下半分の画像）の残差比情報は暗号化されたままとすることにより、ベースレイヤ再生を制限することができる。

【0034】

残差比画像の各セグメントは、座標基準（例えば矩形セグメントであれば四隅のうち１つのｘおよびｙ座標）ならびにその長さおよび幅によって規定されることができる。セグメントが異なる幾何学形状である場合は、中心位置および半径／直径などによって定義され得る。図４Ａ～４Ｂは、残差比画像のセグメント例を示す。これらは、図１および２に表される実施形態例を含むがこれに限定されない、本発明の任意の実施形態に関連して用いられ得る

【0035】

実装メカニズム－ハードウェア概要
一実施形態において、本明細書に記載の手法は、１つ以上の専用計算装置により実装される。専用計算装置は、本手法を実行するようにハードワイヤードされていてもよく、あるいは、本手法を実行するように持続的にプログラムされた、１つ以上の特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのデジタル電子機器を含んでもよく、または、ファームウェア、メモリその他の記憶装置、あるいはその組み合わせ内におけるプログラム命令に従って本手法を実行するようにプログラムされた、１つ以上の汎用ハードウェアプロセッサを含み得る。そのような専用計算装置はまた、本手法を達成するためのカスタムプログラミングを備えたカスタムのハードワイヤード論理回路、ＡＳＩＣ、またはＦＰＧＡを組み合わせていてもよい。専用計算装置は、本手法を実装するためのハードワイヤードおよび／またはプログラム論理回路を備えた、デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルドデバイス、ネットワーキングデバイスまたはその他の任意のデバイスであってもよい。

【0036】

例えば、図５は、本発明の一実施形態が実装され得るコンピュータシステム１６００を示すブロック図である。コンピュータシステム１６００は、情報を通信するためのバス１６０２またはその他の通信機構と、バス１６０２に結合されて情報を処理するハードウェアプロセッサ１６０４とを有する。ハードウェアプロセッサ１６０４は、例えば汎用マイクロプロセッサであってもよい。

【0037】

コンピュータシステム１６００はまた、バス１６０２に結合されており情報やプロセッサ１６０４によって実行される命令を格納する、ランダムアクセスメモリ（ＲＡＭ）その他の動的記憶装置などの、メインメモリ１６０６を有する。メインメモリ１６０６はまた、プロセッサ１６０４によって実行される命令の実行中における一時変数またはその他の中間的情報を格納するためにも用いられ得る。そのような命令は、プロセッサ１６０４がアクセス可能な非一時的記憶媒体に格納されたとき、コンピュータシステム１６００を、命令によって指定された動作を実行するようにカスタマイズされた専用機器に変える。

【0038】

コンピュータシステム１６００はさらに、バス１６０２に結合され、静的情報やプロセッサ１６０４のための命令を格納する、リードオンリーメモリ（ＲＯＭ）１６０８またはその他の静的記憶装置を有する。磁気ディスクまたは光学ディスクなどの記憶装置１６１０が、情報および命令を格納するために設けられ、バス１６０２に結合される。

【0039】

コンピュータシステム１６００は、バス１６０２を介して、コンピュータユーザーに情報を表示するための、液晶ディスプレイなどのディスプレイ１６１２に結合されていてもよい。英数字および他のキーを含む入力装置１６１４が、バス１６０２と結合され、情報およびコマンド選択をプロセッサ１６０４に伝える。別のタイプのユーザー入力装置は、方向情報およびコマンド選択をプロセッサ１６０４に伝え、ディスプレイ１６１２上のカーソル移動を制御する、マウス、トラックボールまたはカーソル方向キーなどの、カーソルコントロール１６１６である。この入力装置は、典型的には、２つの軸、第１の軸（例えばｘ）および第２の軸（例えばｙ）において、２つの自由度を有することにより、デバイスは平面内の位置を特定できる。

【0040】

コンピュータシステム１６００は、コンピュータシステムと協働してコンピュータシステム１６００を専用機器にするか、専用機器になるようにプログラムする、カスタマイズされたハードワイヤード論理回路、１つ以上のＡＳＩＣまたはＦＰＧＡ、ファームウェアおよび／またはプログラム論理回路を用いて、本明細書に記載の手法を実装し得る。一実施形態において、本明細書に記載の手法は、メインメモリ１６０６に含まれる１つ以上の命令の１つ以上のシーケンスを実行するプロセッサ１６０４に応答して、コンピュータシステム１６００により実行される。そのような命令は、記憶装置１６１０のような別の記憶媒体から、メインメモリ１６０６へと読み込まれ得る。メインメモリ１６０６に含まれる命令のシーケンスの実行は、プロセッサ１６０４に、本明細書に記載の処理ステップを実行させる。別の実施形態において、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路を用い得る。

【0041】

本明細書で用いられる用語「記憶媒体」は、機器を特定の形態で動作させるデータおよび／または命令を格納する、任意の非一時的な媒体をいう。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含み得る。不揮発性媒体は、例えば、記憶装置１６１０のような光学または磁気ディスクを含む。揮発性媒体は、メインメモリ１６０６のような動的メモリを含む。記憶媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープまたは任意の他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、任意の他の光学データ記憶媒体、穴のパターンを有する任意の物理的な媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップまたはカートリッジを含む。

【0042】

記憶媒体は、伝達媒体とは別個のものであるが、伝達媒体と併せて用いられ得る。伝達媒体は、記憶媒体間の情報転送に関与する。例えば、伝達媒体は、同軸ケーブル、銅線、光ファイバを含み、バス１６０２を構成する配線を含む。伝達媒体はまた、ラジオ波または赤外データ通信時において生成されるような、音波または光波の形態を取り得る。

【0043】

１つ以上の命令の１つ以上のシーケンスを実行のためにプロセッサ１６０４に送る際において、様々な形態の媒体が関与し得る。例えば、命令は、最初、リモートコンピュータの磁気ディスクまたはソリッドステートドライブ上に保持され得る。リモートコンピュータは、命令を自身の動的メモリに読み込み、モデムを用いて命令を電話線を介して送り得る。コンピュータシステム１６００に対してローカルにあるモデムは、電話線上においてデータを受け取り、赤外線送信機を用いることにより、データを赤外線信号に変換し得る。赤外線検知器が、赤外線信号で送られたデータを受け取り得、そして適切な回路がデータをバス１６０２上に配置し得る。バス１６０２は、データをメインメモリ１６０６に送り、プロセッサ１６０４はメインメモリ１６０６から命令を取り出し実行する。メインメモリ１６０６により受け取られた命令は、オプションとして、プロセッサ１６０４により実行される前または後において、記憶装置１６１０に格納され得る。

【0044】

コンピュータシステム１６００はまた、バス１６０２と結合される通信インターフェース１６１８を含む。通信インターフェース１６１８は、ローカルネットワーク１６２２と接続されたネットワークリンク１６２０との、双方向のデータ通信結合を提供する。例えば、通信インターフェース１６１８は、サービス総合デジタル網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、または対応するタイプの電話線にデータ通信接続を提供し得るモデムである。別の例として、通信インターフェース１６１８は、ローカルエリアネットワーク（ＬＡＮ）カードであり、適合性のあるＬＡＮへのデータ通信接続を提供する。無線リンクを実装してもよい。任意のそのような実装において、通信インターフェース１６１８は様々なタイプの情報を表すデジタルデータストリームを送る、電気的、電磁気的または光学的な信号を送受信する。

【0045】

ネットワークリンク１６２０は、典型的には、データ通信を１つ以上のネットワークを介して他のデータデバイスに提供する。例えば、ネットワークリンク１６２０は、ローカルネットワーク１６２２を介して、ホストコンピュータ１６２４への接続、または、インターネットサービスプロバイダ（ＩＳＰ）１６２６によって動作されるデータ装置への接続を提供する。そして、ＩＳＰ１６２６は、現在一般に「インターネット」１６２８と呼ばれている全世界的なパケットデータ通信ネットワークを介して、データ通信サービスを提供する。ローカルネットワーク１６２２およびインターネット１６２８の両方とも、デジタルデータストリームを搬送する、電気的、電磁気的、または光学的な信号を用いる。コンピュータシステム１６００とやり取りされるデジタルデータを搬送する、様々なネットワークを介した信号、および、ネットワークリンク１６２０上および通信インターフェース１６１８を介した信号は、伝達媒体の形態例である。

【0046】

コンピュータシステム１６００は、ネットワーク（単数または複数）、ネットワークリンク１６２０および通信インターフェース１６１８を介して、メッセージを送り、プログラムコードを含むデータを受け取り得る。インターネットを例に挙げると、サーバー１６３０は、インターネット１６２８、ＩＳＰ１６２６、ローカルネットワーク１６２２および通信インターフェース１６１８を介して、アプリケーションプログラムのために要求されるコードを伝達し得る。

【0047】

受け取られたコードは、受信されてそのままプロセッサ１６０４により実行されてもよく、かつ／または、後で実行するために記憶装置１６１０またはその他の不揮発性記憶装
置に格納されてもよい。

【0048】

均等物、拡張物、代替物、その他
上記の明細書中において、実装毎に異なり得る多数の詳細事項に言及しながら本発明の可能な実施形態を説明した。従って、本発明が何たるか、また、本出願人が本発明であると意図するものを示す唯一且つ排他的な指標は、本願が特許になった際の請求の範囲（今後出されるあらゆる訂正を含む、特許となった特定請求項）である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項において明示されていない限定事項、要素、性質、特徴、利点または属性は、その請求項の範囲をいかなる意味においても限定すべきではない。従って、本明細書および図面は、限定的ではなく、例示的であるとみなされるものである。

【0049】

補足的文献
上記に引用している文献に加え、以下の文献を、本願においてあらゆる目的について参考のため援用する。
（ｉ）ＩＴＵ－Ｔ Ｒｅｃ．Ｔ．８１｜ＩＳＯ／ＩＥＣ１０９１８－１：Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ－Ｄｉｇｉｔａｌ Ｃｏｍｐｒｅｓｓｉｏｎ ａｎｄ Ｃｏｄｉｎｇ ｏｆ Ｃｏｎｔｉｎｕｏｕｓ Ｔｏｎｅ Ｓｔｉｌｌ Ｉｍａｇｅｓ－Ｒｅｑｕｉｒｅｍｅｎｔｓ ａｎｄ Ｇｕｉｄｅｌｉｎｅｓ
（ｉｉ）ＩＴＵ－Ｔ Ｒｅｃ．Ｔ．８６｜ＩＳＯ／ＩＥＣ１０９１８－４：Ｄｉｇｉｔａｌ ｃｏｍｐｒｅｓｓｉｏｎ ａｎｄ ｃｏｄｉｎｇ ｏｆ ｃｏｎｔｉｎｕｏｕｓ－ｔｏｎｅ ｓｔｉｌｌ ｉｍａｇｅｓ： Ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ＪＰＥＧ ｐｒｏｆｉｌｅｓ， ＳＰＩＦＦ ｐｒｏｆｉｌｅｓ， ＳＰＩＦＦ ｔａｇｓ， ＳＰＩＦＦ ｃｏｌｏｕｒ ｓｐａｃｅｓ， ＡＰＰｎ ｍａｒｋｅｒｓ， ＳＰＩＦＦ ｃｏｍｐｒｅｓｓｉｏｎ ｔｙｐｅｓ， ａｎｄ Ｒｅｇｉｓｔｒａｔｉｏｎ Ａｕｔｈｏｒｉｔｉｅｓ
（ｉｉｉ）ＩＴＵ－Ｔ Ｒｅｃ．Ｔ．８７１｜ＩＳＯ／ＩＥＣ１０９１８－５：Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ －－ Ｄｉｇｉｔａｌ ｃｏｍｐｒｅｓｓｉｏｎ ａｎｄ ｃｏｄｉｎｇ ｏｆ ｃｏｎｔｉｎｕｏｕｓ－ｔｏｎｅ ｓｔｉｌｌ ｉｍａｇｅｓ： ＪＰＥＧ Ｆｉｌｅ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ
（ｉｖ）ＩＴＵ－Ｔ Ｒｅｃ．Ｔ．８０１｜ＩＳＯ／ＩＥＣ１５４４４－１：Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ－ＪＰＥＧ ２０００ Ｉｍａｇｅ Ｃｏｄｉｎｇ
Ｓｙｓｔｅｍ、および
（ｖ）ＩＥＣ６０５５９ Ｂｉｎａｒｙ ｆｌｏａｔｉｎｇ‐ｐｏｉｎｔ ａｒｉｔｈｍｅｔｉｃ ｆｏｒ ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ ｓｙｓｔｅｍｓ

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】