特許 6706840 画像データ処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6706840

(24)【登録日】2020年5月21日

(45)【発行日】2020年6月10日

(54)【発明の名称】画像データ処理装置及びプログラム

(51)【国際特許分類】

   H04N 19/467 20140101AFI20200601BHJP

   H04N 1/387 20060101ALI20200601BHJP

   G06T 1/00 20060101ALI20200601BHJP

   H04N 1/41 20060101ALI20200601BHJP

   H04N 1/46 20060101ALI20200601BHJP

   H04N 1/60 20060101ALI20200601BHJP

   H04N 19/85 20140101ALI20200601BHJP

   H04N 19/63 20140101ALI20200601BHJP

【ＦＩ】

   H04N19/467

   H04N1/387

   G06T1/00 510

   H04N1/41 C

   H04N1/46 Z

   H04N1/40 D

   H04N19/85

   H04N19/63

【請求項の数】7

【全頁数】29

(21)【出願番号】特願2016-73754(P2016-73754)

(22)【出願日】2016年3月31日

(65)【公開番号】特開2017-188707(P2017-188707A)

(43)【公開日】2017年10月12日

【審査請求日】2019年3月20日

【新規性喪失の例外の表示】特許法第３０条第２項適用 ［開催日］ 平成２８年３月２日 ［集会名］ ２０１５年度第６回ハイデイング・エンリッチメント研究会 ［開催場所］ 屋久島環境文化村センター（鹿児島県熊毛郡屋久島町宮之浦８２３番地１） ［主催者名］ マルチメディア情報ハイデイング・エンリッチメン研究専門委員会（電子情報通信学会）

(73)【特許権者】

【識別番号】304036743

【氏名又は名称】国立大学法人宇都宮大学

(74)【代理人】

【識別番号】100117226

【弁理士】

【氏名又は名称】吉村 俊一

(72)【発明者】

【氏名】篠田 一馬

(72)【発明者】

【氏名】番沢 和茂

(72)【発明者】

【氏名】長谷川 まどか

【審査官】 岩井 健二

(56)【参考文献】

【文献】 渡邉彩、篠田一馬、長谷川まどか、加藤茂夫，電子透かしを用いたＲＧＢ画像へのマルチスペクトル情報埋め込みに関する一検討，ＩＭＰＳ ＩＭＡＧＥ ＭＥＤＩＡ ＰＲＯＣＥＳＳＩＮＧ ＳＹＭＰＯＳＩＵＭ ２０１４，２０１４年１１月１４日

【文献】 中村高雄、山本奏、北原亮、宮武隆、片山淳、安野貴之、曽根原登，リアルタイム検出可能な動画向けモバイル電子透かし，画像電子学会誌，２００７年 ７月２５日，第３６巻 第４号，p426〜434

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−Ｈ０４Ｎ１９／９８

(57)【特許請求の範囲】

【請求項1】

少なくとも４以上の色情報を有するオリジナルのマルチスペクトル画像をＲＧＢの画素特徴量を有するＲＧＢ画像に変換してＲＧＢ画像データを生成する第１変換手段と、
前記変換されたＲＧＢ画像の各画素の画素特徴量から前記マルチスペクトル画像を推定して推定マルチスペクトル画像データを生成する推定手段と、
前記推定されたマルチスペクトル画像と、前記オリジナルのマルチスペクトル画像と、の間の差分画像を算出する算出手段と、
前記算出された差分画像に対応する差分画像データを圧縮して圧縮差分画像を生成する第１圧縮手段と、
前記圧縮差分画像の情報を前記生成されたＲＧＢ画像データ又は当該ＲＧＢ画像データを変換した画像データに埋め込むことによって、前記マルチスペクトル画像を復号する際に用いる復号情報を有するＲＧＢ画像データを重畳ＲＧＢ画像データとして生成する生成手段と、
前記生成された重畳ＲＧＢ画像データを所定の量子化ステップ値に基づいて圧縮することができる第２圧縮手段と、
を備え、
前記生成手段が、
前記量子化ステップ値を超える範囲で画素値の変更を行うことで、前記圧縮差分画像の情報を埋め込むことを特徴とする画像データ処理装置。

【請求項2】

請求項１に記載の画像データ処理装置において、
前記ＲＧＢ画像データを色差画像データに変換する第２変換手段と、
前記色差画像データに含まれる各画素の色差情報を予め定められた周波数帯域を有する複数のサブバンドに分割する分割手段と、
を更に備え、
前記生成手段が、
前記色差情報において、前記量子化ステップ値を超える範囲の前記サブバンドに、前記圧縮差分画像の情報を埋め込む、画像データ処理装置。

【請求項3】

請求項２に記載の画像データ処理装置において、
前記分割手段が、
前記色差画像データにおける各画素の色差情報に離散ウェーブレット変換を施すことによって、当該各画素における色差特徴量を複数の前記サブバンドに分割する、画像データ処理装置。

【請求項4】

請求項１に記載の画像データ処理装置において、
前記変換されたＲＧＢ画像データに対して、離散コサイン変換を施す第３変換手段を更に有し、
前記生成手段が、
前記ＲＧＢ画像データを変換して得られたＤＣＴ係数において、前記量子化ステップ値を超える範囲の周波数帯域に、前記圧縮差分画像の情報を埋め込む、画像データ処理装置。

【請求項5】

少なくとも４以上の色情報を有するオリジナルのマルチスペクトル画像をＲＧＢの画素特徴量を有するＲＧＢ画像に変換して生成されたＲＧＢ画像データ又は当該ＲＧＢ画像データを変換した画像データに、圧縮差分画像の情報が埋め込まれた重畳ＲＧＢ画像データであって、前記圧縮差分画像の情報が、前記重畳ＲＧＢ画像データを圧縮可能な圧縮手段の量子化ステップ値を超える範囲で画素値の変更を行うことで埋め込まれた重畳ＲＧＢ画像データを取得する取得手段と、
前記重畳ＲＧＢ画像データから４以上の色情報を有するマルチスペクトル画像を推定して推定マルチスペクトル画像データを生成する生成手段と、
前記重畳ＲＧＢ画像データに埋め込まれた情報であって、前記推定されたマルチスペクトル画像と、前記オリジナルのマルチスペクトル画像と、の差分を示す圧縮差分画像の情報を当該重畳ＲＧＢ画像データから抽出する抽出手段と、
前記抽出された圧縮差分画像の情報と、前記推定マルチスペクトル画像データに基づき、前記オリジナルのマルチスペクトル画像を復元する復元手段と、
を具備することを特徴とする画像データ処理装置。

【請求項6】

画像データ処理装置としてのコンピュータを、
少なくとも４以上の色情報を有するオリジナルのマルチスペクトル画像をＲＧＢの画素特徴量を有するＲＧＢ画像に変換してＲＧＢ画像データを生成する第１変換手段、
前記変換されたＲＧＢ画像の各画素の画素特徴量から前記マルチスペクトル画像を推定して推定マルチスペクトル画像データを生成する推定手段、
前記推定されたマルチスペクトル画像と、前記オリジナルのマルチスペクトル画像と、の間の差分画像を算出する算出手段、
前記算出された差分画像に対応する差分画像データを圧縮して圧縮差分画像を生成する第１圧縮手段、
前記圧縮差分画像の情報を前記生成されたＲＧＢ画像データ又は当該ＲＧＢ画像データを変換した画像データに埋め込むことによって、前記マルチスペクトル画像を復号する際に用いる復号情報を有するＲＧＢ画像データを重畳ＲＧＢ画像データとして生成する生成手段、
前記生成された重畳ＲＧＢ画像データを所定の量子化ステップ値に基づいて圧縮することができる第２圧縮手段、
として機能させるとともに、
前記生成手段が、
前記量子化ステップ値を超える範囲で画素値の変更を行うことで、前記圧縮差分画像の情報を埋め込むことを特徴とプログラム。

【請求項7】

画像データ処理装置としてのコンピュータを、
少なくとも４以上の色情報を有するオリジナルのマルチスペクトル画像をＲＧＢの画素特徴量を有するＲＧＢ画像に変換して生成されたＲＧＢ画像データ又は当該ＲＧＢ画像データを変換した画像データに、圧縮差分画像の情報が埋め込まれた重畳ＲＧＢ画像データであって、前記圧縮差分画像の情報が、前記重畳ＲＧＢ画像データを圧縮可能な圧縮手段の量子化ステップ値を超える範囲で画素値の変更を行うことで埋め込まれた重畳ＲＧＢ画像データを取得する取得手段、
前記重畳ＲＧＢ画像データから４以上の色情報を有するマルチスペクトル画像を推定して推定マルチスペクトル画像データを生成する生成手段、
前記重畳ＲＧＢ画像データに埋め込まれた情報であって、前記推定されたマルチスペクトル画像と、前記オリジナルのマルチスペクトル画像と、の差分を示す圧縮差分画像の情報を当該重畳ＲＧＢ画像データから抽出する抽出手段、
前記抽出された圧縮差分画像の情報と、前記推定マルチスペクトル画像データに基づき、前記オリジナルのマルチスペクトル画像を復元する復元手段、
として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データ処理装置及びプログラムに関する。

【背景技術】

【0002】

従来、リモートセンシングやディジタルアーカイブ、医療機器などの分野においては、画像の色再現性が非常に重要になるため、ＲＧＢ画像よりも忠実な色再現が可能なマルチスペクトル画像（以下、「ＭＳＩ」という。）の利用が進みつつある。

【0003】

このＭＳＩは，ＲＧＢ以外の色成分に対応する情報を有し、忠実な色再現が可能である一方で、現在普及しているＲＧＢ画像用のディスプレイやインターフェース（伝送路を含む）などは、ＭＳＩの画像データ（以下、「ＭＳＩデータ」という。）の表示及び伝送等に利用できないケースが多く、ＭＳＩ普及の障害となっている。

【0004】

このＭＳＩデータをＲＧＢ用のディスプレイ等において利用する方法の１つとして、ＭＳＩデータをＲＧＢ画像データに変換して、当該変換後のＲＧＢ画像データをＲＧＢ用ディスプレイ及びインターフェースを用いて、表示等する方法が考えられる。

【0005】

しかしながら、ＭＳＩデータをＲＧＢ画像データに変換した場合には、ＭＳＩデータに含まれるＲＧＢ以外の色成分に関する情報がほとんど失われてしまうため、ＭＳＩデータをＲＧＢ画像データに変換した時点で、ＭＳＩ本来の色再現性が損なわれてしまう可能性が高くなっている。

【0006】

このため、最近では、例えば、Ｗｉｅｎｅｒ推定法などの不良設定問題の解決手法を用いることによってＲＧＢ画像データからＭＳＩデータを復元する方法が用いられている。

【0007】

しかしながら、Ｗｉｅｎｅｒ推定法などの手法は、３つの色成分を有するＲＧＢ画像データからより多くの色成分を有するＭＳＩデータを推定しつつ、ＭＳＩデータを復元するめ、復元精度には限界があり、推定したＭＳＩデータにおいては、画質が劣化する可能性が高くなる。

【0008】

そこで、近年では、ＭＳＩデータを変換して得られるＲＧＢ画像データにＭＳＩデータを復元する際に必要な情報（以下、「補完情報」という。）を付加し、当該付加された補完情報を用いてＲＧＢ画像データからＭＳＩデータを復元する際の復元精度を向上させる方法も提案されている（例えば、非特許文献１）。

【0009】

この方法においては、ＭＳＩデータをＲＧＢ画像データに変換するとともに、当該ＲＧＢ画像からＷｉｅｎｅｒ推定法によって推定されるＭＳＩデータと、オリジナルのＭＳＩデータと、の差分値に対応する補正情報を算出して、ＲＧＢ画像データに付加する方法が採用されており、ＲＧＢ画像データから、ＭＳＩデータを復元する際には、この補正情報を用いることによって、ＭＳＩの復元精度を向上させる構成が採用されている。

【0010】

また、この方法においては、符号化されたデータのデータ量を調節することで、ＲＧＢ画像データと復元されるＭＳＩデータの画質を調節することが可能となっている。

【先行技術文献】

【非特許文献】

【0011】

【非特許文献1】Ｋａｚｕｍａ Ｓｈｉｎｏｄａ，Ｙｕｒｉ Ｍｕｒａｋａｍｉ，Ｍａｓａｈｉｒｏ Ｙａｍａｇｕｃｈｉ ａｎｄ Ｎａｇａａｋｉ Ｏｈｙａｍａ ”Ｌｏｓｓｌｅｓｓ ａｎｄ ｌｏｓｓｙ ｃｏｄｉｎｇ ｆｏｒ ｍｕｌｔｉｓｐｅｃｔｒａｌ ｉｍａｇｅ ｂａｓｅｄ ｏｎ ｓＲＧＢ ｓｔａｎｄａｒｄ ａｎｄ ｒｅｓｉｄｕａｌ ｃｏｍｐｏｎｅｎｔｓ”、 Ｊｏｕｒｎａｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ２０（２） ０２００３ ０２３００３−１， ２０１１

【発明の概要】

【発明が解決しようとする課題】

【0012】

しかしながら、上記非特許文献１に記載の方法において生成される補正情報の付加されたＲＧＢ画像データは、通常のＲＧＢ形式の画像データではないため、従来の一般的なＲＧＢ用ディスプレイ及びインターフェース等をそのまま利用することができず、設計上の制約が発生してしまう。

【0013】

本発明は、上記課題を解決するためになされたものであり、その目的は、通常のＲＧＢ画像用のディスプレイ等を利用することが可能であって、かつ、ＭＳＩデータを高精度に復元可能な画像データを生成することが可能な画像データ処理装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0014】

上述した課題を解決するため、本発明の画像データ処理装置は、少なくとも４以上の色情報を有するオリジナルのマルチスペクトル画像をＲＧＢの画素特徴量を有するＲＧＢ画像に変換してＲＧＢ画像データを生成する第１変換手段と、前記変換されたＲＧＢ画像の各画素の画素特徴量から前記マルチスペクトル画像を推定して推定マルチスペクトル画像データを生成する推定手段と、前記推定されたマルチスペクトル画像と、前記オリジナルのマルチスペクトル画像と、の間の差分画像を算出する算出手段と、前記算出された差分画像に対応する差分画像データを圧縮して圧縮差分画像を生成する第１圧縮手段と、前記圧縮差分画像の情報を前記生成されたＲＧＢ画像データ又は当該ＲＧＢ画像データを変換した画像データに埋め込むことによって、前記マルチスペクトル画像を復号する際に用いる復号情報を有するＲＧＢ画像データを重畳ＲＧＢ画像データとして生成する生成手段と、前記生成された重畳ＲＧＢ画像データを所定の量子化ステップ値に基づいて圧縮することができる第２圧縮手段と、を備え、前記生成手段が、前記量子化ステップ値を超える範囲で画素値の変更を行うことで、前記圧縮差分画像の情報を埋め込む構成を有している。

【発明の効果】

【0015】

本発明は、差分画像の情報を補完情報として含む重畳ＲＧＢ画像データをＲＧＢ形式のデータとして生成できるので、重畳ＲＧＢ画像データの表示等に一般的なディスプレイ等を利用することができ、かつ、差分画像の情報を用いてＭＳＩデータを高精度に復元することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の第１実施形態における画像データ生成システムの構成を示すシステム構成図である。

【図2】第１実施形態の画像データ生成システムにおいて重畳ＲＧＢ画像データを生成する際の動作原理を説明する概念図である。

【図3】第１実施形態の画像データ生成システムにおいてＭＳＩデータを復元する際の動作原理を説明する概念図である。

【図4】第１実施形態の画像データ処理装置の構成を示すブロック図である。

【図5】第１実施形態の画像データ処理装置において実行される重畳ＲＧＢ画像データの生成処理を示すフローチャートである。

【図6】第１実施形態の画像データ処理装置において重畳ＲＧＢ画像データからＭＳＩデータを復元する際に実行される処理を示すフローチャートである。

【図7】第２実施形態の画像データ生成システムにおいてＣｒ信号にＤＷＴを施した際に得られるサブバンドの構成を示す図である。

【図8】第２実施形態の画像データ生成システムにおいて重畳ＲＧＢ画像データを生成する際の動作原理を説明する概念図である。

【図9】第２実施形態の画像データ生成システムにおいてＭＳＩデータを復元する際の動作原理を説明する概念図である。

【図10】第２実施形態の画像データ生成システム１においてＣｒ信号のサブバンドに圧縮差分画像データを埋め込みつつ、重畳ＲＧＢ画像データを生成した場合における画像の変化状態を示す図（その１）である。

【図11】第２実施形態の画像データ生成システム１においてＣｒ信号のサブバンドに圧縮差分画像データを埋め込みつつ、重畳ＲＧＢ画像データを生成した場合における画像の変化状態を示す図（その２）である。

【図12】第２実施形態の画像データ処理装置の構成を示すブロック図である。

【図13】第２実施形態の画像データ処理装置において実行される重畳ＲＧＢ画像データの生成処理を示すフローチャート（その１）である。

【図14】第２実施形態の画像データ処理装置において実行される重畳ＲＧＢ画像データの生成処理を示すフローチャート（その２）である。

【図15】第２実施形態の画像データ処理装置において重畳ＲＧＢ画像データからＭＳＩデータを復元する際に実行される処理を示すフローチャートである。

【発明を実施するための形態】

【0017】

以下、図面を参照しつつ、本発明の実施形態について説明する。なお、以下の実施形態は、被写体を撮像するカメラと、当該カメラから画像データを取得して、当該画像データに処理を施す画像データ処理装置と、を有する画像データ生成システムに対し、本発明に係る、画像データ処理装置及びプログラムを適用した場合の実施形態である。

【0018】

［１］第１実施形態
はじめに、図１〜図８を用いて本発明に係る画像データ生成システム１の第１実施形態について説明する。

【0019】

［１．１］画像データ処理システムの概要
まず、図１を用いて、本実施形態の画像データ生成システム１の概要について説明する。なお、図１は、本実施形態の画像データ生成システム１の全体構成を示すシステム構成図である。

【0020】

本実施形態の画像データ生成システム１は、図１に示すように、被写体Ｏに対して、所定の距離を持って設置される複数台のカメラ１０と、各カメラ１０によって供給される画像データに対して、画像処理を施す画像データ処理装置２０Ａと、を備え、少なくとも４以上の色成分に対応する色情報を有し、被写体Ｏを画像化してそのＭＳＩデータを生成するためのシステムである。

【0021】

特に、本実施形態の画像データ生成システム１は、ＭＳＩデータを高精度に復元可能なデータを埋め込むことによって、通常のＲＧＢ画像用のディスプレイ等において利用することが可能なＲＧＢ形式の画像データ（すなわち、ＲＧＢ画像データ）を形成し、かつ、当該ＲＧＢ画像データからＭＳＩデータを復元することが可能なＲＧＢ画像データ（以下、「重畳ＲＧＢ画像データ」という。）を生成するシステムである。

【0022】

各カメラ１０は、例えば、モノクロのデジタルカメラであり、光学システムと、該光学システムから入力された光学画像を電気信号に変換するＣＣＤＩ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）と、ＣＣＤＩにおいて生成された電気信号に基づいて画像データを生成する生成部と、を有している。

【0023】

各カメラ１０には、各々、異なる波長の光を透過するカラーフィルタＦが設けられている。また、各カメラ１０は、このカラーフィルタＦを介して、被写体Ｏを撮像することによって、自機に設けられたカラーフィルタＦを透過した光に対応する画像を撮像し、当該撮像した画像に対応する画像データを画像データ処理装置２０Ａに供給する。

【0024】

すなわち、各カメラ１０は、光学システムのレンズの全面に設けられたカラーフィルタＦを透過した光をＣＣＤＩセンサによって受光することによって、被写体Ｏを撮像し、カラーフィルタＦに対応する色成分の画像データを生成する。

【0025】

例えば、本実施形態においては、図１に示すように、「赤外光」と、「赤」と、「黄色」と、「緑」と、「青」と、「紫」と、の６つの色成分に対応する色情報（例えば、階調値）を有するＭＳＩデータを生成するため、各カメラ１０−１〜１０−６は、それぞれ、各色成分に対応する波長の光のみを透過するカラーフィルタＦ１〜Ｆ６を有している。

【0026】

なお、本実施形態においては、６つの色成分の場合について説明するが、これだけに限らず、４以上の色成分の場合であれば、ＭＳＩを構成する色成分数のカメラ１０を用意すれば、本実施形態は成立する。

【0027】

画像データ処理装置２０Ａは、例えば、パーソナルコンピュータ等の情報処理装置であり、各カメラ１０によって各々異なる色にて同一の被写体Ｏが撮像された画像化された画像データを各カメラ１０から取得し、当該各カメラ１０から供給される画像データを合成する。

【0028】

具体的には、画像データ処理装置２０Ａは、
（１）カメラ１０から供給される各色成分に対応する画像データを合成することによって、ＭＳＩデータを生成するＭＳＩデータ生成機能と、
（２）上記手法により、当該ＭＳＩデータから重畳ＲＧＢ画像データＲＧＢｗを生成する重畳ＲＧＢ画像データ生成機能と、
（３）上記手法によって重畳ＲＧＢ画像データＲＧＢｗからＭＳＩデータを復元するＭＳＩデータ復元機能と、
を有している。

【0029】

［１．２］重畳ＲＧＢ画像データの生成原理
次に、本実施形態における重畳ＲＧＢ画像データ生成原理について説明する。

【0030】

通常、ＭＳＩデータは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の三原色に追加して、三原色以外の色成分（色特徴量）を有するものであるため、ディスプレイやＶＧＡ（ビデオ・グラフィックス・アレイ）などの一般的なＲＧＢ対応機器やインターフェースを利用して画像を再生することができない。

【0031】

そして、ＭＳＩデータに、ＲＧＢ画像の変換手順を適用するだけでは、ＭＳＩデータに含まれるＲＧＢ以外の色情報が失われてしまうため、単にＲＧＢ画像の情報だけでは、オリジナルのＭＳＩデータを復元することが難しい。

【0032】

一方、オリジナルのＭＳＩを復元するために、変換したＲＧＢ画像データに補完情報をＲＧＢ画像データに、電子透かし技術を適用して、埋め込むことも可能であるが、ＲＧＢ画像データは伝送過程や表示過程において情報量の関係で高い頻度で圧縮される可能性があるため、当該補完情報の成分が圧縮処理により削除されない、もしくは、圧縮処理による欠損が生じない周波数領域やビットに埋め込む必要がある。

【0033】

例えば、補完情報が埋め込まれたＲＧＢ画像データ（以下、「重畳ＲＧＢ画像データ」という。）が、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２０００方式などの所定の圧縮方式によって画像圧縮（符号化）された場合には、量子化の過程において、重畳ＲＧＢ画像データの高周波成分が量子化されてしまう。

【0034】

このため、例えば、重畳ＲＧＢ画像データの最下位ビットに補完情報を埋め込んだとしても、重畳ＲＧＢ画像データを圧縮する際に、所定の量子化ステップ以下の周波数帯域に埋め込まれた補完情報に関しては、高周波数成分として量子化されてしまい、ＭＳＩデータの復元に利用することができなくなる可能性が高い。なお、この最下位ビットに補完情報を埋め込む手法（以下、「最下位ビットの埋め込み手法」という。）については、後述の実験結果に比較例として示す。

【0035】

そこで、本実施形態の画像データ生成システム１は、オリジナルＭＳＩを復元するために必要な補完情報を電子透かしとしてＲＧＢ画像データに埋め込まれた、通常のＲＧＢ画像として機能を有する重畳ＲＧＢ画像データを生成するとともに、当該補完情報を、量子化の影響を受けない領域に埋め込む構成を有している。

【0036】

具体的には、本実施形態の画像データ生成システム１は、重畳ＲＧＢ画像データの圧縮を行う際の量子化ステップをαとした場合に、当該量子化ステップαよりも大きな値となる領域（すなわち、±（α＋１）以上となる領域）に補完情報として圧縮差分画像データｅｃを埋め込む構成を有している。

【0037】

例えば、重畳ＲＧＢ画像データをＪＰＥＧ２０００方式で圧縮する場合には、重畳ＲＧＢ画像データに離散ウェーブレット変換（以下、「ＤＷＴ」という。）を施して、当該ＤＷＴによって得られるウェーブレット変換係数を量子化する場合には、スカラー量子化、ポスト量子化のいずれの場合においても帯域ごとに最大となる量子化ステップαを定められるため、α＋１以上の領域に圧縮差分画像データｅｃが埋め込まれることとなる。この結果、重畳ＲＧＢ画像データを圧縮した場合においても、量子化の過程において、圧縮差分画像データｅｃが量子化されることを防止することが可能となる。

【0038】

そして、本実施形態の画像データ生成システム１は、このような構成を有することによって、重畳ＲＧＢ画像データを通常のＲＧＢ画像データとして利用可能であって、たとえ伝送過程や表示過程において画像圧縮されたとしても、オリジナルＭＳＩデータを復元する際の色再現性を向上させることができるようになっている。

【0039】

また、量子化ステップαを大きく設定した場合には、圧縮耐性を強化できるものの、それに伴い、重畳ＲＧＢ画像の画質劣化が大きくなるというトレードオフの関係となる。

【0040】

例えば、重畳ＲＧＢ画像データにおいて高ビットプレーンに補完情報を埋め込む場合には、圧縮耐性を強化できる一方で、画質に影響を与えることになる。

【0041】

そこで、本実施形態の画像データ生成システム１は、重畳ＲＧＢ画像の画質に与える影響を小さくすることが可能な範囲内で重畳ＲＧＢ画像データに補完情報を埋め込む構成を有している。

【0042】

具体的には、本実施形態の画像データ生成システム１は、例えば各階調値が２４ビットで規定される重畳ＲＧＢ画像においては、ＪＰＥＧ２０００などの圧縮方式によって１／１０のデータ量に圧縮されることを想定すると、量子化ステップとして下位２ビットが量子化される可能性が高いため、画素値に４程度の変動を与えることで補完情報を埋め込む、もしくは、下位３ビット目に電子透かしとして補完情報を埋め込むようになっている。

【0043】

［１．３］画像データ生成システムの概要動作
次に、図２及び図３を用いて、本実施形態の画像データ生成システム１において、ＲＧＢ画像データに補完情報を埋め込み、重畳ＲＧＢ画像データＲＧＢｗを生成する際の概要動作及び重畳ＲＧＢ画像データＲＧＢｗからＭＳＩデータを復元する際の概要動作について説明する。

【0044】

なお、図２は、本実施形態の画像データ生成システム１において重畳ＲＧＢ画像データＲＧＢｗを生成する際の動作概要を説明する概念図であり、図３は、本実施形態の画像データ生成システム１においてＭＳＩデータを復元する際の動作概要を説明する概念図である。

【0045】

（重畳ＲＧＢ画像データの生成）
まず、画像データ処理装置２０Ａは、図２に示すように、各カメラ１０から供給される画像データを合成しつつ、オリジナルのＭＳＩデータを生成し（図２［１］）、当該ＭＳＩデータをｓＲＧＢ（スタンダードＲＧＢ）色空間のＲＧＢ画像に変換することにより、ＲＧＢ画像データを生成する（図２［２］）。

【0046】

このとき、画像データ処理装置２０Ａは、生成したＲＧＢデータに含まれる各画素に対応する画素値において、例えば、上記量子化ステップα以下の係数値や，αによって影響を受けるビットプレーンを「０」に置換することによって、切り出しＲＧＢ画像データＲＧＢ’を生成する（図２［３］）。

【0047】

そして、画像データ処理装置２０Ａは、切り出しＲＧＢ画像データＲＧＢ’に対して、Ｗｉｅｎｅｒ推定法を適用することによって、ＲＧＢ画像の各画素の画素値からＭＳＩを推定し、当該推定したＭＳＩに対応する推定ＭＳＩデータＭＳＩ’を生成する（図２［４］）。

【0048】

また、画像データ処理装置２０Ａは、生成した推定ＭＳＩデータＭＳＩ’と、オリジナルのＭＳＩデータと、に含まれる各画素の画素値の差分値を算出することによって差分画像データｅを生成する（図２［５］）。なお、この差分値は、ＲＧＢ画像データに埋め込む補完情報の基礎となる情報である。

【0049】

一方、画像データ処理装置２０Ａは、算出した差分画像データを所定の圧縮手法（例えば、ＪＰＥＧ２０００方式）で圧縮（すなわち、符号化）して、圧縮差分画像データｅｃを生成する（図２［６］）。

【0050】

なお、差分画像データを圧縮する方式については任意であり、ＪＰＥＧ、ＪＰＥＧ−ＸＴ、ＪＰＥＧ−ＸＲ、ＷｅｂＰ等の方法を採用することも可能である。

【0051】

すなわち、差分画像データｅのデータ量は、オリジナルのＭＳＩデータに含まれる色数によって大きく変動し、ＭＳＩが多く色成分を有する場合には、差分画像データｅのデータ量が、非常に大きくなってしまうため、画像データ処理装置２０Ａは、算出した差分画像データを圧縮する構成を有している。

【0052】

そして、画像データ処理装置２０Ａは、生成した圧縮差分画像データｅｃを、生成した切り出しＲＧＢ画像データＲＧＢ’において量子化の影響を受けない領域に補完情報として埋め込み、重畳ＲＧＢ画像データＲＧＢｗを生成する（図２［６］）。

【0053】

（重畳ＲＧＢ画像データからのＭＳＩデータの復元）
一方、本実施形態においては、図３に示すように、画像データ処理装置２０Ａは、上述のように生成された重畳ＲＧＢ画像データＲＧＢｗから圧縮差分画像データｅｃを抽出する（図３［１］）。

【0054】

そして、画像データ処理装置２０Ａは、重畳ＲＧＢ画像データＲＧＢｗにおいて、圧縮差分画像データｅｃの埋め込まれていた領域を「０」に置換しつつ、切り出しＲＧＢ画像データＲＧＢ’を生成し（図３［２］）、当該生成した切り出しＲＧＢ画像データＲＧＢ’にＷｉｅｎｅｒ推定法を適用して推定ＭＳＩデータＭＳＩ’を生成する（図３［３］）。

【0055】

次いで、画像データ処理装置２０Ａは、重畳ＲＧＢ画像データＲＧＢｗから抽出した圧縮差分画像データｅｃをＪＰＥＧ２０００方式にて伸張（すなわち、復号）して、差分画像データｅを生成し（図３［４］）、差分画像データｅと、推定ＭＳＩデータと、に含まれる各画素の画素値を加算することによって、ＭＳＩデータ（以下、「復元ＭＳＩデータ」という。）を復元する（図３［５］）。

【0056】

この結果、本実施形態の画像データ生成システム１は、重畳ＲＧＢ画像データＲＧＢｗをＪＰＥＧ２０００等の方式によって圧縮した場合であっても、圧縮差分画像データｅｃが欠損することを防止しつつ、当該圧縮差分画像データｅｃを用いて、高精度にオリジナルのＭＳＩデータを復元することができるようになっている。

【0057】

［１．４］画像データ処理装置の構成
次に、図４を用いて本実施形態の画像データ処理装置２０Ａの構成について説明する。なお、図４は、本実施形態の画像データ処理装置２０Ａの構成を示すブロック図である。

【0058】

本実施形態の画像データ処理装置２０Ａは、図４に示すように、各種の情報に対応するデータが記録される記録部２００と、上記各機能を実現するための処理を実行するデータ処理部２６０と、キーボード、マウス、タッチパネル等により構成される操作部２７０と、装置管理制御部２８０と、を有し、上記の各部は、バスＢによって相互に接続されている。

【0059】

記録部２００は、例えば、ＨＤＤ（ハードディスクドライブ）又はＳＳＤ（ソリッドステートドライブ）により構成され、その記録領域内に、少なくとも、アプリケーション記録部２０１と、生成されたＭＳＩデータ及び重畳ＲＧＢ画像データＲＧＢｗを記録するための画像データ記録部２０２と、各カメラ１０を管理するための情報が記録されるカメラ管理情報記録部２０３と、ワークエリア及び画像バッファとして機能するＲＡＭ２０４と、が設けられている。

【0060】

アプリケーション記録部２０１には、（１）各カメラ１０によって生成された画像データに基づき、ＭＳＩデータを生成するための処理と、（２）上記手法によってＭＳＩデータから重畳ＲＧＢ画像データＲＧＢｗを生成する処理と、（３）重畳ＲＧＢ画像データに基づき、ＭＳＩデータを復元する処理と、を実現するためのアプリケーションが記録される。

【0061】

カメラ管理情報記録部２０３には、各カメラ１０を管理するための情報として、カメラ管理テーブルＴＢＬが記録される。

【0062】

このカメラ管理テーブルＴＢＬには、例えば、各カメラ１０を識別するためのカメラＩＤと、当該カメラ１０によって撮像される画像の色成分を示す色成分情報と、が対応付けて格納される。

【0063】

例えば、図１に示すように６台のカメラ１０を利用する場合には、カメラ１０−１〜１０−６の各々を識別するためのカメラＩＤと対応付けて、当該カメラ１０によって撮像される画像に対応する色成分情報として、「赤外」、「赤」、「黄」、「緑」、「青」、「紫」の各色成分を示す色成分情報が記録されることになる。

【0064】

なお、カメラ管理テーブルＴＢＬに格納されるデータは、画像データ生成システム１によって生成するＭＳＩデータの色成分数に応じて変化し、画像データ生成システム１を構成するカメラの台数分のデータが格納されることとなる。

【0065】

Ｉ／Ｏインターフェース部２１０は、例えば、ＵＳＢ（Ｕｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ ｂｕｓ）、無線ＬＡＮ（ＩＥＥＥ８０２．１１ａ、ｂ、ｎ、ａｃ）、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ：登録商標）等の入出力用インターフェースであり、各カメラ１０と有線又は無線にて通信接続され、各カメラ１０とバスＢとの間におけるデータの授受を中継する。

【0066】

なお、Ｉ／Ｏインターフェース部２１０には、ＶＧＡ規格に従ってデータの授受を行うインターフェースを介して、ＲＧＢ用のディスプレイを接続するようにしてもよい。

【0067】

データ処理部２６０は、独立した中央演算処理装置（ＣＰＵ）によって構成され、又は、装置管理制御部２８０の中央演算処理装置（ＣＰＵ）を用いて構成される。

【0068】

そして、データ処理部２６０は、装置管理制御部２８０による制御の下、アプリケーション記録部２０１に記録されたアプリケーションを実行することにより、上記手法にて、ＭＳＩデータから重畳ＲＧＢ画像データＲＧＢｗを生成するとともに、重畳ＲＧＢ画像データＲＧＢｗからＭＳＩデータを復元するための処理を実行する。

【0069】

具体的には、データ処理部２６０は、ＭＳＩデータを生成するＭＳＩデータ生成部２６１と、ＭＳＩデータをＲＧＢ画像データに変換するＲＧＢ画像データ生成部２６２と、ＲＧＢ画像からＭＳＩを推定するＭＳＩ推定部２６３と、差分画像データｅを生成する差分画像データ生成部２６４と、画像データ圧縮・伸張部２６５と、埋め込み処理部２６６と、圧縮画像データ抽出部２６７と、ＭＳＩ復元部２６８と、を実現する。

【0070】

なお、例えば、ＲＧＢ画像データ生成部２６２、ＭＳＩ推定部２６３、差分画像データ生成部２６４、画像データ圧縮・伸張部２６５及び埋め込み処理部２６６は、各々、本発明の「第１変換手段」、「推定手段」、「算出手段」及び「生成手段」を構成し、圧縮画像データ抽出部２６７及びＭＳＩ復元部２６８は、各々、本発明の「抽出手段」及び「復元手段」を構成する。

【0071】

ＭＳＩデータ生成部２６１は、Ｉ／Ｏインターフェース部２１０を介して、カメラ１０から供給される各色成分に対応する画像データを合成することにより、オリジナルのＭＳＩデータを生成して、差分画像データ生成部２６４に供給する。

【0072】

このとき、ＭＳＩデータ生成部２６１は、カメラ管理テーブルＴＢＬに格納されたデータに基づいて、各カメラ１０から供給される画像データに対応する色成分を特定しつつ、カメラ１０から供給される画像データを合成して、ＭＳＩデータを生成する。

【0073】

なお、ＭＳＩデータ生成部２６１においてＭＳＩデータを生成する際の処理は、任意であり、例えば、各色成分に対応する画像データを重ね合わせることによって、ＭＳＩデータを生成するようにしてもよい。

【0074】

ＲＧＢ画像データ生成部２６２は、ＭＳＩデータを例えば、ｓＲＧＢ（スタンダードＲＧＢ）色空間のＲＧＢ画像に変換することにより、ＲＧＢ画像データを生成する。

【0075】

例えば、ＲＧＢ画像データ生成部２６２は、Ｗｉｅｎｅｒ推定法によりＭＳＩデータから推定した分光反射率に、人間の目に対応する分光感度である等色関数と，標準のＤ６５光源における再現照明光を掛け合わせることで，ＸＹＺ三刺激値を求め、さらに、そのＸＹＺ三刺激値からＲＧＢ値を算出する。

【0076】

なお、分光反射率の算出方法、ＸＹＺ三刺激値からＲＧＢ値を算出する方法については、従来と同様であるため、詳細を省略する。

【0077】

また、本実施形態においては、説明を具体化するため、ＲＧＢ画像データ生成部２６２が、上記構成を有するものとして説明を行うが、ＲＧＢ画像データ生成部２６２は、ＭＳＩデータの任意の３チャネルの色情報を、それぞれ、Ｒ、Ｇ、Ｂに対応する色チャネルに割り当てることによって、ＲＧＢ画像データを生成することも可能である。

【0078】

さらに、ＲＧＢ画像データ生成部２６２が生成する画像データの形式は任意であり、ＲＧＢ形式以外の形式で３つの色チャネルを有する画像データを生成するようにしてもよい。

【0079】

ＭＳＩ推定部２６３は、Ｗｉｅｎｅｒ推定法を用いることによって、ＲＧＢ画像データからＭＳＩを推定し、当該推定されたＭＳＩに対応する推定ＭＳＩデータＭＳＩ’を生成する。

【0080】

特に、ＭＳＩ推定部２６３は、このＭＳＩの推定に際して、ＲＧＢ画像データに含まれるＲＧＢ画像の各画素に対応する画素値に基づいて、ＭＳＩを推定するようになっている。

【0081】

具体的には、ＭＳＩ推定部２６３は、重畳ＲＧＢ画像データＲＧＢｗの生成に際しては、ＲＧＢ画像データ生成部２６２から供給されるオリジナルのＭＳＩデータを変換したＲＧＢ画像データに含まれる各画素に対応する画素値に基づき、ＭＳＩを推定するとともに、当該推定されたＭＳＩに対応する推定ＭＳＩデータＭＳＩ’を生成する。

【0082】

また、ＭＳＩ推定部２６３は、重畳ＲＧＢ画像データからＭＳＩデータを復元する際には、重畳ＲＧＢ画像データＲＧＢｗから圧縮差分画像データｅｃを抽出して得られる切り出しＲＧＢ画像データＲＧＢ’に含まれる各画素に対応する画素値、例えば，下位ｎビットまでを圧縮差分画像データの埋め込みに使用した場合には、下位ｎビットが０に置換されている画素値に基づきＭＳＩを推定して、対応する推定ＭＳＩデータＭＳＩ’を生成する。

【0083】

差分画像データ生成部２６４は、ＭＳＩ推定部２６３によって生成される推定ＭＳＩデータＭＳＩ’と、オリジナルのＭＳＩデータと、の差分値を算出することによって、上記差分画像データｅを生成する。

【0084】

特に、差分画像データ生成部２６４は、オリジナルのＭＳＩデータに含まれる各画素に対応する画素値と、推定ＭＳＩデータＭＳＩ’に含まれる各画素に対応する画素値と、の差を取って、画素毎に画素値の差分値を算出しつつ、各画素の画素値の差分値からなる差分画像データｅを生成する。

【0085】

画像データ圧縮・伸張部２６５は、ＪＰＥＧ２０００方式のコーデックを搭載しており、供給される画像データをＪＰＥＧ２０００方式で符号化（圧縮）及び復号（伸張）する。

【0086】

特に、画像データ圧縮・伸張部２６５は、重畳ＲＧＢ画像データＲＧＢｗを生成する際には、差分画像データ生成部２６４から供給される差分画像データｅをＪＰＥＧ２０００などの方式で符号化して圧縮差分画像データｅｃを生成する。

【0087】

また、画像データ圧縮・伸張部２６５は、重畳ＲＧＢ画像データＲＧＢｗからＭＳＩデータを復元する際には、後述する圧縮画像データ抽出部２６７によって抽出される圧縮差分画像データｅｃを復号して、差分画像データｅを生成する。

【0088】

さらに、画像データ圧縮・伸張部２６５は、上記重畳ＲＧＢ画像データＲＧＢｗの符号化及び復号を行う機能を有している。

【0089】

埋め込み処理部２６６は、ＲＧＢ画像データ生成部２６２によって生成されたＲＧＢ画像データに対して、圧縮差分画像データｅｃを埋め込むための処理を実行する。

【0090】

特に、埋め込み処理部２６６は、ＲＧＢ画像データに含まれる画素値において、上記量子化ステップα以下のビットプレーンを「０」に置換して、切り出しＲＧＢ画像データＲＧＢ’を生成するとともに、量子化ステップαよりも値の大きい領域（例えばαのｍｏｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔより一つ上位のビットプレーン）に圧縮差分画像データｅｃを埋め込んで、重畳ＲＧＢ画像データＲＧＢｗを生成する。

【0091】

圧縮画像データ抽出部２６７は、重畳ＲＧＢ画像データＲＧＢｗから圧縮差分画像データｅｃを抽出し、画像データ圧縮・伸張部２６５に供給する。

【0092】

ＭＳＩ復元部２６８は、
（１）ＭＳＩ推定部２６３によって生成された推定ＭＳＩデータＭＳＩ’と、
（２）圧縮画像データ抽出部２６７によって抽出された圧縮差分画像データｅｃを画像データ圧縮・伸張部２６５により伸張して得られる差分画像データｅと、
を加算することによって、ＭＳＩデータを復元する。

【0093】

［１．５］画像データ生成システムにおける動作
［１．５．１］重畳ＲＧＢ画像データの生成処理
次に、図５を参照しつつ、本実施形態の画像データ生成システム１において重畳ＲＧＢ画像データＲＧＢｗを生成する生成処理の動作について説明する。なお、図５は、本実施形態の画像データ処理装置２０Ａにおいて実行される重畳ＲＧＢ画像データＲＧＢｗの生成処理を示すフローチャートである。

【0094】

まず、ＭＳＩデータ生成部２６１は、Ｉ／Ｏインターフェース部２１０を介して、カメラ１０から供給される画像データを合成して、被写体Ｏに関するオリジナルのＭＳＩデータを生成する（ステップＳａ１００）。

【0095】

次いで、ＲＧＢ画像データ生成部２６２は、当該生成されたＭＳＩデータをｓＲＧＢ色空間のＲＧＢ画像に変換することにより、ＲＧＢ画像データを生成する（ステップＳａ１０１）。

【0096】

次いで、埋め込み処理部２６６は、生成されたＲＧＢ画像データの画素値において、上記量子化ステップα以下の周波数領域のビットプレーンを「０」に置換して、切り出しＲＧＢ画像データＲＧＢ’を生成する（ステップＳａ１０２）。

【0097】

そして、ＭＳＩ推定部２６３は、切り出しＲＧＢ画像データＲＧＢ’に対してＷｉｅｎｅｒ推定法を適用することによって、切り出しＲＧＢ画像データＲＧＢ’からＭＳＩを推定し、推定ＭＳＩデータＭＳＩ’を生成する（ステップＳａ１０３）。

【0098】

次いで、差分画像データ生成部２６４は、ＭＳＩデータ生成部２６１から供給されるオリジナルのＭＳＩデータと、ＭＳＩ推定部２６３から供給される推定ＭＳＩデータＭＳＩ’と、の差分値を算出することによって、差分画像データｅを生成する（ステップＳａ１０４）。

【0099】

次いで、画像データ圧縮・伸張部２６５は、当該生成された差分画像データｅをＪＰＥＧ２０００方式で符号化することによって、圧縮差分画像データｅｃを生成する（ステップＳａ１０５）。

【0100】

次いで、埋め込み処理部２６６は、切り出しＲＧＢ画像データＲＧＢ’に含まれる画素値において、量子化ステップαよりも値の大きい領域に当該生成された圧縮差分画像データｅｃを埋め込むことによって重畳ＲＧＢ画像データＲＧＢｗを生成する（ステップＳａ１０６）。

【0101】

次いで、画像データ圧縮・伸張部２６５は、当該生成された重畳ＲＧＢ画像データＲＧＢｗをＪＰＥＧ２０００方式で圧縮して（ステップＳａ１０７）、処理を終了する。

【0102】

［１．５．２］ＭＳＩデータの復元処理
次に、図６を用いて、本実施形態の画像データ生成システム１おいて、重畳ＲＧＢ画像データＲＧＢｗからＭＳＩデータを復元する際の動作について説明する。なお、図６は、本実施形態の画像データ処理装置２０Ａにおいて実行される重畳ＲＧＢ画像データＲＧＢｗからＭＳＩデータを復元する処理を示すフローチャートである。

【0103】

まず、画像データ圧縮・伸張部２６５は、重畳ＲＧＢ画像データＲＧＢｗを復号する（ステップＳｂ１００）。

【0104】

次いで、圧縮画像データ抽出部２６７は、重畳ＲＧＢ画像データＲＧＢｗから圧縮差分画像データｅｃを抽出し、当該ビットプレーンを「０」に置換することによって切り出しＲＧＢ画像データＲＧＢ’に変換する（ステップＳｂ１０１）。

【0105】

次いで、画像データ圧縮・伸張部２６５は、圧縮差分画像データｅｃをＪＰＥＧ２０００方式で復号して、差分画像データｅに変換する（ステップＳｂ１０２）。

【0106】

次いで、ＭＳＩ推定部２６３は、切り出しＲＧＢ画像データＲＧＢ’に対して、Ｗｉｅｎｅｒ推定法を適用することによって、ＭＳＩを推定し、当該推定したＭＳＩに対応する推定ＭＳＩデータＭＳＩ’を生成する（ステップＳｂ１０３）。

【0107】

次いで、ＭＳＩ復元部２６８は、得られた推定ＭＳＩデータ ＭＳＩ’に差分画像データｅを加算することにより、ＭＳＩデータを復元して（ステップＳｂ１０４）、処理を終了する。

【0108】

以上説明したように、本実施形態の画像データ生成システム１においては、オリジナルのＭＳＩデータをＲＧＢデータに変換して、当該ＲＧＢ画像データに含まれる各画素に対応する画素値において、量子化の影響を受けないビットプレーンを圧縮差分画像データｅｃに置換することによって重畳ＲＧＢ画像データＲＧＢｗを生成することができる。

【0109】

したがって、本実施形態の画像データ生成システム１は、一般的なＲＧＢ用ディスプレイ等を利用しつつ、ＭＳＩデータに対応する画像を表示させることができるとともに、重畳ＲＧＢ画像データＲＧＢｗを伝送する際には、ＶＧＡ等のＲＧＢ用のインターフェースを利用することができるので、ＭＳＩの普及を促進することができる。

【0110】

また、オリジナルのＭＳＩデータに赤外領域等の不可視項領域の画像が含まれる場合においても、当該赤外領域の画像を差分画像データとして抽出できるので、本実施形態の手法によれば、赤外領域の画像を高画質に復元することができる。

【0111】

なお、圧縮差分画像データｅｃは、重畳ＲＧＢ画像データＲＧＢｗのデータ圧縮時に量子化の過程で量子化されない領域に埋め込まれるため、重畳ＲＧＢ画像データＲＧＢｗをＪＰＥＧ２０００等の方式によって圧縮した場合であっても、圧縮差分画像データｅｃが量子化されることを防止しつつ、当該圧縮差分画像データｅｃを用いて、高精度にオリジナルのＭＳＩデータを復元することができる。

【0112】

［２］第２実施形態
次に、図７〜図１５を用いて本発明に係る画像データ生成システム１の第２実施形態について説明する。

【0113】

［２．１］画像データ生成システムの特徴
まず、図７を用いて本実施形態の画像データ生成システムの特徴について説明する。なお、図７は、色差信号であるＣｒ信号に離散ウェーブレット変換（ＤＷＴ）を施した際に得られるサブバンド構成を示す図である。

【0114】

本実施形態においては、ＭＳＩデータを変換して得られるＲＧＢ画像を更にＹＣｂＣｒ形式の色差画像に変換し、当該色差画像のＣｒ信号に圧縮差分画像データｅｃを埋め込む点に特徴がある。

【0115】

ここで、本実施形態において、Ｃｒ信号に圧縮差分画像データｅｃを埋め込む手法を採用することとしたのは、色差画像データの輝度信号であるＹ信号を圧縮差分画像データｅｃの埋め込みに利用した場合には、画像の輝度に影響が生じるため、逆色変換した際に、ＲＧＢのすべての信号に圧縮差分画像データｅｃの埋め込みによる値の変化の影響を与えることになるのに対して、色差信号であれば、画質の劣化を小さくすることができるからである。

【0116】

なお、本実施形態においては、説明を具体化するため、色差画像データのＣｒ信号に圧縮差分画像データｅｃを埋め込む場合を例に説明を行うが、Ｃｂ信号に圧縮差分画像データを埋め込む構成としてもよく、この場合であっても、画質劣化を抑えつつ、圧縮差分画像データｅｃを埋め込み、画質の劣化を抑えつつ、当該圧縮差分画像データｅｃを用いて、ＭＳＩデータを高精度に復元することが可能である。

【0117】

また、この場合においては、以下に説明する、Ｃｒ信号に圧縮差分画像データを埋め込む場合と、同様の原理、構成及び処理を実行することによって、本実施形態と同様の効果を実現することが可能であり、圧縮差分画像データｅｃの埋め込み対象がＣｒ信号からＣｂ信号に変化する点のみが、以下の実施形態と異なってくる。

【0118】

具体的には、本実施形態においては、色差信号であるＣｒ信号に離散ウェーブレット変換（ＤＷＴ）を施すとともに、当該Ｃｒ信号の中間周波数サブバンドであるＬＨ２、ＨＬ２、ＨＨ２に補完情報、すなわち、圧縮差分画像データｅｃを埋め込むようになっている。

【0119】

通常、ＤＷＴ後のＣｒ信号における低周波数サブバンドであるＬＬ１やＬＬ２に圧縮差分画像データｅｃを埋め込むと，圧縮耐性は強くなるが、画質は大きく劣化すること分かっている。

【0120】

その一方、Ｃｒ信号の高周波数サブバンドであるＬＨ１、ＨＬ１、ＨＨ１に圧縮差分画像データｅｃを埋め込むと、画質の劣化を抑えることはできるが、高周波数成分は、重畳ＲＧＢ画像データを圧縮する際に量子化過程において量子化される可能性があるので、圧縮耐性が弱くなる。

【0121】

そこで、本実施形態においては、圧縮耐性を持たせつつ、画質劣化を小さくするために、当該Ｃｒ信号の中間周波数サブバンドであるＬＨ２、ＨＬ２及びＨＨ２に、補完情報、すなわち、圧縮差分画像データｅｃを埋め込むようになっている。

【0122】

なお、いずれの周波数帯域であっても、その帯域におけるスカラー量子化又はポスト量子化による量子化ステップαを規定できるため、量子化ステップαの影響を受けないビットプレーン等に情報を埋め込むことで、後述する重畳ＲＧＢ画像データｇｗを圧縮した場合であっても、圧縮差分画像データｅｃが欠損することはなく、ＭＳＩデータの復元に当該圧縮差分画像データｅｃを用いることが可能となる。

【0123】

すなわち、本実施形態においては、Ｃｒ信号においてＲＧＢ画像を圧縮する際の量子化ステップαの影響を受けない領域に補完情報、すなわち、圧縮差分画像データｅｃを埋め込むようになっている。

【0124】

なお、本実施形態におけるその他の構成は、第１実施形態と同様であり、同一の部材には同一の符号を付してその説明を省略する。

【0125】

具体的には、本実施形態は、基本的に上記図１と同様の構成によって、実現されるものであるが、重畳ＲＧＢ画像データの生成手法及びＭＳＩデータの復元処理が、上記第１実施形態と異なっており、これに伴って、画像データ処理装置の構成及び動作が、第１実施形態と異なる。そこで、本実施形態は、第１実施形態と異なる点を中心にその説明を行う。

【0126】

［２．２］画像データ生成システムの基本原理
次に、図８及び図９を用いて、本実施形態の画像データ生成システムにおける概要動作及び原理について説明する。

【0127】

なお、図８は、本実施形態における画像データ生成システムの重畳ＲＧＢ画像データｇｗの生成処理における動作原理を説明する概念図であり、図９は、本実施形態における画像データ生成システムにおいて重畳ＲＧＢ画像データｇｗからＭＳＩデータを復元する復元処理における動作原理を説明する概念図である。

【0128】

（重畳ＲＧＢ画像データの生成処理）
本実施形態の画像データ処理装置２０は、図８に示すように、オリジナルのＭＳＩデータｆをＲＧＢ画像データｇに変換し（図８の［１］）、当該ＲＧＢ画像データの各画素に対応する画素値に基づき、ＹＣｂＣｒ形式の色差画像データを生成する（図８の［２］）。

【0129】

そして、画像データ処理装置２０Ｂは、ＲＧＢ画像データから変換した色差画像データのＣｒ信号に対して、ＤＷＴ（離散ウェーブレット変換）を施して、Ｃｒ信号を、上述のように、複数の周波数サブバンドの周波数帯域毎に分割する（図８の［３］）。

【0130】

このとき、画像データ処理装置２０Ｂは、Ｃｒ信号のＬＨ２、ＨＬ２及びＨＨ２の変換係数を「０」に置換するとともに（図８［４］）、逆離散ウェーブレット変換(ＩＤＷＴ)を施して、切りだしＣｒ信号Ｃｒ’を生成する（図８［５］）。

【0131】

一方、画像データ処理装置２０Ｂは、切りだしＣｒ信号Ｃｒ’をＹ信号とＣｂ信号とともに逆色変換を行い、ＲＧＢ画像データｇ’を得る（図８［６］）。

【0132】

そして、画像データ処理装置２０Ｂは、ＲＧＢ画像データｇ’に対してＷｉｅｎｅｒ推定法を用いて、ＭＳＩを推定し、推定ＭＳＩデータｆ’を生成する（図８の［７］）。

【0133】

特に、画像データ処理装置２０Ｂは、推定ＭＳＩデータｆ’を生成するにあたり、ガンマ補正前のＲＧＢ画素値に戻すため、本実施形態においては、ＲＧＢ画像データｇ’に逆ガンマ補正を行う。なお、逆ガンマ補正の処理については、従来と同様であるため詳細を省略する。

【0134】

また、画像データ処理装置２０Ｂは、オリジナルのＭＳＩデータｆと、推定ＭＳＩデータｆ’と、の各画素の画素値の差分値を算出して差分画像データｅを生成する（図８の［８］）。

【0135】

さらに、画像データ処理装置２０Ｂは、差分画像データｅをＪＰＥＧ２０００方式で圧縮することによって、圧縮差分画像データｅｃを生成し（図８の［９］）、Ｃｒ信号のサブバンドＬＨ２、ＨＬ２及びＨＨ２に対応する変換係数に対し、圧縮差分画像データｅｃの画素値に置換することによって、Ｃｒ信号に圧縮差分画像データｅｃを埋め込む（図８の［１０］）。

【0136】

他方、画像データ処理装置２０Ｂは、このＣｒ信号にＩＤＷＴを施して、埋め込みＣｒ信号Ｃｒｗを生成し（図８の［１１］）、この埋め込みＣｒ信号Ｃｒｗと、輝度信号Ｙと、色差信号Ｃｂと、からなる色差画像をＲＧＢ画像に変換して、重畳ＲＧＢ画像データｇｗを生成する（図８の［１２］）。

【0137】

このような処理を実行することよって、本実施形態の画像データ処理装置２０Ｂは、重畳ＲＧＢ画像データｇｗを圧縮する際に圧縮差分画像データｅｃが欠損することを防止して、重畳ＲＧＢ画像データｇｗの圧縮耐性を向上させつつ、圧縮差分画像データｅｃの埋め込みによる重畳ＲＧＢ画像の画質劣化を抑えることが可能な重畳ＲＧＢ画像データｇｗを生成することができる。

【0138】

そして、本実施形態の画像データ処理装置２０Ｂは、このように生成した重畳ＲＧＢ画像データｇｗに対して、ＪＰＥＧ２０００方式などの画像圧縮を実行する。

【0139】

（ＭＳＩの復元処理）
本実施形態の画像データ処理装置２０Ｂは、ＪＰＥＧ２０００方式などによって伸張された重畳ＲＧＢ画像データｇｗを取得すると、当該取得した重畳ＲＧＢ画像データｇｗを色差画像に変換し、輝度信号Ｙと、色差信号Ｃｂと、差分画像データが埋め込まれた埋め込みＣｒ信号Ｃｒｗと、を生成する（図９の［１］）。

【0140】

そして、画像データ処理装置２０Ｂは、埋め込みＣｒ信号Ｃｒｗに対して、ＤＷＴを施し（図９の［２］）、埋め込みＣｒ信号ＣｒｗのサブバンドＬＨ２、ＨＬ２及びＨＨ２から圧縮差分画像データｅｃを抽出する（図９の［３］）。

【0141】

一方、画像データ処理装置２０Ｂは、圧縮差分画像データｅｃを抜き出したサブバンドＬＨ２、ＨＬ２及びＨＨ２の変換係数を「０」に置換した後（図９の［４］）、ＩＤＷＴを施すことによって（図９の［５］）、切りだしＣｒ信号Ｃｒ’を生成する。

【0142】

そして、画像データ処理装置２０Ｂは、切りだしＣｒ信号Ｃｒ’と、輝度信号Ｙと、色差信号Ｃｂと、からなる色差画像をＲＧＢ画像に変換してＲＧＢ画像データｇ’を生成し（図９の［６］）、当該ＲＧＢ画像データｇ’にＷｉｅｎｅｒ推定法を適用しつつ、推定ＭＳＩデータｆ’を生成する（図９の［７］）。

【0143】

他方、画像データ処理装置２０Ｂは、埋め込みＣｒ信号Ｃｒｗから抽出された、圧縮差分画像データｅｃについては、ＪＰＥＧ２０００方式で復号することによって、差分画像データｅに変換し（図９の［８］）、当該差分画像データｅと、推定ＭＳＩデータｆ’と、の各画素に対応する画素値を加算して、復元ＭＳＩデータｆＲを復元する（図９の［９］）。

【0144】

このような処理を実行することよって、本実施形態の画像データ処理装置２０Ｂは、重畳ＲＧＢ画像データｇｗを圧縮する際に圧縮差分画像データｅｃが欠損することを防止して、重畳ＲＧＢ画像データｇｗから高精度にＭＳＩデータｆＲを復元することができるようになっている。

【0145】

［２．２］実験結果
次に、図１０及び図１１を用いて、本実施形態の画像データ生成システム１における実験結果について説明する。なお、図１０及び図１１は、本実施形態の画像データ生成システム１において、Ｃｒ信号のサブバンドＬＨ２、ＨＬ２及びＨＨ２に圧縮差分画像データｅｃを埋め込みつつ、重畳ＲＧＢ画像データｇｗを生成した場合における画像の変化状態を示す図である。

【0146】

本実験結果においては、
（Ａ）特定の被写体Ｏ（やかん）を撮像して得られたＭＳＩデータからＲＧＢ画像データを生成し、
（Ｂ）当該生成したＲＧＢ画像データを変換した色差画像データのＣｒ信号におけるサブバンドＬＨ２、ＨＬ２及びＨＨ２に、圧縮差分画像データを埋め込み、
（Ｃ）重畳ＲＧＢ画像データを生成した。

【0147】

そして、当該生成した重畳ＲＧＢ画像データｇｗを他の手法及びＷｉｎｎｅｒ推定によって得られた復元ＭＳＩ画像と比較した結果を表１に示す。

【0148】

具体的には、表１には、
（１）被写体Ｏを撮像して得られたオリジナルＭＳＩデータを変換したＲＧＢ画像データからＷｉｅｎｅｒ推定法によって、ＭＳＩデータを推定した場合のＰＳＮＲ（表１の２列目）、
（２）被写体Ｏを撮像して得られたオリジナルのＲＧＢ画像の最下位ビットに圧縮差分画像データを埋め込んだ場合（上述の最下位ビットの埋め込み手法）における重畳ＲＧＢ画像データから復元されるＭＳＩデータのＰＳＮＲ（表１の３列目）、
（３）被写体Ｏを撮像して得られたオリジナルのＲＧＢ画像の最下位ビットに圧縮差分画像データを埋め込んだ場合の重畳ＲＧＢ画像データに対応するＰＳＮＲ（表１の４列目）、
（４）本実施形態の方法を採用した場合における重畳ＲＧＢ画像データのＰＳＮＲ（表１の５列目）、及び、
（５）本実施形態の手法で生成された重畳ＲＧＢ画像データから復元されるＭＳＩデータのＰＳＮＲ（表１の５列目）、
を示す。

【0149】

なお、表１において、「ｂｐｐ」は、ＲＧＢの画素値のビットレートを示しており、「２４ｂｐｐ」で画像が圧縮されていない状態、「２．４ｂｐｐ」で、１０倍に圧縮されている状態を示している。

【0150】

【表1】

【0151】

表１に示すように、上記の（１）のＷｉｅｎｅｒ推定法によって推定されるＭＳＩのＰＳＮＲは、約３２．５ｄＢ（デシベル）〜３４ｄＢ程度に留まっている。

【0152】

これに対して、上記の（２）及び（３）における重畳ＲＧＢ画像及び当該重畳ＲＧＢ画像から推定される復元ＭＳＩについては、未圧縮である「２４ｂｐｐ」の場合は、非常に高いＰＳＮＲが確保されているものの、この場合における復元ＭＳＩデータに対応するＰＳＮＲは、表１のＷｉｅｎｅｒ推定法におけるＰＳＮＲとほぼ同じ値になった。

【0153】

これは、所定の手法によって検討した結果、重畳ＲＧＢ画像を圧縮した場合には圧縮差分画像データが変化したと考えられ、重畳ＲＧＢ画像データＲＧＢｗを圧縮した際に圧縮差分画像データｅｃが変化してしまい、上述のように圧縮差分画像データｅｃを利用することができないことが原因であり、推定誤差を無視してＷｉｅｎｅｒ推定法によりＲＧＢ画像からＭＳＩを推定した結果と考えられた。なお、これらのＰＳＮＲは、Ｗｉｅｎｅｒ推定法におけるＰＳＮＲとほぼ同じ値になるため、表１においては、横線「−」で表記している。

【0154】

一方、本実施形態の手法により生成される重畳ＲＧＢ画像データのＰＳＮＲについては、表１に示すようにいずれのビットレートにおいても３９ｄＢ程度のＰＳＮＲが確保できていることが分かった。

【0155】

また、本実施形態の手法を採用して生成される重畳ＲＧＢ画像データでは、１０倍の圧縮を行った「２．４ｂｐｐ」の場合であっても、当該重畳ＲＧＢ画像データから復元されるＭＳＩデータのＰＳＮＲは、３４ｄＢ程度確保できており、いずれのビットレートにおいてもＷｉｅｎｅｒ推定法によってＲＧＢ画像から推定されるＭＳＩデータよりも２〜５ｄＢ程度ＰＳＮＲが向上していることが分かった。

【0156】

一方、本実施形態の手法によって生成した重畳ＲＧＢ画像データの画質の評価結果を図１０及び１１に示す。

【0157】

なお、図１０（Ａ）は、「やかん」を被写体Ｏとして撮像して得られたオリジナルのＭＳＩデータをＲＧＢ画像に変換した画像であり、図１０（Ｂ）は、図１０（Ａ）のＲＧＢ画像データに圧縮差分画像データｅｃを埋め込んだ重畳ＲＧＢ画像データに対応する画像であり、（Ｃ）は、図１０（Ｂ）の重畳ＲＧＢ画像データをＪＰＥＧ２０００方式で１／１０のデータ量に圧縮・伸長した画像データに対応する画像を示している。

【0158】

また、図１１は、同一の被写体Ｏ（やかん）について撮像して得られたオリジナルＭＳＩデータに含まれる波長７２０ナノメートルの画像における変化状態を示しており、図１１（Ａ）には、オリジナルのＭＳＩデータに含まれる波長７２０ナノメートルの画像を示し、図１１（Ｂ）には、オリジナルＭＳＩを変換したＲＧＢ画像データに対応するＲＧＢ画像からＷｉｅｎｅｒ推定法により推定した波長７２０ナノメートルにおける画像を示し、図１１（Ｃ）には、本実施形態の方法によって生成した重畳ＲＧＢ画像データｇｗから復元した波長７２０ナノメートルにおける画像を示している。

【0159】

なお、図１０及び図１１に示すオリジナルのＭＳＩデータは、色成分数１６、５１２×５１２ピクセル、１つの色成分（すなわち、１バンド）あたり８ｂｐｐ（ビット・パー・ピクセル）の画像を用いている。

【0160】

すなわち、ＲＧＢ画像データの場合には、Ｒと、Ｇと、Ｂと、の３つの色成分の情報に各々に８ビットずつが振り当てられ、合計２４ビット・パー・ピクセル（＝８ビット×３）となるが、ＭＳＩの場合と、ＲＧＢの場合と、では、どちらも１バンド辺りのビット数は８ビットになっている。

【0161】

図１０に示すように、本実施形態の手法を採用した場合には、重畳ＲＧＢ画像データｇｗにおいては、１０倍に圧縮した場合であっても、オリジナルのＭＳＩから変換したＲＧＢ画像から大きく画質が劣化しないことが分かった。

【0162】

また、図１１に示すように、波長７２０ナノメートルに対応する画像については、図１１（Ｂ）に示すようにオリジナルのＭＳＩデータを変換したＲＧＢ画像からＷｉｅｎｅｒ推定法によって推定される画像は、オリジナルＭＳＩから大きく画質が劣化しているのに対して、本実施形態の手法によれば、図１１（Ｃ）に示すように視覚上、オリジナルＭＳＩから大きく画質が劣化していないことが分かった。

【0163】

［２．３］画像データ処理装置
次に、図１２を用いて本実施形態の画像データ処理装置２０Ｂの構成について説明する。なお、図１２は、第２実施形態の画像データ処理装置２０Ｂの構成を示すブロック図である。

【0164】

本実施形態の画像データ処理装置２０Ｂは、図１２に示すように、図４の構成に加えて、データ処理部２６０に色差画像生成部２６９Ａと、ＤＷＴ／ＩＤＷＴ処理部２６９Ｂと、が設けられている。なお、本実施形態の色差画像生成部２６９Ａと、ＤＷＴ／ＩＤＷＴ処理部２６９Ｂと、は、例えば、本発明の「第２変換部」及び「分割手段」を構成する。

【0165】

ＲＧＢ画像データ生成部２６２は、重畳ＲＧＢ画像データｇｗを生成する際には、ＭＳＩデータｆに含まれる各画素の画素値に基づき、ＲＧＢ画像データｇを生成するとともに、色差画像生成部２６９によって生成された、輝度信号Ｙと、色差信号Ｃｂと、切りだしＣｒ信号Ｃｒ’と、に基づき、ＲＧＢ画像データｇ’を生成する。

【0166】

また、ＲＧＢ画像データ生成部２６２は、ＭＳＩデータｆＲを復元する際には、重畳ＲＧＢ画像データｇｗに基づき、色差画像生成部２６９Ａにより生成される輝度信号Ｙと、色差信号Ｃｂと、埋め込みＣｒ信号Ｃｒｗから生成される切りだしＣｒ信号Ｃｒ’と、に基づき、ＲＧＢ画像データｇ’を生成する。

【0167】

画像データ圧縮・伸張部２６５は、供給される画像データをＪＰＥＧ２０００方式で圧縮及び伸張する機能を有している。

【0168】

埋め込み処理部２６６は、重畳ＲＧＢ画像データｇｗを生成する際に、色差画像生成部２６９によって複数のサブバンドに分割されたＣｒ信号のＬＨ２、ＨＬ２及びＨＨ２に対応する変換係数を「０」に置換しつつ、圧縮による量子化の影響を受けないようにα以上の強度を持った圧縮差分画像データｅｃを埋め込むことによって、Ｃｒ信号に圧縮差分画像データｅｃを埋め込むための処理を実行する。

【0169】

圧縮画像データ抽出部２６７は、埋め込みＣｒ信号ＣｒｗのサブバンドＬＨ２、ＨＬ２及びＨＨ２から圧縮差分画像データｅｃを抽出して、当該圧縮差分画像データｅｃを抜き出したサブバンド領域の変換係数を「０」に置換する処理を実行するようになっている。

【0170】

色差画像生成部２６９Ａは、ＲＧＢ画像データに含まれる各画素に対応する画素値に基づいて、色差画像を生成する機能を有している。

【0171】

具体的には、色差画像生成部２６９Ａは、重畳ＲＧＢ画像データｇｗを生成する際には、オリジナルのＭＳＩデータｆを変換して得られるＲＧＢ画像データｇに含まれる各画素に対応する画素値に基づき、輝度信号Ｙと、色差信号Ｃｂと、色差信号Ｃｒを生成する。

【0172】

そして、色差画像生成部２６９Ａは、ＭＳＩデータｆＲの復元に際しては、重畳ＲＧＢ画像データｇｗを色差画像に変換して、輝度信号Ｙと、色差信号Ｃｂと、埋め込みＣｒ信号Ｃｒｗを生成する。

【0173】

ＤＷＴ／ＩＤＷＴ処理部２６９Ｂは、供給されるＣｒ信号に対して、ＤＷＴ及びＩＤＷＴを施す機能を有している。

【0174】

特に、ＤＷＴ／ＩＤＷＴ処理部２６９Ｂは、重畳ＲＧＢ画像データｇｗの生成及びＭＳＩデータｆＲ、の復元に際して、ＤＷＴ後のＣｒ信号において、ＬＨ２、ＨＬ２及びＨＨ２に対応する変換毛数を「０」に置換しつつ、当該置換後のＣｒ信号にＩＤＷＴを施して、切りだしＣｒ信号Ｃｒ’を生成するようになっている。

【0175】

［２．４］第２実施形態の動作
［２．４．１］重畳ＲＧＢ画像データの生成処理
次に、図１３及び１４を参照しつつ、本実施形態の画像データ生成システムにおいて重畳ＲＧＢ画像データｇｗを生成する際の動作について説明する。なお、図１３及び１４は、本実施形態の画像データ処理装置２０Ｂにおいて実行される重畳ＲＧＢ画像データｇｗの生成処理を示すフローチャートである。

【0176】

まず、ＭＳＩデータ生成部２６１は、Ｉ／Ｏインターフェース部２１０を介して、カメラ１０から供給される画像データを合成して、被写体Ｏに関するオリジナルのＭＳＩデータｆを生成する（ステップＳｃ１００）。

【0177】

次いで、ＲＧＢ画像データ生成部２６２は、当該生成されたＭＳＩデータをｓＲＧＢ色空間のＲＧＢ画像に変換することにより、ＲＧＢ画像データｇを生成する（ステップＳｃ１０１）。

【0178】

次いで、色差画像生成部２６９は、ＲＧＢ画像データｇに含まれる各画素に対応する画素値に基づき、ＲＧＢ画像データをＹＣｂＣｒ形式の色差画像データに変換する（ステップＳｃ１０２）。

【0179】

次いで、ＤＷＴ／ＩＤＷＴ処理部２６９Ｂは、当該色差画像データに含まれるＣｒ信号に対して、ＤＷＴを施すことによって、Ｃｒ信号を複数のサブバンドに分割する（ステップＳｃ１０３）。

【0180】

次いで、埋め込み処理部２６６は、このサブバンドに分割されたＣｒ信号のＬＨ２，ＨＬ２及びＨＨ２の各サブバンドに対応する変換係数を「０」に置換する（ステップＳｃ１０４）。

【0181】

次いで、ＤＷＴ／ＩＤＷＴ処理部２６９Ｂは、一部のサブバンドに対応する変換係数を「０」に置換した後のＣｒ信号に対して、ＩＤＷＴを施すことによって、当該Ｃｒ信号を切りだしＣｒ信号Ｃｒ’に変換する（ステップＳｃ１０５）。

【0182】

次いで、ＲＧＢ画像データ生成部２６２は、当該切りだしＣｒ信号Ｃｒ’と、ステップＳｃ１０２において生成した輝度信号Ｙ及び色差信号Ｃｒからなる色差画像データをＲＧＢ画像データｇ’に変換する（ステップＳｃ１０６）。

【0183】

次いで、ＭＳＩ推定部２６３は、当該ＲＧＢ画像データｇ’に基づき、推定ＭＳＩデータｆ’を生成する（ステップＳｃ１０７）。

【0184】

次いで、差分画像データ生成部２６４は、当該生成された推定ＭＳＩデータｆ’と、オリジナルのＭＳＩデータｆに含まれる各画素の画素値の差分値を算出することによって、差分画像データｅを算出する（ステップＳｃ１０８）。

【0185】

次いで、画像データ圧縮・伸張部２６５は、当該差分画像データｅをＪＰＥＧ２０００方式で圧縮して、圧縮差分画像データｅｃを生成する（ステップＳｃ１０９）。

【0186】

次いで、埋め込み処理部２６６は、ステップＳｃ１０４において「０」に置換されたＣｒ信号サブバンドの変換係数を圧縮による量子化の影響を受けないようにα以上の強度を持った圧縮差分画像データｅｃを埋め込むことによって、Ｃｒ信号に圧縮差分画像データｅｃを埋め込む（ステップＳｃ１１０）。

【0187】

次いで、ＤＷＴ／ＩＤＷＴ処理部２６９Ｂは、当該埋め込み後のＣｒ信号に対してＩＤＷＴを施すことによって、埋め込みＣｒ信号Ｃｒｗを生成する（ステップＳｃ１１１）。

【0188】

次いで、ＲＧＢ画像データ生成部２６２は、当該埋め込みＣｒ信号Ｃｒｗを含む色差画像データを重畳ＲＧＢ画像データｇｗに変換する（ステップＳｃ１１２）。

【0189】

次いで、画像データ圧縮・伸張部２６５は、当該生成されたＲＧＢ画像データｇをＪＰＥＧ２０００方式で圧縮して（ステップＳｃ１１３）、本動作を終了する。

【0190】

［２．４．２］ＭＳＩデータの復元処理
次に、図１５を参照しつつ、本実施形態の画像データ生成システムにおいてＭＳＩデータｆＲを復元する復元処理について説明する。なお、図１５は、本実施形態の画像データ処理装置２０Ｂにおいて実行されるＭＳＩデータｆＲを復元する復元処理を示すフローチャートである。

【0191】

まず、画像データ圧縮・伸張部２６５は、圧縮された重畳ＲＧＢ画像データｇｗをＪＰＥＧ２０００方式で復号する（ステップＳｄ１０１）。

【0192】

次いで、色差画像生成部２６９は、当該重畳ＲＧＢ画像データｇｗに含まれる各画素の画素値に基づき、輝度信号Ｙと色差信号Ｃｂ及び埋め込みＣｒ信号Ｃｒｗを含む色差画像データを生成する（ステップＳｄ１０２）。

【0193】

次いで、ＤＷＴ／ＩＤＷＴ処理部２６９Ｂは、当該色差画像データに含まれる埋め込みＣｒ信号ＣｒｗにＤＷＴを施す（ステップＳｄ１０３）。

【0194】

次いで、圧縮画像データ抽出部２６７は、当該ＤＷＴ後のＣｒ信号におけるサブバンドＬＨ２、ＨＬ２及びＨＨ２から圧縮差分画像データｅｃを抽出する（ステップＳｄ１０４）。

【0195】

次いで、圧縮画像データ抽出部２６７は、当該サブバンドの変換係数を「０」に置換する（ステップＳｄ１０５）。

【0196】

次いで、ＤＷＴ／ＩＤＷＴ処理部２６９Ｂは、当該置換後のＣｒ信号にＩＤＷＴを施すことによって、切りだしＣｒ信号Ｃｒ’を生成する（ステップＳｄ１０６）。

【0197】

次いで、ＲＧＢ画像データ生成部２６２は、切りだしＣｒ信号Ｃｒ’と、輝度信号Ｙと、色差信号Ｃｂと、からなる色差画像データをＲＧＢ画像データｇ’に変換する（ステップＳｄ１０７）。

【0198】

次いで、ＭＳＩ推定部２６３が、ＲＧＢ画像データｇ’の各画素に対応する画素値に基づきＭＳＩを推定し、対応する推定ＭＳＩデータｆ’を生成する（ステップＳｄ１０８）。

【0199】

次いで、画像データ圧縮・伸張部２６５は、ステップＳｄ１０４において抽出した圧縮差分画像データｅｃをＪＰＥＧ２０００方式で復号して差分画像データｅを生成する（ステップＳｄ１０９）。

【0200】

次いで、ＭＳＩ推定部２６３は、当該差分画像データｅと、推定ＭＳＩデータｆ’を加算して、ＭＳＩデータｆＲを復元して（ステップＳｄ１１０）、本動作を終了する。

【0201】

以上説明したように、本実施形態の画像データ生成システムにおいては、オリジナルのＭＳＩデータをＲＧＢ画像データに変換した後、色差画像データに変換し、当該色差画像データのＣｒ信号又はＣｂ信号において、サブバンドＬＨ２、ＨＬ２及びＨＨ２おいて量子化による影響が生じない領域に圧縮差分画像データｅｃ埋め込むことによって重畳ＲＧＢ画像データｇｗを生成することができる。

【0202】

したがって、本実施形態の画像データ生成システムは、一般的なＲＧＢ用ディスプレイ等を利用しつつ、ＭＳＩデータに対応する画像を表示させることができるとともに、重畳ＲＧＢ画像データｇｗを伝送する際には、ＶＧＡ等のＲＧＢ用のインターフェースを利用することができるので、ＭＳＩの普及を促進することができる。

【0203】

また、オリジナルのＭＳＩデータに赤外光などの不可視領域の画像が含まれる場合においても、当該画像を差分画像データとして抽出できるので、本実施形態の手法によれば、不可視領域の画像を高画質に復元することができる。

【0204】

［３］変形例
［３．１］変形例１
上記第１実施形態及び第２実施形態におけるＲＧＢ画像データに圧縮差分画像データｅｃを埋め込む方法に代えて、
（１）ＲＧＢ画像データにＤＣＴ（離散コサイン変換）を施し、ＤＣＴ係数において、周波数帯域によって規定される量子化ステップαを超える範囲で画素値の変更を行うことによって、又は、
（２）量子化ステップαのｍｏｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔより上位のビットプレーンに、
圧縮差分画像データｅｃを埋め込む構成を採用するようにしてもよい。

【0205】

この方法を採用した場合であっても、上記第１実施形態と同様に重畳ＲＧＢ画像データの画質劣化を抑えつつ、圧縮差分画像データｅｃを埋め込んだ重畳ＲＧＢ画像データを生成できるとともに、重畳ＲＧＢ画像データから高精度にＭＳＩデータを復元できる。

【0206】

［３．２］変形例２
上記第２実施形態においては、ＲＧＢ画像データをＹＣｂＣｒ形式の色差画像データに変換する構成を採用したが、Ｌａｂ、ＸＹＺ等の別の色変換を用い、又は、色変換しない場合についても上記第２実施形態は適用可能であり、その場合においても、変換後のいずれかの色成分に圧縮差分画像データｅｃを埋め込むようにすればよい。

【0207】

［３．３］変形例３
上記第２実施形態においては、ＨＬ２、ＬＨ２、ＨＨ２のサブバンドに圧縮差分画像データｅｃを埋め込む構成を採用したが、これ以外のサブバンドを圧縮差分画像データｅｃの埋め込みに利用することも可能である。

【0208】

また、この場合における圧縮差分画像データｅｃを埋め込み方法は、量子化ステップαに対して±（α＋１）以上の変動を持たせればよく、サブバンド上で±（α＋１）以上に相当するビットプレーンに埋め込むようにすればよい。

【0209】

［３．４］変形例４
上記第１実施形態および第２実施形態においては一律に、重畳ＲＧＢ画像データＲＧＢの圧縮及び復号を行う構成を採用したが、重畳ＲＧＢ画像データの圧縮及び復号については、ユーザが任意に設定することも可能であるし、圧縮及び復号をしなくてもよい。

【0210】

そして、ユーザによって、画像圧縮が必要と設定されている場合には、重畳ＲＧＢ画像データの圧縮及び復号を行うのに対して、画像の圧縮が不要と設定されている場合には、重畳ＲＧＢ画像データの圧縮及び復号を実施しなくてもよい。

【符号の説明】

【0211】

１ … 画像データ生成システム
１０ … カメラ
２０Ａ、２０Ｂ … 画像データ処理装置
２００ … 記録部
２０１ … アプリケーション記録部
２０２ … 画像データ記録部
２０３ … カメラ管理情報記録部
２０４ … ＲＡＭ
２１０ … Ｉ／Ｏインターフェース部
２６０ … データ処理部
２６１ … ＭＳＩデータ生成部
２６２ … ＲＧＢ画像データ生成部
２６３ … ＭＳＩ推定部
２６４ … 差分画像データ生成部
２６５ … 画像データ圧縮・伸張部
２６６ … 埋め込み処理部
２６７ … 圧縮画像データ抽出部
２６８ … ＭＳＩ復元部
２６９Ａ… 色差画像生成部
２６９Ｂ… ＤＷＴ／ＩＤＷＴ処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】