特開 2024-57289 画像処理装置、印刷システムおよび画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024057289

(43)【公開日】2024-04-24

(54)【発明の名称】画像処理装置、印刷システムおよび画像処理プログラム

(51)【国際特許分類】

   G06T 15/50 20110101AFI20240417BHJP

【ＦＩ】

G06T15/50 600

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022163927

(22)【出願日】2022-10-12

(71)【出願人】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】大野 拓也

(72)【発明者】

【氏名】鎌田 崇廣

(72)【発明者】

【氏名】山下 充裕

(72)【発明者】

【氏名】山本 祐子

【テーマコード（参考）】

5B080

【Ｆターム（参考）】

5B080DA01

5B080DA06

5B080FA08

5B080GA00

(57)【要約】

【課題】印刷媒体の質感を再現可能な技術を提供する。
【解決手段】画像処理装置は、印刷媒体に印刷される画像の画像データを取得する画像データ取得部と、印刷媒体を３Ｄオブジェクトとして物理ベースレンダリングするためのパラメーターであって、印刷媒体に入射する光の反射方向に関する印刷媒体の凹凸面の法線方向を表す法線マップを含むパラメーターを取得するパラメーター取得部と、３Ｄオブジェクトに対応付けられている法線マップの適用効果の強さを補正する補正部と、画像データとパラメーターとを用いて物理ベースレンダリングを実行することにより、画像が印刷された印刷媒体を表すレンダリング画像を生成するレンダリング実行部と、を備える。
【選択図】図８

【特許請求の範囲】

【請求項1】

印刷媒体に印刷される画像の画像データを取得する画像データ取得部と、
前記印刷媒体を３Ｄオブジェクトとして物理ベースレンダリングするためのパラメーターであって、前記印刷媒体に入射する光の反射方向に関する前記印刷媒体の凹凸面の法線方向を表す法線マップを含むパラメーターを取得するパラメーター取得部と、
前記３Ｄオブジェクトに対応付けられている前記法線マップの適用効果の強さを補正する補正部と、
前記画像データと前記パラメーターとを用いて前記物理ベースレンダリングを実行することにより、前記画像が印刷された前記印刷媒体を表すレンダリング画像を生成するレンダリング実行部と、
を備える画像処理装置。

【請求項2】

前記パラメーターは、前記印刷媒体に入射する光の反射方向の分散に関する前記印刷媒体の表面の平滑度を含む、
請求項１に記載の画像処理装置。

【請求項3】

前記補正部は、前記平滑度に応じて前記法線マップの適用効果の強さを補正する、
請求項２に記載の画像処理装置。

【請求項4】

前記補正部は、前記平滑度が予め定められた値以上である場合には、光の反射を表す関数の鏡面反射成分が大きいほど前記法線マップの適用効果が強まるように補正する、
請求項２に記載の画像処理装置。

【請求項5】

前記補正部は、前記平滑度が予め定められた値未満である場合には、前記３Ｄオブジェクトを構成するポリゴンの法線であるポリゴン法線と、光源方向ベクトルと視点方向ベクトルとのハーフベクトルと、の間の角度が小さいほど前記法線マップの適用効果が弱まるように補正する、
請求項２に記載の画像処理装置。

【請求項6】

前記補正部は、前記平滑度が予め定められた値未満である場合には、前記３Ｄオブジェクトを構成するポリゴンの法線であるポリゴン法線と光源方向ベクトルとの間の角度が小さいほど前記法線マップの適用効果が弱まるように補正する、
請求項２に記載の画像処理装置。

【請求項7】

前記補正部は、前記平滑度が予め定められた値未満である場合には、前記３Ｄオブジェクトを構成するポリゴンの法線であるポリゴン法線と、光源方向ベクトルと視点方向ベクトルとのハーフベクトルと、の間の角度が小さいほど前記法線マップの適用効果が弱まり、かつ、前記ポリゴン法線と前記光源方向ベクトルとの間の角度が小さいほど前記法線マップの適用効果が弱まるように補正する、
請求項２に記載の画像処理装置。

【請求項8】

前記法線マップの適用効果の強さの補正方法が異なる複数の前記補正部を備え、
複数の前記補正部のうちから前記法線マップの適用効果の強さの補正を実行する前記補正部を前記平滑度に応じて選択する選択部をさらに備える、
請求項２に記載の画像処理装置。

【請求項9】

前記補正部は、前記物理ベースレンダリングにおいて前記３Ｄオブジェクトに陰影を付与するシェーダーに設けられている、
請求項１に記載の画像処理装置。

【請求項10】

請求項１から請求項９のいずれか一項に記載の画像処理装置と、
前記画像処理装置によって生成された前記レンダリング画像を表示する表示部と、
前記画像データを印刷する印刷装置と、
を備える印刷システム。

【請求項11】

印刷媒体に印刷される画像の画像データを取得する機能と、
前記印刷媒体を３Ｄオブジェクトとして物理ベースレンダリングするためのパラメーターであって、前記印刷媒体に入射する光の反射方向に関する前記印刷媒体の凹凸面の法線方向を表す法線マップを含むパラメーターを取得する機能と、
前記３Ｄオブジェクトに対応付けられている前記法線マップの適用効果の強さを補正する機能と、
前記画像データと前記パラメーターとを用いて前記物理ベースレンダリングを実行することにより、前記画像が印刷された前記印刷媒体を表すレンダリング画像を生成する機能と、
をコンピューターに実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、印刷システムおよび画像処理プログラムに関する。

【背景技術】

【0002】

特許文献１には、印刷用紙をデジタルカメラで撮影することにより得られる撮影画像の各画素の明るさに基づいて印刷用紙の質感を再現するためのパラメーターを作成し、印刷用紙への照明の映り込みを再現した印刷物プレビューを表示装置に表示させる方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－１９４７１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

印刷媒体の質感を再現するためのパラメーターの作成に撮影画像を用いた場合、印刷物プレビューは、カメラの向きや照明の形状等の撮影環境の影響を受ける。そのため、印刷物プレビューで再現する観察環境と撮影環境とが異なる場合、印刷媒体の質感を十分に再現できないことがある。したがって、観察環境が制限されることなく、印刷媒体の質感を再現可能な技術が望まれている。

【課題を解決するための手段】

【0005】

本開示の第１の形態によれば、画像処理装置が提供される。この画像処理装置は、印刷媒体に印刷される画像の画像データを取得する画像データ取得部と、前記印刷媒体を３次元（以下、３Ｄと記載する）オブジェクトとして物理ベースレンダリングするためのパラメーターであって、前記印刷媒体に入射する光の反射方向に関する前記印刷媒体の凹凸面の法線方向を表す法線マップを含むパラメーターを取得するパラメーター取得部と、前記３Ｄオブジェクトに対応付けられている前記法線マップの適用効果の強さを補正する補正部と、前記画像データと前記パラメーターとを用いて前記物理ベースレンダリングを実行することにより、前記画像が印刷された前記印刷媒体を表すレンダリング画像を生成するレンダリング実行部と、を備える。

【0006】

本開示の第２の形態によれば、印刷システムが提供される。この印刷システムは、前記第１の態様の前記画像処理装置と、前記画像処理装置によって生成された前記レンダリング画像を表示する表示部と、前記画像データを印刷する印刷装置と、を備える。

【0007】

本開示の第３の形態によれば、画像処理プログラムが提供される。この画像処理プログラムは、印刷媒体に印刷される画像の画像データを取得する機能と、前記印刷媒体を３Ｄオブジェクトとして物理ベースレンダリングするためのパラメーターであって、前記印刷媒体に入射する光の反射方向に関する前記印刷媒体の凹凸面の法線方向を表す法線マップを含むパラメーターを取得する機能と、前記３Ｄオブジェクトに対応付けられている前記法線マップの適用効果の強さを補正する機能と、前記画像データと前記パラメーターとを用いて前記物理ベースレンダリングを実行することにより、前記画像が印刷された前記印刷媒体を表すレンダリング画像を生成する機能と、をコンピューターに実行させる。

【図面の簡単な説明】

【0008】

【図1】実施形態の画像処理装置を示す概略構成図。

【図2A】色変換処理の概要を示すフローチャート。

【図2B】色変換処理の他の構成例を示すフローチャート。

【図2C】色変換処理の他の構成例を示すフローチャート。

【図3】実施形態のレンダリング実行部の論理構成を示す説明図。

【図4】画像が印刷された印刷媒体の表示例を模式的に示す説明図。

【図5】光源や視点と３Ｄオブジェクトの面の角度等の関係を示す説明図。

【図6】表示処理ルーチンを示すフローチャート。

【図7】画像が形成される印刷媒体の面の光源に対する角度の変化により印刷媒体の表示が変化する様子を模式的に示す説明図。

【図8】ピクセルパイプラインの構成を示す説明図。

【図9】観察環境の一例を示す斜視図。

【図10】観察環境の一例を示す側面図。

【図11】光沢紙の場合の法線マップの適用比率の分布を模式的に示す説明図。

【図12】マット紙の場合の法線マップの適用比率の分布を模式的に示す説明図。

【図13】光沢紙の場合のプレビュー画像の一例を示す説明図。

【図14】マット紙の場合のプレビュー画像の一例を示す説明図。

【図15】印刷システムとしての実施形態を示す概略構成図。

【図16】印刷結果の見え方の他の印刷媒体の例を示す説明図。

【発明を実施するための形態】

【0009】

Ａ．第１実施形態：
（Ａ１）ハードウェア構成：
本実施形態の画像処理装置１００の概略構成を、図１に示す。この画像処理装置１００は、所定の印刷媒体に画像が印刷された様子をプレビューするための画像処理を行なう。画像処理装置１００は、画像処理を行なうだけでなく、その処理結果を、プレビュー画像として表示する。画像処理装置１００は、図示するように、主に色変換を行なうカラーマネージメントシステム１１１、印刷媒体のレンダリングを実行するレンダリング実行部１２１、第１記憶部１３１および第２記憶部１３２を備えるメモリー１３５、外部のサイト２００とインターネットなどのネットワークＮＷを介してデータをやり取りする通信部１４１、およびプレビュー画像を表示する画像表示部１５１を備える。なお、後述する各処理を行なうプログラムは、画像処理装置１００のメモリー１３５等に保存されており、ＣＰＵまたはＧＰＵが、メモリーに保存されたプログラムを実行することにより、画像処理装置１００の各機能が実現される。

【0010】

カラーマネージメントシステムは、以下、簡略のためにＣＭＳと略記することがある。ＣＭＳ１１１は、印刷しようとする画像（以下、原画像という）を表わす画像データＯＲＧを取得する。ＣＭＳ１１１は、画像データＯＲＧを作成した画像形成装置から有線または無線通信により画像データＯＲＧを取得してもよいし、画像データＯＲＧを記憶しているメモリーカードなどの記憶媒体から画像データＯＲＧを取得してもよいし、ネットワークを介して画像データＯＲＧを取得してもよい。ＣＭＳ１１１は、画像処理装置１００内で作成された画像データＯＲＧを取得してもよい。ＣＭＳ１１１によって取得された画像データＯＲＧは、画像処理装置１００に有線または無線通信により接続されている不図示の印刷装置に供給され、印刷装置により印刷媒体に印刷される。画像データＯＲＧは、メモリーカードなどの記憶媒体を介して、画像処理装置１００から印刷装置に供給されてもよい。なお、ＣＭＳ１１１のことを画像データ取得部と呼ぶことがある。

【0011】

ＣＭＳ１１１は、画像データＯＲＧに対して色変換を施し、印刷により印刷媒体上に表現される色に変換する。色変換が施された画像データＯＲＧを、マネージド画像データＭＧＰと呼ぶ。ＣＭＳ１１１処理の詳細は後述する。マネージド画像データＭＧＰは、３Ｄオブジェクトで表現された印刷媒体のテクスチャーとして用いられる。ＣＭＳ１１１には、入力プロファイルＩＰ、メディアプロファイルＭＰ、共通色空間プロファイルＣＰなどが入力される。入力プロファイルＩＰは、ＲＧＢなどの機器に依存する表色系から、機器に依存しない表色系であるＬ^＊ａ^＊ｂ^＊（以下、単にＬａｂと略記する）などへの変換を行なうために用いられる。メディアプロファイルＭＰは、プリンターなどの特定の印刷装置で、特定の印刷媒体に、特定の印刷解像度などの印刷条件で、印刷したときの色再現性を表すプロファイルであり、機器非依存の表色系と機器依存の表色系との間で、色彩値を変換するプロファイルである。メディアプロファイルＭＰは、印刷媒体以外の、印刷装置の印刷設定などの情報も含んでいる。このため、印刷装置（プリンター）×印刷媒体×印刷設定のすべての組み合わせを網羅しようとすると、メディアプロファイルＭＰの種類が多くなってしまうため、印刷条件の依存性が小さい場合や、プロファイル数を増やしたくない場合は、メディアプロファイルＭＰは、印刷装置（プリンター）×印刷媒体の組み合わせとして構成されてもよい。このように、印刷媒体（メディア）上の画像の色彩には、印刷装置の特性と印刷媒体自体の特性とが関与するため、メディアプロファイルＭＰを、以下、印刷プロファイルＭＰと呼ぶことがある。

【0012】

画像データＯＲＧに入力プロファイルＩＰを適用し、更に印刷プロファイルＭＰを適用すると、特定の印刷条件で印刷された場合の、つまり印刷装置や印刷媒体に依存した色彩値が得られる。この画像の色彩値に対して、印刷プロファイルＭＰを機器依存の表色系から機器非依存の表色系に変換するよう適用し、更に共通色空間プロファイルＣＰを適用すると、レンダリングする際に用いられる第２色空間（ここではｓＲＧＢ色空間）での表現に変換される。印刷プロファイルＭＰを用いて、一度印刷装置や印刷媒体などの特性に依存した色彩値に変換しているので、画像データＯＲＧは、実際に印刷可能な色彩値の範囲に色変換される。共通色空間プロファイルＣＰは、画像データＯＲＧを、レンダリングの際に用いられる色空間の色彩値に変換するために用いられる。共通色空間としては、ｓＲＧＢ色空間が代表的であるが、ＡｄｏｂｅＲＧＢ、Ｄｉｓｐｌａｙ－Ｐ３などが用いられてもよい。

【0013】

ＣＭＳ１１１は、以上説明したように、各プロファイルを利用して、機器に依存した表色系である第１色空間で表現された画像データＯＲＧを、レンダリングの際に用いられる第２色空間であるｓＲＧＢ色空間で表現された画像データ（マネージド画像データ）ＭＧＰに変換する。ここで、変換後の画像データＭＧＰは、ｓＲＧＢ色空間の色彩値に限られず、レンダリング実行部１２１が扱える色空間で表現されたものであれば、どのような色空間で表現されたものであってもよい。例えば、レンダリング実行部１２１がＬａｂやＸＹＺ色空間の色彩値や分光反射率などによってレンダリング可能な構成を採用していれば、レンダリング実行部１２１内で行なうライティング処理（後述）内で、あるいはレンダリング実行部１２１に後置されたポスト処理部（後述）で、画像表示部１５１に表示する際に用いられる色彩値に変換すればよい。

【0014】

メモリー１３５は、第１記憶部１３１に第１データＦＤを取り込んで保存し、第２記憶部１３２に第２データＳＤを取り込んで保存する。第１データＦＤや第２データＳＤは、画像が印刷された印刷媒体を物理ベースレンダリングにより表現するために必要なパラメーターである。第１データＦＤには、印刷媒体を表現した３Ｄオブジェクトであって、仮想空間内に配置される３Ｄオブジェクトの形態に関する３Ｄオブジェクト情報、仮想空間内に配置されるカメラの位置などに関するカメラ情報、仮想空間内に配置される光源の位置や色合いなどに関する照明情報、および、仮想空間内に表現される背景に関する背景情報などが含まれる。また、第２データＳＤには、印刷媒体の質感を３Ｄオブジェクト上に表現するためのデータなどが含まれる。これらの第１データＦＤや第２データＳＤは、レンダリング実行部１２１におけるレンダリングの際に利用される。

【0015】

第１データＦＤや第２データＳＤは、使用頻度が所定頻度以上の代表的なデータについては、予め第１記憶部１３１や第２記憶部１３２に不揮発的に記憶しておき、必要に応じて選択し、レンダリング実行部１２１に参照させればよい。通常使用しないような使用頻度が低い印刷媒体、例えば布生地や缶、プラスチックシートなど特殊な素材を用いる場合の質感データなどは、外部のサイト２００に保存しておき、必要な場合に通信部１４１を介して取得するようにしてもよい。照明情報などの第１データＦＤは、レンダリングに際して利用者が個別に指定してもよいが、代表的なカメラアングルや光源について、予め第１記憶部１３１に保存しておき、利用するものとしてもよい。カメラアングルは、対象である印刷媒体を見ている位置や方向のことであり、仮想空間を見ている利用者の仮想的な視点の位置と視線の方向に相当する。このため、カメラを視点や視線の方向であるとして、「視点」あるいは「ビュー」として説明することがある。なお、画像処理装置１００の外部からパラメーターを取得する部分のことをパラメーター取得部と呼ぶことがある。

【0016】

画像表示部１５１は、レンダリング実行部１２１によりレンダリングした印刷媒体の画像を、背景などと共に表示する。画像表示部１５１は、表示用の画像データを、レンダリング実行部１２１に設けられたフレームメモリーＦＭから読み出して表示を行なう。画像表示部１５１は、画像処理装置１００に設けてもよいが、画像処理装置１００とは分離して設けてもよい。なお、画像処理装置１００は、専用機として実現してもよいが、コンピューターにおいてアプリケーションプログラムを実行させることで実現してもよい。もとより、コンピューターには、タブレットや携帯電話のような端末も含まれる。レンダリング実行部１２１の処理には、かなりのリソースと演算能力が必要になるため、レンダリング実行部１２１のみを高速処理可能なＣＰＵや専用のＧＰＵにより実行させるようにし、レンダリング実行部１２１をネットワーク上の別のサイトにおいて、画像処理装置１００を構成してもよい。なお、画像表示部１５１のことを表示部と呼ぶことがある。

【0017】

ＣＭＳ１１１が行なう色変換処理について、図２Ａを用いて説明する。図は、原画像データＯＲＧを、ＣＭＳ１１１によって、レンダリング処理を行なうための共通色空間の色彩データに変換される処理を示すフローチャートである。色変換処理が開始されると、まず原画像データＯＲＧと入力プロファイルＩＰとを入力して、機器に依存する表色系（例えばＲＧＢ表色系）で表わされた原画像データＯＲＧを、機器に依存しない表色系（例えばＬａｂまたはＸＹＺ表色系）の色彩データに変換する処理を行なう（ステップＳ１１０）。次に、メディアプロファイルＭＰが用意されているかを判断し（ステップＳ１２０）、メディアプロファイルＭＰがあれば、これを適用して、印刷条件として、印刷装置（プリンター）×印刷媒体の組み合わせを考慮して、印刷により表現可能な色彩の範囲への色変換を行なう（ステップＳ１３０）。メディアプロファイルＭＰが無ければ、ステップＳ１３０の処理は行なわない。その後、共通色空間プロファイルＣＰを用いて、レンダリングの際に用いられる第２の色空間である共通色空間の色彩値に変換する（ステップＳ１５０）。本実施形態では、共通色空間として、ｓＲＧＢを用いている。こうして得られたマネージド画像データＭＧＰを、３Ｄオブジェクトのテクスチャーであるアルベドカラーに設定し（ステップＳ１６０）、本処理ルーチンを終了する。

【0018】

ステップＳ１３０において、メディアプロファイルの色変換のレンダリングインテントを絶対的（Absolute）にすれば、印刷媒体そのものの色（地色）を反映できる。なお、ステップＳ１５０での色変換の対象となる画像の色彩値がｓＲＧＢ色空間の色域外の場合、ｓＲＧＢ色空間内の値に近似してもよいが、ｓＲＧＢの色域外の値を取りうるように扱ってもよい。画像データのＲＧＢ値は、一般には、各色８ビット、つまり値０～２５５の整数で格納するが、これに代えて、画素値を値０．０～１．０の浮動小数点として表わすものとすれば、ｓＲＧＢの色域外の値を、負の値や１．０を超える値にして取り扱うことができる。

【0019】

ＣＭＳ１１１による色変換は、図２Ａに示した構成に限らず、例えば図２Ｂや図２Ｃに示す構成により行なうことも可能である。図２Ｂは、画像表示部１５１用の補正データＤＰＤが用意されている場合の色変換処理ルーチンを示す。表示装置補正データＤＰＤは、共通色空間であるｓＲＧＢに対する画像表示部１５１の表示色のずれを補正するためのデータである。図２Ｂに示した色変換処理では、メディアプロファイルＭＰによる色変換（ステップＳ１３０）の後に、表示装置補正データＤＰＤを用いた色変換処理（ステップＳ１４０）を行なうものとしている。

【0020】

こうした表示装置補正データＤＰＤと共通色空間プロファイルＣＰとを予め合成した合成補正データＳＰＤを用意しておき、共通色空間プロファイルＣＰによる色変換（ステップＳ１５０）に代えて、合成補正データＳＰＤによる色変換（ステップＳ１５５）を行なうものとしてもよい。この場合の色変換処理の一例を、図２Ｃに示した。なお、画像表示部１５１の表示色のずれに対する補正は、ＣＭＳ１１１で行なう代わりに、後述する図３に示したレンダーバックエンド後のポスト処理部ＰＳＴで行なってもよい。

【0021】

レンダリング実行部１２１は、ＣＭＳ１１１が色変換して出力するマネージド画像データＭＧＰをレンダリングすることで、原画像データＯＲＧが印刷された印刷媒体が、仮想空間においてどのように見えるかを、画像表示部１５１に表示する。レンダリング実行部１２１の構成例を、図３に示した。このレンダリング実行部１２１は、物理ベースのレンダリング処理を行なう代表的な構成を示しており、他の構成を採用することも可能である。本実施形態のレンダリング実行部１２１は、頂点パイプラインＶＰＬとピクセルパイプラインＰＰＬとを含むパイプライン構成を採用しており、物理ベースレンダリングを高速に実行する。頂点パイプラインＶＰＬは、頂点シェーダーＶＳと、ジオメトリシェーダーＧＳとを含む。なお、ジオメトリシェーダーＧＳを用いない構成も可能である。

【0022】

頂点シェーダーＶＳは、３Ｄオブジェクトである印刷媒体の頂点の印刷媒体上の座標を、レンダリングする３次元空間の座標に変換する。座標変換は、網羅的には、レンダリング対象とのモデル（ここでは印刷媒体）の座標→ワールド座標→ビュー（カメラ）座標→クリップ座標といった座標変換を含むが、ビュー座標への変換などは、ジオメトリシェーダーＧＳで行なわれる。頂点シェーダーＶＳは、この他、陰影処理、テクスチャー座標（ＵＶ）の算出、などを行う。これらの処理に際して、頂点シェーダーＶＳやジオメトリシェーダーＧＳは、第１記憶部１３１に記憶された３Ｄオブジェクト情報ＴＯＩや、カメラ情報ＣＭＲ、照明情報ＬＧＴ、更には背景情報ＢＧＤなどを参照する。

【0023】

３Ｄオブジェクト情報ＴＯＩは、仮想空間内に配置される３Ｄオブジェクトの形状等に関する情報である。３Ｄオブジェクトは、複数のポリゴンで構成され、印刷媒体の形状を表現する。現実の印刷媒体の表面には、印刷媒体の質感に影響を与える微小な凹凸が存在するため、３Ｄオブジェクトの表面にはこの微小な凹凸が表現されることが好ましい。しかしながら、微小な凹凸を表現するために３Ｄオブジェクトを構成する各ポリゴンを小さくすると、ポリゴンの数が膨大になり、計算負荷が大きくなる。このため、３Ｄオブジェクトに微小な凹凸を表現するために、法線マップやハイトマップが用いられることがある。法線マップやハイトマップは、後述する質感パラメーターに含まれる。カメラ情報ＣＭＲは、仮想空間におけるカメラの位置や向きを表す情報である。照明情報ＬＧＴは、仮想空間における光源の位置や角度、強さ、色温度などの情報の少なくとも１つを含む。なお、仮想空間に光源が複数配置されてもよく、この場合には、複数の光源の影響を別々に演算し、３Ｄオブジェクト上で重ね合わせればよい。

【0024】

背景情報ＢＧＤは、レンダリングに用いられなくてもよいが、仮想空間における背景を表現するための情報である。背景情報ＢＧＤには、仮想空間に配置された壁、床や、家具などの物体の情報が含まれ、これらの物体は、レンダリング実行部１２１で印刷媒体と同様にレンダリングの対象となる。また、照明がこれらの背景物に当たって印刷媒体を照らすので、照明の情報の一部としても扱われる。こうした各種情報を用いてレンダリングを行なうことで、立体的なプレビューが可能となる。頂点シェーダーＶＳで計算された頂点情報はジオメトリシェーダーＧＳに渡される。

【0025】

ジオメトリシェーダーＧＳは、３Ｄオブジェクト内の頂点の集合を加工するために使用される。ジオメトリシェーダーＧＳにより、実行時に頂点数を増減させたり、３Ｄオブジェクトを構成するプリミティブの種類を変更したりすることが可能となる。頂点数の増減の一例は、カリング処理である。カリング処理では、カメラの位置や方向から、カメラに映らない頂点を処理対象から除外する。ジオメトリシェーダーＧＳは、ポイント、ライン、トライアングルといった既存のプリミティブから新しいプリミティブを生成するといった処理も行なう。ジオメトリシェーダーＧＳは、頂点シェーダーＶＳから、プリミティブ全体または隣接したプリミティブの情報を持つプリミティブを入力する。ジオメトリシェーダーＧＳは、入力したプリミティブを処理し、ラスタライズされるプリミティブを出力する。

【0026】

頂点パイプラインＶＰＬの出力、具体的にはジオメトリシェーダーＧＳが処理したプリミティブは、ラスタライザーＲＲＺによりラスタライズされ、ピクセル単位のデータにされ、ピクセルパイプラインＰＰＬに渡される。ピクセルパイプラインＰＰＬは、本実施形態では、ピクセルシェーダーＰＳとレンダーバックエンドＲＢＥとを備える。

【0027】

ピクセルシェーダーＰＳは、ラスタライズされたピクセルを操作するものであり、端的に言えば、ピクセル毎の色彩を算出する。頂点シェーダーＶＳやジオメトリシェーダーＧＳから入力された情報を元に、テクスチャーを合成する処理や表面色を適用する処理を行なう。ピクセルシェーダーＰＳは、画像データＯＲＧを各種プロファイルに基づいてＣＭＳ１１１で変換したマネージド画像データＭＧＰを、３Ｄオブジェクトとしての印刷媒体上にマッピングする。このとき、ピクセルシェーダーＰＳに備えられたライティング処理機能が、物体の光の反射モデルと、上述した照明情報ＬＧＴと、第２記憶部１３２に記憶された第２データＳＤの１つである質感パラメーターＴＸＴと、に基づいて、ライティング処理を行ない、マネージド画像データＭＧＰのマッピングを行なう。ライティング処理に用いる反射モデルは、現実世界での照光現象をシミュレートするための数学的モデルの演算式の１つである。本実施形態で用いられる反射モデルについては、後で詳しく説明する。

【0028】

ピクセルを操作する処理は、出力解像度が高い場合など、ラスタライズ後のピクセル数が多くなると、高負荷になり、処理に時間を要する。このため、頂点単位の処理と比較すると、処理に時間を要し、パイプライン処理の効率が不十分なものになる場合がある。本実施形態では、ピクセルシェーダーＰＳの処理プログラムを、高い並列処理性能を持つＧＰＵでの実行に最適化することで、質感の表現を含む高度なエフェクトを短時間で実現している。

【0029】

ピクセルシェーダーＰＳの処理により得られたピクセル情報は、更に、レンダーバックエンドＲＢＥにより、表示用のフレームメモリーＦＭに描き込みむか否かの判断がなされる。レンダーバックエンドＲＢＥが、ピクセルのデータをフレームメモリーＦＭに描き込んで差し支えないと判断されて始めて、ピクセルのデータは、描画されるものとして保存される。描き込みの判断に使用するテストとしては、公知の「アルファテスト」「深度テスト」「ステンシルテスト」などがある。レンダーバックエンドＲＢＥはこうしたテストのうち、設定されたテストを実行し、ピクセルのデータをフレームメモリーＦＭに書き込む。

【0030】

以上の処理によりレンダリングのパイプライン処理は終了し、次にポスト処理部ＰＳＴによりフレームメモリーＦＭに保存されたデータに対して、見た目の改善を図る処理が行なわれる。こうした処理としては、例えば画像の不要なエッジを除去して滑らかにするアンチエイリアス処理などがある。他にも、アンビエントオクルージョン、スクリーンスペースリフレクション、被写界深度などの処理があり、必要なポスト処理を行なうように、ポスト処理部ＰＳＴを構成すればよい。

【0031】

レンダリング実行部１２１が以上の処理を行なうことにより、レンダリングが終了し、その結果は、レンダー結果ＲＲＤとして出力される。実際には、フレームメモリーＦＭに書き込まれたデータを、画像表示部１５１の表示サイクルに合わせて読み出すことで、レンダー結果ＲＲＤとして、表示される。レンダー結果ＲＲＤの一例を、図４に例示した。この例では、画像表示部１５１には、仮想空間に置かれた３Ｄオブジェクトとしての印刷媒体ＰＬｂと、光源ＬＧと、背景の１つとして存在する家具等の背景オブジェクトＢｏｂとが表示されている。

【0032】

仮想空間に置かれた印刷媒体ＰＬｂと光源ＬＧや視点（カメラ）ＶＰとの関係を、図５に例示した。光源ＬＧや視点ＶＰと印刷媒体ＰＬｂとの関係は仮想空間ＶＳＰ内において３次元だが、図は仮想空間ＶＳＰをｘ－ｚ平面で示す。ｘは、以下に説明する各ベクトルの集まった点の座標である。レンダリングの対象である印刷媒体ＰＬｂの所定の座標ｘに対して、これを照明する光源ＬＧや視点ＶＰの位置関係を例示する。図には、座標ｘから光源ＬＧに向かう光源方向ベクトルωｌと座標ｘから視点ＶＰに向かう視点方向ベクトルωｖと両者のハーフベクトルＨＶが示されている。また、符号Ｎｐは、印刷媒体ＰＬｂが完全な平面ＰＬｐであると仮定した場合の法線ベクトルを、符号Ｎｂは、完全な平面ではない実際の印刷媒体ＰＬｂの座標ｘでの法線ベクトルを、それぞれ示している。なお、図４では、視点ＶＰ（カメラ）は、印刷媒体ＰＬｂのほぼ正面に存在するものとして、印刷媒体ＰＬｂのレンダリング結果が例示されている。

【0033】

本実施形態の画像処理装置１００では、仮想空間における印刷媒体の位置や角度を自由に変更して、印刷媒体上の画像共々、その見え方を確認できる。これは図６に示したように、画像表示部１５１に表示された画像に対して、ポインティングデバイスを操作し（ステップＳ２１０）、ポインティングデバイスによる指示に変化があれば（ステップＳ２２０：「ＹＥＳ」）、レンダリング実行部１２１によるレンダリング処理を改めて行ない（ステップＳ２３０）、その処理結果を画像表示部１５１に表示する（ステップＳ２４０）という一連の処理を、画像処理装置１００が繰り返しているからである。ここでポインティングデバイスは、３Ｄマウスやトラッキングボールなどでもよいし、画像表示部１５１に設けられたマルチタッチパネルを指やタッチペンで操作するタイプのものであってもよい。例えば、画像表示部１５１の表面にマルチタッチパネルを設けた場合には、印刷媒体ＰＬｂや光源ＬＧを指等で直接移動するようにしてもよいし、二本指を使って、印刷媒体ＰＬｂを回転したり、光源ＬＧと印刷媒体ＰＬｂとの距離を３次元的に変更したりするようにしてもよい。

【0034】

こうした仮想空間内の印刷媒体ＰＬｂや光源ＬＧの位置や角度などを変更すると、レンダリング実行部１２１がその都度レンダリング処理を行ない、そのレンダー結果ＲＲＤを画像表示部１５１に表示する。こうした表示の一例を、図７に示した。図示するように、仮想空間内の印刷媒体ＰＬｂや光源ＬＧの位置や角度などを変更すると、画像が印刷された印刷媒体はその都度、物理ベースレンダリングされて、画像が印刷された実際の印刷媒体が、実空間の中で見える状態に近い態様で示される。

【0035】

特に本実施形態では、印刷媒体上に印刷される画像の色彩をカラーマネージメントシステム（ＣＭＳ）により実際に印刷される画像の色彩に変換していることに加えて、レンダリングの際のライティング処理において、
［１］画像が印刷される印刷媒体を３Ｄオブジェクトとして扱っていること、
［２］質感パラメーターＴＸＴを用いて、印刷媒体の表面の質感を考慮していること、
から、画像表示部１５１に表示された印刷媒体の再現性は極めて高い。以下、この［１］［２］の処理について説明する。

【0036】

［１］について
仮想空間において３Ｄオブジェクトがどのように見えるかは、オブジェクト各部における反射光の双方向反射率分布関数（ＢＲＤＦ：Bidirectional Reflectance Distribution Function）と輝度とを用いて表わすことができる。双方向反射率分布関数ＢＲＤＦとは、ある特定の角度から光を入射した時の反射光の角度分布特性を示す。輝度は、オブジェクトの明るさである。両者を併せて照明モデルとも言う。本実施形態で採用した反射モデルの一例を以下に示す。ＢＲＤＦは、関数ｆ（ｘ，ωｌ，ωｖ）として、また、輝度は関数Ｌ（ｘ，ωｖ）として、以下の式（１）（２）として表わすことができる。
ｆ（ｘ，ωｌ，ωｖ）＝ｋＤ／π＋ｋＳ＊（Ｆ＊Ｄ＊Ｖ） …（１）
Ｌ（ｘ，ωｖ）＝ｆ（ｘ，ωｌ，ωｖ）＊Ｅ⊥（ｘ）＊ｎ・ωｌ …（２）
ｘ：面内の座標， ωｖ：視点方向ベクトル，ωｌ：光源方向ベクトル
ｋＤ：拡散反射能（Diffuse Albedo）， ｋＳ：鏡面反射能（Specular Albedo）
Ｆ：フレネル項， Ｄ：法線分布関数， Ｖ：幾何減衰項
Ｅ⊥（ｘ）：座標ｘに垂直に入射する照度， ｎ：法線ベクトル

【0037】

ＢＲＤＦの第１項、ｋＤ／πは拡散反射成分であり、ランバートモデルである。第２項は、鏡面反射成分であり、Cook-Torranceモデルである。式（１）において、ｋｄ／πのことを拡散反射項、ｋＳ＊（Ｆ＊Ｄ＊Ｖ）のことを鏡面反射項と呼ぶことがある。フレネル項Ｆ，法線分布関数Ｄ，幾何減衰項Ｖについては、モデルや算出方法は公知のものなので、説明は省略する。ＢＲＤＦとしては、３Ｄオブジェクト表面の反射特性やレンダリングの目的に応じた関数を用いればよい。例えば、ディスニー原則ＢＲＤＦ（Disney Principled BRDF）などを用いてもよい。なお、本実施形態では、光の反射を表す関数としてＢＲＤＦを用いているが、光の反射を表す関数として双方向散乱面反射率分布関数（ＢＳＳＲＤＦ：Bidirectional Scattering Surface Reflectance Distribution Function）を用いてもよい。

【0038】

上記式（１）（２）から分かるように、上記反射モデルの計算には法線ベクトルｎ、光源方向ベクトルωｌ、視点方向ベクトルωｖが必要になる。印刷媒体は、レンダリング処理の対象としては、複数の微小なポリゴンによって構成された３Ｄオブジェクトとして扱うが、印刷媒体表面の微小な凹凸を反映する法線ベクトルｎは、ポリゴンの法線Ｎｐと後述する法線マップとから算出する。従って、頂点パイプラインＶＰＬでは、ポリゴンの法線Ｎｐと、法線マップの参照位置を決めるＵＶ座標とを算出し、光源方向ベクトルωｌおよび視点方向ベクトルωｖ共々、ピクセルパイプラインＰＰＬに入力する。ピクセルパイプラインＰＰＬでは、ピクセルシェーダーＰＳが、質感パラメーターの１つとして与えられる法線マップをＵＶ座標を用いて参照し、参照した法線マップの値とポリゴンの法線Ｎｐとから、法線ベクトルｎを演算する。

【0039】

本実施形態では、上述したように、画像が印刷される印刷媒体を３Ｄオブジェクトとして扱い、上記式（１）（２）により物理ベースレンダリングを行なう。なお、光源方向ベクトルωｌ、視点方向ベクトルωｖは、図７に示したように、利用者がポインティングデバイスを用いて、仮想空間内の印刷媒体ＰＬｂや光源ＬＧの位置や角度などを変更すると、その都度、演算される。

【0040】

［２］について：
本実施形態では、質感パラメーターＴＸＴを用いて、印刷媒体の表面の質感を考慮している。質感パラメーターＴＸＴとしては、以下のものがあり得るが、全てを考慮する必要はなく、以下に挙げるパラメーターのうち、少なくとも１つ、例えば滑らかさを考慮すればよい。
・滑らかさＳ（smoothness）または粗さＲ（roughness）：
３Ｄオブジェクトの表面の滑らかさを示すパラメーターである。滑らかさＳは、一般的には値０．０～１．０の範囲で指定する。滑らかさＳは、上述した式（１）ＢＲＤＦの法線分布関数Ｄ、幾何減衰項Ｖに影響を与える。この値が大きいと、鏡面反射が強くなり、光沢感を呈する。滑らかさＳの代わりに粗さＲを用いてもよい。両者は、Ｓ＝１．０－Ｒ、として変換可能である。なお、滑らかさは平滑度と、粗さは粗度と、呼ぶことがある。

【0041】

・金属性Ｍ（metallic）：
３Ｄオブジェクトの表面が金属的である程度を示す。表面の金属性が高い場合に金属性Ｍの値は大きくなる。金属性Ｍが大きいと、物体表面は、周囲からの光を反射しやすく、周囲の景色を写した反射となって、オブジェクト自体の色が隠されやすくなる。金属性Ｍは、フレネル項Ｆに影響を与える。フレネル項Ｆは、Ｓｃｈｌｉｃｋ近似を用いれば、次式（３）として表わすことができる。
Ｆ（ωｌ，ｈ）＝Ｆ_０＋（１－Ｆ_０）（１－ωｌ・ｈ）^５ …（３）
ここで、ｈは視点方向ベクトルωｖと光源方向ベクトルωｌとのハーフベクトル、Ｆ_０は垂直入射時の鏡面反射率である。鏡面反射率Ｆ_０は、鏡面反射光の色（specularColor）として直接指定するか、金属性Ｍを用いて、線形補間（ここでは、ｌｅｒｐ関数と表示する）の式（４）により与えればよい。
Ｆ_０＝ｌｅｒｐ（０．０４，ｔＣ，Ｍ） …（４）
ここで、ｔＣは、３Ｄオブジェクトのテクスチャーの色（albedoColor）である。なお、式（４）における値０．０４は、非金属における一般的な値を示すＲＧＢそれぞれの値を代表的に示したものである。テクスチャーの色ｔＣも同様である。

【0042】

・法線マップ（Normal Map）：
法線マップには、印刷媒体の表面の微小な凹凸面の法線ベクトルが表されている。３Ｄオブジェクトに法線マップを対応付ける（貼り付ける）ことにより、印刷媒体の表面の微小な凹凸面の法線ベクトルを３Ｄオブジェクトに付与することができる。法線マップは、ＢＲＤＦのフレネル項Ｆ、法線分布関数Ｄ、幾何減衰項Ｖに影響を与え得る。なお、法線マップは、一般的なＲＧＢ画像から公知の技術で生成可能であり、ＲＧＢ画像から法線マップを生成するサービスを提供する者も存在する。そのため、画像処理装置１００の利用者は、自ら法線マップを生成することや、上記サービスを利用することにより、法線マップを用意することが可能である。

【0043】

・その他の質感パラメーター：
質感パラメーターとして機能し得るパラメーターには、この他、鏡面反射色（specularColor）や、印刷媒体表面のクリアコート層の有無や、その厚さ、あるいは透明度などを示すクリアコート層パラメーター、などがある。

【0044】

以上説明したように、
［１］画像が印刷される印刷媒体を３Ｄオブジェクトして扱い、
［２］質感パラメーターＴＸＴを用いて、印刷媒体の表面の質感を考慮する、
ことにより、本実施形態の画像処理装置１００では、画像が印刷された印刷媒体の見え方を、画像表示部１５１に高い自由度かつ高い再現性で表示できる。図４に例示したように、印刷媒体に正対する方向から見たときには、印刷媒体表面の質感、印刷媒体の表面の細かな凹凸から生じるざらざら感が現れ、図７に例示したように、印刷媒体を回転させて、印刷媒体を斜め方向から見たときには、印刷媒体の表面に光源ＬＧによる照明が映り込み、その結果生じるハイライト部ＨＬＴが現れる。なお、照明光は、スポットライトのように、印刷媒体に直接向けられた照明によるものに限る必要はなく、太陽光や間接照明・間接光といったものも含まれる。

【0045】

光沢紙を肉眼で観察すると、光沢紙は、一見、平坦に見える。しかしながら、光沢紙の表面で反射する光の正反射方向から光沢紙を観察すると、光沢紙の表面に現れるハイライト部ＨＬＴの形状が波打って見える。このように見える原因は、上記観察環境下では、光沢紙のクリアコート層の下にある光沢紙の基材の微小な凹凸が現れるためである。また、光沢紙では、ハイライト部ＨＬＴとハイライト部ＨＬＴ以外とで基材の凹凸の現れ方が異なり、ハイライト部ＨＬＴには基材の凹凸が明瞭に現れ、ハイライト部ＨＬＴ以外には基材の凹凸が明瞭に現れない。

【0046】

一方、マット紙や普通紙にはクリアコート層が設けられておらず、マット紙や普通紙では、光沢紙に比べて表面の滑らかさが低いので、光沢紙に比べて鏡面反射成分が小さい。そのため、マット紙や普通紙では、ハイライト部ＨＬＴは明瞭には現れず、表面の凹凸の現れ方はほぼ一様である。しかしながら、マット紙や普通紙においても、表面の凹凸の現れ方には角度依存性がある。具体的には、マット紙や普通紙では、正反射方向から紙の表面を観察する観察環境下や、光源ＬＧからの光が紙の表面に垂直に入射する観察環境下では、表面の凹凸が現れにくく、その他の観察環境下では、表面の凹凸が現れやすい。

【0047】

このように、印刷媒体の種類ごとに、表面の凹凸の現れ方には違いがある。本実施形態では、ピクセルパイプラインＰＰＬにおいて、３Ｄオブジェクトに法線マップを貼り付け、３Ｄオブジェクト上の各点における法線マップの適用効果の強さを補正することにより、上述した印刷媒体の種類ごとの凹凸の現れ方の違いを再現する。

【0048】

図８は、ピクセルパイプラインＰＰＬの構成を示す説明図である。本実施形態では、ピクセルパイプラインＰＰＬは、選択部ＳＬと、第１ピクセルシェーダーＰＳ１と、第２ピクセルシェーダーＰＳ２と、レンダーバックエンドＲＢＥとを備えている。第１ピクセルシェーダーＰＳ１には、第１補正部ＣＲ１が設けられており、第２ピクセルシェーダーＰＳ２には、第２補正部ＣＲ２が設けられている。第１補正部ＣＲ１および第２補正部ＣＲ２は、それぞれ、３Ｄオブジェクト上の各点における法線マップの適用効果の強さを補正する。第１補正部ＣＲ１と第２補正部ＣＲ２とでは、法線マップの適用効果の強さの補正方法が異なる。選択部ＳＬは、第１ピクセルシェーダーＰＳ１と第２ピクセルシェーダーＰＳ２とのうちから処理を実行する一方を選択することにより、法線マップの適用効果の強さの補正方法を選択する。レンダーバックエンドＲＢＥには、第１ピクセルシェーダーＰＳ１と第２ピクセルシェーダーＰＳ２とのうち、処理を実行した一方からの情報が入力される。

【0049】

本実施形態では、選択部ＳＬは、質感パラメーターに含まれる滑らかさＳに応じて、第１ピクセルシェーダーＰＳ１の第１補正部ＣＲ１によって法線マップの適用効果の強さを補正するか、第２ピクセルシェーダーＰＳ２の第２補正部ＣＲ２によって法線マップの適用効果の強さを補正するかを選択する。具体的には、選択部ＳＬは、滑らかさＳが閾値以上の場合には、第１補正部ＣＲ１に補正を実行させ、滑らかさＳが閾値未満の場合には、第２補正部ＣＲ２に補正を実行させる。閾値は、例えば、０．５に設定されている。なお、光沢紙の滑らかさＳは閾値以上であり、マット紙や普通紙の滑らかさＳは閾値未満である。そのため、光沢紙と、マット紙や普通紙とでは、法線マップの適用効果の強さの補正方法が異なる。

【0050】

第１ピクセルシェーダーＰＳ１の第１補正部ＣＲ１による法線マップの適用効果の強さの補正方法について説明する。第１補正部ＣＲ１は、光沢紙向けの補正を実行する。第１補正部ＣＲ１は、まず、ポリゴンの法線ベクトルＮｐを用いて、仮の鏡面反射成分（ＳＴ＝Ｆ＊Ｄ＊Ｖ）を算出した後、下式（５）を用いて、ＢＲＤＦや輝度の計算に用いられる法線ベクトルｎを算出する。
ｎ＝ｌｅｒｐ（Ｎｐ，Ｎｂ，ｓａｔｕｒａｔｅ（ＳＴ）） …（５）
ここで、ｎはＢＲＤＦや輝度の計算に用いられる法線ベクトル、Ｎｐはポリゴンの法線ベクトル、Ｎｂは法線マップの法線ベクトル、ＳＴは仮の鏡面反射成分である。ｌｅｒｐ（Ｎｐ，Ｎｂ，ｓａｔｕｒａｔｅ（ＳＴ））は、ＮｐとＮｂとをｓａｔｕｒａｔｅ（ＳＴ）で線形補間する関数である。ｓａｔｕｒａｔｅ（ＳＴ）は、ＳＴを０．０～１．０に収める関数である。１．０＜ＳＴの場合には、ｓａｔｕｒａｔｅ（ＳＴ）＝１．０となり、０．０≦ＳＴ≦１．０の場合には、ｓａｔｕｒａｔｅ（ＳＴ）＝ＳＴとなる。

【0051】

式（５）より、仮の鏡面反射成分が１．０を超える場合には、法線ベクトルｎの向きは、法線マップの法線ベクトルＮｂの向きと一致し、仮の鏡面反射成分が０．０の場合には、法線ベクトルｎの向きは、ポリゴンの法線ベクトルＮｐの向きと一致する。鏡面反射成分が大きくなるにつれて、法線ベクトルｎの向きは、法線マップの法線ベクトルＮｂの向きに近くなり、逆に、鏡面反射成分が０．０に近いほど、法線ベクトルｎの向きは、ポリゴンの法線ベクトルＮｐの向きに近くなる。すなわち、第１補正部ＣＲ１は、鏡面反射成分が大きい画素ほど法線マップの適用効果が強くなり、鏡面反射成分が小さい画素ほど法線マップの適用効果が弱くなるように、法線マップの適用効果の強さを補正している。法線マップの適用効果の強さのことを、法線マップの適用比率ともいう。法線マップの適用比率は、０．０～１．０の値で表される。法線マップの適用比率が１．０に近くなるほど、法線ベクトルｎの向きが法線マップの法線ベクトルＮｂの向きに近くなり、法線マップの適用比率が０．０に近くなるほど、法線ベクトルｎの向きがポリゴンの法線ベクトルＮｐの向きに近くなる。例えば、法線マップの適用比率が０．０の場合には、法線ベクトルｎの向きは、ポリゴンの法線ベクトルＮｐの向きになり、法線マップの適用比率が１．０の場合には、法線ベクトルｎの向きは、法線マップの法線ベクトルＮｂの向きになる。法線マップの適用比率が０．５の場合には、法線ベクトルｎの向きは、ポリゴンの法線ベクトルＮｐの向きと法線マップの法線ベクトルＮｂの向きとのちょうど中間の向きになる。

【0052】

第２ピクセルシェーダーＰＳ２の第２補正部ＣＲ２による法線マップの適用効果の強さの補正方法について説明する。第２補正部ＣＲ２は、マット紙や普通紙向けの補正を実行する。第２補正部ＣＲ２は、下式（６）を用いて、ＢＲＤＦや輝度の計算に用いる法線ベクトルｎを算出する。
ｎ＝ｌｅｒｐ（Ｎｂ，Ｎｐ，ｎｈ＊ｎｌ） …（６）
ここで、ｎはＢＲＤＦや輝度の計算に用いられる法線ベクトル、Ｎｂは法線マップの法線ベクトル、Ｎｐはポリゴンの法線ベクトル、ｎｈはポリゴンの法線ベクトルＮｐとハーフベクトルＨＶとの内積、ｎｌはポリゴンの法線ベクトルＮｐと光源方向ベクトルωｌとの内積である。ｎｈ＊ｎｌは、０．０～１．０の値をとる。ｌｅｒｐ（Ｎｂ，Ｎｐ，ｎｈ＊ｎｌ）は、ＮｂとＮｐとをｎｈ＊ｎｌで線形補間する関数である。

【0053】

式（６）より、ｎｈ＊ｎｌの値が１．０の場合には、法線ベクトルｎの向きは、ポリゴンの法線ベクトルＮｐの向きと一致し、ｎｈ＊ｎｌの値が０．０の場合には、法線ベクトルｎの向きは、法線マップの法線ベクトルＮｂの向きと一致する。ｎｈ＊ｎｌの値が大きくなるにつれて、法線ベクトルｎの向きは、ポリゴンの法線ベクトルＮｐの向きに近くなり、逆に、ｎｈ＊ｎｌの値が０．０に近付くにつれて、法線ベクトルｎの向きは、法線マップの法線ベクトルＮｂの向きに近くなる。

【0054】

ポリゴンの法線ベクトルＮｐとハーフベクトルＨＶとのなす角が小さいほど、ポリゴンの法線ベクトルＮｐとハーフベクトルＨＶとの内積ｎｈが大きくなる。そのため、ポリゴンの法線ベクトルＮｐとハーフベクトルＨＶとのなす角が小さいほど、ｎｈ＊ｎｌの値が大きくなって、法線マップの適用効果が弱くなる。すなわち、第２補正部ＣＲ２は、ポリゴンの法線ベクトルＮｐとハーフベクトルＨＶとのなす角が小さい画素ほど法線マップの適用効果が弱くなるように、法線マップの適用効果の強さを補正している。ポリゴンの法線ベクトルＮｐとハーフベクトルＨＶとのなす角が小さいほど、視点ＶＰと光源ＬＧとの位置関係が正反射の位置関係に近くなる。したがって、第２補正部ＣＲ２による補正が行われた場合、視点ＶＰと光源ＬＧとの位置関係が正反射の位置関係に近くなるほど、法線マップの適用効果が弱くなる。

【0055】

また、ポリゴンの法線ベクトルＮｐと光源方向ベクトルＤＬとのなす角が小さいほど、ポリゴンの法線ベクトルＮｐと光源方向ベクトルＤＬとの内積ｎｌは大きくなる。そのため、ポリゴンの法線ベクトルＮｐと光源方向ベクトルＤＬとのなす角が小さいほど、ｎｈ＊ｎｌの値が大きくなって、法線マップの適用効果が弱くなる。すなわち、第２補正部ＣＲ２は、ポリゴンの法線ベクトルＮｐと光源方向ベクトルＤＬとの間の角度が小さい画素ほど法線マップの適用効果が弱くなるように、法線マップの適用効果の強さを補正している。ポリゴンの法線ベクトルＮｐと光源方向ベクトルＤＬとのなす角が小さいことは、ポリゴンの面ＰＬｐと光源ＬＧとの正対度合いが高いことを意味する。したがって、第２補正部ＣＲ２による補正が行われた場合、ポリゴンの面ＰＬｐと光源ＬＧとの正対度合いが高いほど、法線マップの適用効果が弱くなる。

【0056】

図９は、観察環境の一例を示す斜視図である。図１０は、観察環境の一例を示す側面図である。図１１は、光沢紙の場合の法線マップの適用比率の分布を模式的に示す説明図であり、図１２は、マット紙の場合の法線マップの適用比率の分布を模式的に示す説明図である。図１３は、光沢紙の場合のプレビュー画像の一例を示す説明図であり、図１４は、マット紙の場合のプレビュー画像の一例を示す説明図である。図９および図１０には、光源ＬＧによって照らされた３ＤオブジェクトＯＢＪを、３ＤオブジェクトＯＢＪの斜め上に配置された視点ＶＰから観察する様子が表されている。３ＤオブジェクトＯＢＪは、机などの平坦面の上に配置されている状態の印刷用紙を表現している。光源ＬＧは、３ＤオブジェクトＯＢＪの真上に配置されている。光源ＬＧは、棒状の蛍光灯であり、３ＤオブジェクトＯＢＪの表面に平行に配置されている。図１２および図１４には、図９および図１０に示した観察環境下でのプレビュー画像が表されている。

【0057】

図１１に示すように、第１補正部ＣＲ１による補正が行われた場合、鏡面反射成分の強い画素、つまり、ハイライト部に対応する画素では、法線マップの適用比率が高くなる。一方、鏡面反射項が小さい画素、つまり、ハイライト部以外の画素では、法線マップの適用比率が低くなる。図１１では、３ＤオブジェクトＯＢＪの中央の第１領域Ｒ１がハイライト部であり、第１領域Ｒ１では、法線マップの適用比率は１．０である。第１領域Ｒ１から離れるほど法線マップの適用比率は低下し、第１領域Ｒ１を囲む第２領域Ｒ２では、法線マップの適用比率は０．６となり、第２領域Ｒ２を囲む第３領域Ｒ３では、法線マップの適用比率は０．０となる。この結果、図１３に示すように、ハイライト部には基材の凹凸が明瞭に現れ、ハイライト部以外には基材の凹凸が明瞭に現れないという、光沢紙に特有の質感が再現される。また、視点ＶＰの位置や向き、光源ＬＧの位置や向き、あるいは、３ＤオブジェクトＯＢＪの向きを変化させた場合には、凹凸模様の現れる位置が変化する。

【0058】

図１２に示すように、第２補正部ＣＲ２による補正が行われた場合、鏡面反射成分の強い画素、つまり、ハイライト部に対応する画素では、法線マップの適用比率が低くなる。また、３ＤオブジェクトＯＢＪのポリゴンの面ＰＬｐと光源ＬＧとの正対度合いが高い画素ほど、法線マップの適用比率が低くなる。図１２では、３ＤオブジェクトＯＢＪの中央の第１領域Ｒ１がハイライト部であり、第１領域Ｒ１では、法線マップの適用比率は０．８である。第１領域Ｒ１から離れるほど法線マップの適用比率は増加し、第１領域Ｒ１を囲む第２領域Ｒ２では、法線マップの適用比率は０．９となり、第２領域Ｒ２を囲む第３領域Ｒ３では、法線マップの適用比率は１．０となる。この結果、図１４に示すように、表面の凹凸の現れ方はほぼ一様であり、正反射方向から紙の表面を観察する観察環境下や、光源ＬＧからの光が紙の表面に垂直に入射する観察環境下では、表面の凹凸が現れにくく、その他の観察環境下では、表面の凹凸が現れやすいという、マット紙や普通紙に特有の質感が再現される。なお、図１１や図１３では、法線マップの適用比率が３段階で変化しているが、実際にはより細かく法線マップの適用比率が変化する。

【0059】

以上で説明した本実施形態の画像処理装置１００によれば、３Ｄオブジェクトに対応付けられている法線マップの適用効果の強さを補正した上で物理ベースレンダリングを実行してレンダリング画像を生成するので、観察環境が制限されることなく、印刷媒体の質感を再現することができる。特に、本実施形態では、画像処理装置１００は、印刷媒体の滑らかさＳが閾値以上の場合と閾値未満の場合とで、法線マップの適用効果の強さの補正方法を異ならせる。このため、滑らかさＳが高い光沢紙に特有の質感や、滑らかさＳが低いマット紙や普通紙に特有の質感をリアルに再現できる。

【0060】

なお、上述した実施形態では、ピクセルパイプラインＰＰＬには、２つのピクセルシェーダーＰＳ１，ＰＳ２が設けられているが、他の実施形態では、ピクセルパイプラインＰＰＬに設けられるピクセルシェーダーＰＳの数は、１つでもよい。この場合、ピクセルシェーダーＰＳの補正部は、下式（７）により、法線マップの適用効果の強さを補正してもよい。
ｎ＝ｌｅｒｐ（ｎ１，ｎ２，Ｓ） …（７）
ここで、ｎ１は印刷媒体の滑らかさＳが閾値以上の場合の補正方法で算出した法線ベクトルであり、ｎ２は印刷媒体の滑らかさＳが閾値未満の場合の方法で算出した法線ベクトルであり、Ｓは印刷媒体の滑らかさである。この方法によっても、上述した光沢紙の質感とマット紙の質感との違いを再現できる。なお、ピクセルパイプラインＰＰＬに設けられるピクセルシェーダーＰＳの数が１つである場合には、選択部ＳＬが設けられていなくてもよい。

【0061】

Ｂ．第２実施形態：
第２実施形態は、印刷システム３００としての形態である。図１５に示すように、この印刷システム３００は、上述した画像処理装置１００と、画像準備装置３１０と、印刷装置３２０とを備える。画像準備装置３１０は、本実施形態では、利用者が使用するコンピューターであり、第１の色空間で表現された画像のデータである画像データＯＲＧを用意する装置である。この画像準備装置３１０は、画像を作成する機能を有してもよいし、単に画像データを記憶しておき、必要に応じて、画像処理装置１００に提供するものであってもよい。画像準備装置３１０は、画像処理装置１００が画像データＯＲＧを取得できるように、サイト２００と同様、ネットワークＮＷを介して接続されているが、有線または無線で画像処理装置１００に直接接続されていてもよい。

【0062】

印刷装置３２０は、本実施形態では、画像準備装置３１０にネットワークＮＷを介して接続されており、画像準備装置３１０からの指示を受け、画像準備装置３１０が出力する画像データＯＲＧを印刷媒体ＰＲＭに印刷する。印刷システム３００の利用者は、印刷装置３２０による印刷に先立って、画像データＯＲＧを画像処理装置１００に取得させ、第１実施形態において説明した様に、印刷媒体ＰＲＭを３Ｄオブジェクトとして扱い、かつ質感パラメーターを含む第２データＳＤを用いたライティング処理を行なって、印刷媒体ＰＲＭを、その上に印刷された画像データを含めてレンダリングする。

【0063】

利用者は、このレンダリング結果を画像表示部１５１上で確認し、必要があれば、視点や光源の位置、あるいは光源の強さやホワイトバランスなどを変更して、印刷媒体ＰＲＭの見え方を確認し、その後、画像データＯＲＧをネットワークＮＷを介して、画像準備装置３１０から印刷装置３２０に出力して、印刷媒体ＰＲＭに画像データＯＲＧを印刷する。利用者は、印刷に先立って、印刷媒体ＰＲＭにおける画像の見え方を、画像処理装置１００による物理ベースのレンダリングにより確認できる。この結果、印刷媒体ＰＲＭの表面の滑らかさ（粗さ）などを含めた印刷媒体ＰＲＭの種類による質感の違いを確認してから印刷できる。画像表示部１５１に表示されたレンダリング結果を見て、所望の印刷結果が得られるように、画像データＯＲＧの色彩を変更したり、用いる印刷媒体ＰＲＭの種類を変えたり、印刷に利用する印刷装置３２０を変更したり、あるいはそのインクセットを変更したりすることも可能である。

【0064】

こうした印刷装置３２０と共に画像処理装置１００を用いる場合には、印刷装置３２０に、印刷媒体に印刷される画像の印刷媒体上の見え方に影響する印刷条件を設定する印刷条件設定部３１５を、印刷の指示を行なうコンピューター、例えば本実施形態では、画像準備装置３１０に備えてもよい。こうすれば、印刷条件、例えば所定の印刷媒体が収容された用紙トレイの選択、利用するインクセットの選択、使用する印刷装置種類の選択、などの印刷条件から色変換に必要なプロファイルを設定したり、印刷条件に基づいて参照する第１，第２データを定めるようにでき、各種の設定を容易に実現できる。印刷条件設定部３１５は、これらの条件の他、仮想空間における画像が印刷された印刷媒体の観察状態、仮想空間における印刷媒体に対する照明の情報である照明情報、仮想空間における３Ｄオブジェクトを特定するオブジェクト特定情報、仮想空間における背景を特定する背景情報などを設定するものとしてもよい。

【0065】

印刷装置３２０が印刷する印刷媒体は、用紙以外のものであってもよい。例えば生地に印刷する捺染プリンターや缶や瓶などの固形物に印刷する印刷装置であってもよい。また、対象物に直接印刷する構成の他、転写紙のような転写用媒体に印刷を行ない、転写用媒体上に形成されたインクを印刷媒体である生地や固形物に転写する印刷装置の構成も採用可能である。こうした転写型の印刷装置としては、昇華型の印刷装置がある。こうした転写型の構成では、印刷媒体は、転写された最終印刷物である。こうした場合には、印刷媒体である生地や金属、ガラスやプラスチックなどの表面の構造や質感に関与する質感パラメーター等を、印刷媒体の性質に合わせて用意し、画像処理装置１００で物理ベースレンダリングを行なえばよい。転写型の印刷装置においても、質感パラメーターは、転写用媒体ではなく、最終印刷物の質感を表わすものを用いる。こうした生地や缶に印刷した場合の画像表示部１５１での表示例を、図１６に示した。図では理解の便を図って、Ｔシャツに印刷したオブジェクトＯＢＪｔと、缶に印刷したオブジェクトＯＢＪｃとを併せて示したが、通常は１つの印刷媒体ずつ表示される。もとよりレンダリング実行部を複数用意し、物理ベースレンダリングの結果を、複数同時に表示するようにしてもよい。

【0066】

Ｃ．他の実施形態：
（１）本開示は以下の形態でも実施可能である。他の実施形態の１つは、画像処理装置としての形態である。この画像処理装置は、印刷媒体に印刷される画像の画像データを取得する画像データ取得部と、前記印刷媒体を３Ｄオブジェクトとして物理ベースレンダリングするためのパラメーターであって、前記印刷媒体に入射する光の反射方向に関する前記印刷媒体の凹凸面の法線方向を表す法線マップを含むパラメーターを取得するパラメーター取得部と、前記３Ｄオブジェクトに対応付けられている前記法線マップの適用効果の強さを補正する補正部と、前記画像データと前記パラメーターとを用いて前記物理ベースレンダリングを実行することにより、前記画像が印刷された前記印刷媒体を表すレンダリング画像を生成するレンダリング実行部と、を備える。

【0067】

こうすれば、３Ｄオブジェクトに対応付けられている法線マップの適用効果の強さを補正した上で物理ベースレンダリングを実行してレンダリング画像を生成するので、観察環境が制限されることなく、印刷媒体の質感を再現することができる。

【0068】

こうした画像処理装置は、上記の画像処理だけを行なう装置として構成してもよいし、印刷しようとする画像を保存する機能を含む装置として構成してもよい。あるいは、印刷しようとする画像を作成する機能を含む装置や、画像を印刷する装置として構成してもよい。画像処理装置は、ＧＰＵを備えたコンピューターにより実現してもよいし、必要な機能を複数のサイトに置き、連携可能とした分散型のシステムとして構成してもよい。分散型のシステムとして構成した場合、端末の処理負荷が軽減されるので、タブレットなどの携帯端末でも上記の画像処理を実行しやすくなり、利用者の利便性がさらに向上する。

【0069】

こうしたレンダリング実行部には、既存の各種構成が採用可能である。一般にレンダリングは、３次元のワールド座標を視点から見た座標系に変換する視点変換、３Ｄオブジェクトからレンダリングに不要な頂点を除くカリング、不可視の座標を除くクリッピング、ラスタライズ、といった複数の要素に分けて実施されてもよい。これらの処理は、専用のＧＰＵでの処理に適した構成とし、３Ｄオブジェクトの頂点に関する処理を行なう頂点パイプラインやラスタライズされた各ピクセルについての処理を行なうピクセルパイプラインを備えたパイプライン構成により実現してもよい。

【0070】

（２）こうした構成において、前記パラメーターは、前記印刷媒体に入射する光の反射方向の分散に関する前記印刷媒体の表面の平滑度を含んでもよい。
こうすれば、印刷媒体の表面の平滑度に応じた質感を３Ｄオブジェクトに付与することができるので、レンダリング画像に表される３Ｄオブジェクトの質感を、現実の印刷媒体の質感に近付けることができる。

【0071】

（３）上記の（２）の構成において、前記補正部は、前記平滑度に応じて前記法線マップの適用効果の強さを補正してもよい。
こうすれば、印刷媒体の平滑度に応じて法線マップの適用効果の強さを補正するので、レンダリング画像に表される３Ｄオブジェクトの質感を、現実の印刷媒体の質感に近付けることができる。

【0072】

（４）上記の（２）～（３）の構成において、前記補正部は、前記平滑度が予め定められた値以上である場合には、光の反射を表す関数の鏡面反射成分が大きいほど前記法線マップの適用効果が強まるように補正してもよい。
こうすれば、例えば光沢紙のように平滑度の高い印刷媒体を３Ｄオブジェクトで再現する場合に、３Ｄオブジェクトの質感を現実の印刷媒体の質感に近付けることができる。

【0073】

（５）上記の（２）～（４）の構成において、前記補正部は、前記平滑度が予め定められた値未満である場合には、前記３Ｄオブジェクトを構成するポリゴンの法線であるポリゴン法線と、光源方向ベクトルと視点方向ベクトルとのハーフベクトルと、の間の角度が小さいほど前記法線マップの適用効果が弱まるように補正してもよい。
こうすれば、例えばマット紙や普通紙のように平滑度の低い印刷媒体を３Ｄオブジェクトで再現する場合に、３Ｄオブジェクトの質感を現実の印刷媒体の質感に近付けることができる。

【0074】

（６）上記の（２）～（５）の構成において、前記補正部は、前記平滑度が予め定められた値未満である場合には、前記３Ｄオブジェクトを構成するポリゴンの法線であるポリゴン法線と光源方向ベクトルとの間の角度が小さいほど前記法線マップの適用効果が弱まるように補正してもよい。
こうすれば、例えばマット紙や普通紙のように平滑度の低い印刷媒体を３Ｄオブジェクトで再現する場合に、３Ｄオブジェクトの質感を現実の印刷媒体の質感に近付けることができる。

【0075】

（７）上記の（２）～（６）の構成において、前記補正部は、前記平滑度が予め定められた値未満である場合には、前記３Ｄオブジェクトを構成するポリゴンの法線であるポリゴン法線と、光源方向ベクトルと視点方向ベクトルとのハーフベクトルと、の間の角度が小さいほど前記法線マップの適用効果が弱まり、かつ、前記ポリゴン法線と前記光源方向ベクトルとの間の角度が小さいほど前記法線マップの適用効果が弱まるように補正してもよい。
こうすれば、例えばマット紙や普通紙のように平滑度の低い印刷媒体を３Ｄオブジェクトで再現する場合に、３Ｄオブジェクトの質感を現実の印刷媒体の質感に近付けることができる。

【0076】

（８）上記の（２）～（７）の構成において、前記法線マップの適用効果の強さの補正方法が異なる複数の前記補正部を備え、複数の前記補正部のうちから前記法線マップの適用効果の強さの補正を実行する前記補正部を前記平滑度に応じて選択する選択部をさらに備えてもよい。
こうすれば、印刷媒体の平滑度に応じて、法線マップの適用効果の強さの補正方法を容易に切り替えることができる。

【0077】

（９）上記の（１）～（８）の構成において、前記補正部は、前記物理ベースレンダリングにおいて前記３Ｄオブジェクトに陰影を付与するシェーダーに設けられてもよい。
こうすれば、３Ｄオブジェクトに陰影を付与するシェーダーにおいて法線マップの適用効果の強さの補正を実行できるので、光源、視点、および、３Ｄオブジェクトの位置や向きが変更される度に、法線マップの適用効果の強さの補正を実行して３Ｄオブジェクトに付与される陰影を変化させることができる。

【0078】

（１０）本開示の他の実施形態としては、印刷システムとして構成が可能である。この印刷システムは、上記（１）から（９）のうちのいずれかの画像処理装置と、前記画像処理装置によって生成された前記レンダリング画像を表示する表示部と、前記画像データを印刷する印刷装置と、を備える。
こうすれば、印刷装置で印刷を行なう際に印刷に先立って、画像が印刷された印刷媒体の見え方が表示部に表示されるので、これを確認してから印刷できる。したがって、印刷しようとする画像と印刷媒体の印象に齟齬が生じることが抑制され、元の画像や印刷条件を調整してトライ＆エラーを繰り返すといったことが減り、印刷を試行する費用と時間を削減することも可能なる。

【0079】

（１１）本開示の他の構成は、画像処理プログラムとしての構成である。この画像処理プログラムは、印刷媒体に印刷される画像の画像データを取得する機能と、前記印刷媒体を３Ｄオブジェクトとして物理ベースレンダリングするためのパラメーターであって、前記印刷媒体に入射する光の反射方向に関する前記印刷媒体の凹凸面の法線方向を表す法線マップを含むパラメーターを取得する機能と、前記３Ｄオブジェクトに対応付けられている前記法線マップの適用効果の強さを補正する機能と、前記画像データと前記パラメーターとを用いて前記物理ベースレンダリングを実行することにより、前記画像が印刷された前記印刷媒体を表すレンダリング画像を生成する機能と、をコンピューターに実行させる。
こうすれば、コンピューターを備える装置に、（１）から（９）で説明した画像処理装置としての機能を容易に付与することができる。

【0080】

（１２）上記各実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよい。ソフトウェアによって実現されていた構成の少なくとも一部は、ディスクリートな回路構成により実現することも可能である。また、本開示の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。すなわち、「コンピューター読み取り可能な記録媒体」とは、データパケットを一時的ではなく固定可能な任意の記録媒体を含む広い意味を有している。

【0081】

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0082】

１００…画像処理装置、１１１…カラーマネージメントシステム、１２１…レンダリング実行部、１３１…第１記憶部、１３２…第２記憶部、１３５…メモリー、１４１…通信部、１５１…画像表示部、２００…サイト、３００…印刷システム、３１０…画像準備装置、３１５…印刷条件設定部、３２０…印刷装置

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】