(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024053340
(43)【公開日】2024-04-15
(54)【発明の名称】画像処理装置、印刷システムおよび画像処理プログラム
(51)【国際特許分類】
G06T 15/80 20110101AFI20240408BHJP
H04N 1/60 20060101ALI20240408BHJP
H04N 1/56 20060101ALI20240408BHJP
H04N 1/48 20060101ALI20240408BHJP
G06T 1/00 20060101ALI20240408BHJP
【FI】
G06T15/80
H04N1/60 830
H04N1/56
H04N1/48
G06T1/00 510
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2022159539
(22)【出願日】2022-10-03
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】110000028
【氏名又は名称】弁理士法人明成国際特許事務所
(72)【発明者】
【氏名】大野 拓也
(72)【発明者】
【氏名】鎌田 崇廣
(72)【発明者】
【氏名】山下 充裕
(72)【発明者】
【氏名】山本 祐子
【テーマコード(参考)】
5B057
5B080
5C079
【Fターム(参考)】
5B057AA11
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE17
5B057CE18
5B057CH07
5B057DA16
5B057DA17
5B057DB02
5B057DB06
5B057DB09
5B057DC25
5B080AA13
5B080AA19
5B080BA02
5B080BA04
5B080CA01
5B080CA04
5B080DA06
5B080FA02
5B080FA09
5B080GA11
5B080GA22
5C079HA19
5C079HB01
5C079HB08
5C079HB12
5C079JA25
5C079LA19
5C079LB01
5C079MA05
5C079MA17
5C079NA03
5C079NA29
5C079PA03
5C079PA05
(57)【要約】
【課題】印刷媒体に印刷された画像が印刷媒体上でどのように見えるかを精度良く求める。
【解決手段】画像処理装置において、予め用意した色変換プロファイルを用いて、第1の色空間で表現された画像のデータである画像データを、レンダリングの際に用いられる第2の色空間での表現に変換し、変換済み画像データを生成し、変換済み画像データと、印刷媒体を3Dオブジェクトとして物理ベースレンダリングするために必要なパラメーターとを用いて、画像が印刷された印刷済み印刷媒体の物理ベースレンダリングを行なうことで、印刷済み印刷媒体の仮想空間における見え方に対応するレンダリング画像を生成する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
画像が印刷された印刷媒体のレンダリング画像を生成する画像処理装置であって、
前記画像が第1の色空間で表現された画像データを取得する画像データ取得部と、
予め用意した色変換プロファイルを用いて、前記画像データを、レンダリングの際に用いられる第2の色空間での表現に変換し、変換済み画像データを生成する色変換部と、
前記画像を印刷する印刷媒体を3Dオブジェクトとして物理ベースレンダリングするために必要なパラメーターを取得するパラメーター取得部と、
前記変換済み画像データと前記パラメーターとを用いて、前記画像が印刷された印刷済み印刷媒体の前記物理ベースレンダリングを行ない、前記印刷済み印刷媒体の仮想空間における見え方に対応するレンダリング画像を生成するレンダリング実行部と、
を備えた画像処理装置。
【請求項2】
前記パラメーターは、前記印刷媒体の仮想空間における光源下の形態に関与する第1データと、前記印刷媒体の表面における画像形成に関与する第2データとを含み、
前記レンダリング実行部は、前記第1データを用いて、前記3Dオブジェクトとしての前記印刷媒体の前記仮想空間における光源下の形態を演算し、前記形態の前記印刷媒体の表面に、前記第2データを用いて、前記変換済み画像データをマッピングすることで、前記印刷済み印刷媒体の前記物理ベースレンダリングを行なう、
請求項1記載の画像処理装置。
【請求項3】
前記第2データは、
使用頻度が予め定めた使用頻度以上であるとして分類された第1種の印刷媒体については、前記画像処理装置内に備えられた記憶部に予め記憶されており、
前記第1種の印刷媒体より使用頻度が低い第2種の印刷媒体については、使用の際に、前記画像処理装置の外部から取得される、
請求項2に記載の画像処理装置。
【請求項4】
前記レンダリング実行部は、
前記仮想空間内において、前記印刷媒体の表面に存在する頂点の頂点情報の処理を行なう頂点シェーダーと、
前記頂点シェーダーが処理した前記印刷媒体の頂点情報を、前記印刷媒体を表現する際のピクセル単位の情報に変換するラスタライザーと、
前記ピクセル単位で、前記頂点情報を用いて、前記仮想空間内における少なくともライティング処理を行なうピクセルシェーダーと、
を備えた、請求項2に記載の画像処理装置。
【請求項5】
前記第1データは、前記印刷媒体の表面の法線データと、前記光源下で前記印刷媒体を照明する照明情報と、前記光源下の前記印刷媒体を撮像するカメラ情報と、を含み、
前記頂点シェーダーは、前記法線データ,前記照明情報,前記カメラ情報を用いて、少なくとも、座標変換、陰影処理、テクスチャー座標の算出を行なう、請求項4に記載の画像処理装置。
【請求項6】
前記第2データは、前記印刷媒体の前記表面の質感を表わす質感パラメーターを含み、
前記ピクセルシェーダーは、前記変換済み画像データと、前記頂点情報と、前記質感パラメーターとを用い、予め定めた照明モデルに従って前記ライティング処理を行なう、
請求項4に記載の画像処理装置。
【請求項7】
前記レンダリング画像を表示する表示部を備える、請求項1に記載の画像処理装置。
【請求項8】
前記色変換プロファイルは、前記第1の色空間からデバイス非依存色空間への変換プロファイルである入力プロファイル、共通色空間への変換プロファイルである共通色空間プロファイル、前記印刷媒体のメディアプロファイル、の少なくとも1つを含む、請求項1に記載の画像処理装置。
【請求項9】
前記画像の印刷を行なう印刷装置において、前記印刷媒体に印刷される画像の前記印刷媒体上の見え方に影響する印刷条件を設定する印刷条件設定部を備える、請求項1記載の画像処理装置。
【請求項10】
前記パラメーター取得部は、前記パラメーターの1つとして、
前記仮想空間における前記画像が印刷された前記印刷媒体の観察状態、
前記仮想空間における前記印刷媒体に対する照明の情報である照明情報、
前記仮想空間における前記3Dオブジェクトを特定するオブジェクト特定情報、
前記仮想空間における背景を特定する背景情報、
のうちの少なくとも1つを取得する、請求項1記載の画像処理装置。
【請求項11】
前記パラメーター取得部が、前記パラメーターの1つとして、前記仮想空間における背景を特定する背景情報であって、照明の情報を含む前記背景情報を取得し、
前記ライティング処理は、前記背景情報に含まれる照明の情報を用いた前記印刷媒体のライティング処理を含む、
請求項4に記載の画像処理装置。
【請求項12】
前記背景情報の前記照明の情報には、前記仮想空間全体の光の情報である大域照明の情報が含まれる、請求項11に記載の画像処理装置。
【請求項13】
第1の色空間で表現された画像のデータである画像データを用意する画像データ準備装置と、
前記画像データ準備装置が準備した画像データを取得して画像処理を行なう請求項1から請求項12のいずれか一項に記載の画像処理装置と、
前記画像処理装置が生成した前記レンダリング画像を表示する表示部と、
前記画像データを印刷する印刷装置と、
を備えた印刷システム。
【請求項14】
画像が印刷された印刷媒体のレンダリング画像を生成する画像処理プログラムであって、
予め用意した色変換プロファイルを用いて、第1の色空間で表現された画像のデータである画像データを、レンダリングの際に用いられる第2の色空間での表現に変換し、変換済み画像データを生成する第1の機能と、
前記変換済み画像データと、前記印刷媒体を3Dオブジェクトとして物理ベースレンダリングするために必要なパラメーターとを用いて、前記画像が印刷された印刷済み印刷媒体の前記物理ベースレンダリングを行なうことで、前記印刷済み印刷媒体の仮想空間における見え方に対応するレンダリング画像を生成する第2機能と、
をコンピューターにより実現する画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、印刷媒体がどのように見えるかを表示し得る画像処理技術に関する。
【背景技術】
【0002】
プリンターや印刷機を用いて印刷する前に、印刷媒体のプレビューを表示することは従来から行なわれている。印刷媒体のプレビューを、実際の印刷媒体の見え方に近づけるためには、光源の色味など、種々の条件を考慮して、印刷媒体の再現性を高める必要がある。例えば、下記特許文献1では、入力デバイスの色空間情報、環境光、色変換方法などを考慮し、実際の組み合わせに対応する複数のデバイスリンクプロファイル(Device Link Profile、以下DLPと呼ぶ)を予め準備し、マッチングモードに応じて適切なDLPを選択してカラーマッチング処理を行なうことで、処理時間を短縮しつつ、印刷媒体の色の再現性を高める画像処理の手法を提案している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1は、色再現性自体は高めているものの、画像データに基づいて印刷媒体がどのように見えるかを再現するという点では不十分であった。例えば、印刷媒体を見る場合の光源の位置や角度、印刷媒体に対する距離や印刷媒体表面に対する視線の角度、印刷媒体それ自体が持っている光沢などの表面の状態など、様々な要素によって、印刷媒体がどのように見えるかは変化する。こうした点を考慮すると、従来の画像処理の技術は、印刷媒体の再現性に関して、十分な考慮がなされているとは言えなかった。
【課題を解決するための手段】
【0005】
本開示の第1の態様は、画像が印刷された印刷媒体のレンダリング画像を生成する画像処理装置としての形態である。この画像処理装置は、前記画像が第1の色空間で表現された画像データを取得する画像データ取得部と、予め用意した色変換プロファイルを用いて、前記画像データを、レンダリングの際に用いられる第2の色空間での表現に変換し、変換済み画像データを生成する色変換部と、前記画像を印刷する印刷媒体を3次元(以下、3D)オブジェクトとして物理ベースレンダリングするために必要なパラメーターを取得するパラメーター取得部と、前記変換済み画像データと前記パラメーターとを用いて、前記画像が印刷された印刷済み印刷媒体の前記物理ベースレンダリングを行ない、前記印刷済み印刷媒体の仮想空間における見え方に対応するレンダリング画像を生成するレンダリング実行部と、を備える。
【0006】
本開示の第2の態様は、画像処理プログラムとしての構成である。この画像処理プログラムは、画像が印刷された印刷媒体のレンダリング画像を生成する画像処理プログラムであって、予め用意した色変換プロファイルを用いて、第1の色空間で表現された画像のデータである画像データを、レンダリングの際に用いられる第2の色空間での表現に変換し、変換済み画像データを生成する第1の機能と、前記変換済み画像データと、前記印刷媒体を3Dオブジェクトとして物理ベースレンダリングするために必要なパラメーターとを用いて、前記画像が印刷された印刷済み印刷媒体の前記物理ベースレンダリングを行なうことで、前記印刷済み印刷媒体の仮想空間における見え方に対応するレンダリング画像を生成する第2機能と、を備える。
【図面の簡単な説明】
【0007】
【
図2B】色変換処理の他の構成例を示すフローチャート。
【
図2C】色変換処理の他の構成例を示すフローチャート。
【
図3】実施形態のレンダリング実行部の論理構成を示す説明図。
【
図4】画像が印刷された印刷媒体の表示例を模式的に示す説明図。
【
図5】光源や視点と3Dオブジェクトの面の角度等の関係を示す説明図。
【
図7】画像が形成される印刷媒体の面の光源に対する角度の変化により印刷媒体の表示が変化する様子を模式的に示す説明図。
【
図8】印刷システムとしての実施形態を示す概略構成図。
【
図9】印刷結果の見え方の他の印刷媒体の例を示す説明図。
【発明を実施するための形態】
【0008】
A.第1実施形態:
(A1)ハードウェア構成:
本実施形態の画像処理装置100の概略構成を、
図1に示す。この画像処理装置100は、所定の印刷媒体に画像が印刷された様子をプレビューするための画像処理を行なう。画像処理装置100は、画像処理を行なうだけでなく、その処理結果を、プレビュー画像として表示する。画像処理装置100は、図示するように、主に色変換を行なうカラーマネージメントシステム111、印刷媒体のレンダリングを実行するレンダリング実行部121、第1記憶部131および第2記憶部132を備えるメモリー135、外部のサイト200とインターネットなどのネットワークNWを介してデータをやり取りする通信部141、およびプレビュー画像を表示する画像表示部151を備える。なお、後述する各処理を行なうプログラムは、画像処理装置100のメモリー135等に保存されており、CPUまたはGPUが、メモリーに保存されたプログラムを実行することにより、画像処理装置100の各機能が実現される。
【0009】
カラーマネージメントシステムは、以下、簡略のためにCMSと略記することがある。CMS111は、印刷しようとする画像(以下、原画像という)を表わす画像データORGを取得可能である。画像データORGの取得は、画像データORGを作成した画像形成装置から有線または無線通信により受け取るものとしてもよいし、画像データORGをファイルの形式で保存するメモリーカードから読み込むものとしてもよい。もとよりネットワークを介して取得するものとしてもよい。あるいは、この画像処理装置100内で画像データORGを作成するものとしてもよい。画像処理装置100内で画像データORGを作成した場合、印刷の際には、その画像データORGを外部の印刷装置に、通信等により出力するようにすればよい。
【0010】
CMS111は、印刷プレビューの対象となる原画像を、印刷媒体上に表現される物体色に色変換する。変換された画像データを、マネージド画像データMGPと呼ぶ。CMS処理の詳細は後述する。マネージド画像データMGPは、3Dオブジェクトである印刷媒体のテクスチャーとして設定される。CMS111には、入力プロファイルIP、メディアプロファイルMP、共通色空間プロファイルCPなどが入力される。入力プロファイルIPは、RGBデータなど、機器に依存する入力側の表色系から、機器に依存しない表色系であるL* a* b* (以下、単にLabと略記する)などへの変換を行なうために用いられる。メディアプロファイルMPは、プリンターなどの特定の印刷装置で、特定の印刷媒体に、特定の印刷解像度などの印刷条件で、印刷したときの色再現性を表すプロファイルであり、機器非依存の表色系と機器依存の表色系との間で、色彩値を変換するプロファイルである。メディアプロファイルMPには、印刷媒体以外の、印刷装置の印刷設定などの情報も含んでいる。このため、印刷装置(プリンター)×印刷媒体×印刷設定のすべての組み合わせを網羅しようとすると、メディアプロファイルMPの種類が多くなってしまうため、印刷条件の依存性が小さい場合や、プロファイル数を増やしたくない場合は、メディアプロファイルMPは、印刷装置(プリンター)×印刷媒体の組み合わせとして構成する。このように、印刷媒体(メディア)上の画像の色彩には、印刷装置の特性と印刷媒体自体の特性とが関与するため、メディアプロファイルMPを、以下、印刷プロファイルMPと呼ぶことがある。
【0011】
画像データORGに入力プロファイルIPを適用し、更に印刷プロファイルMPを適用すると、特定の印刷条件で印刷された場合の、つまり印刷装置や印刷媒体に依存した色彩値が得られる。この画像の色彩値に対して、印刷プロファイルMPを機器依存の表色系から機器非依存の表色系に変換するよう適用し、更に共通色空間プロファイルCPを適用すると、レンダリングする際に用いられる第2色空間(ここではsRGB色空間)での表現に変換される。印刷プロファイルMPを用いて、一度印刷装置や印刷媒体などの特性に依存した色彩値に変換しているので、画像データORGは、実際に印刷可能な色彩値の範囲に色変換される。共通色空間プロファイルCPは、画像データを、レンダリングの際に用いられる色空間の色彩値に変換するために用いられる。共通色空間としては、sRGB色空間が代表的であるが、AdobeRGB、Display-P3などを用いてもよい。
【0012】
CMS111は、以上説明したように、各プロファイルを利用して、機器に依存した表色系である第1色空間で表現された画像データORGを、レンダリングの際に用いられる第2色空間であるsRGB色空間で表現された画像データ(マネージド画像データ)MGPに変換する。ここで、変換後の画像データは、sRGB色空間の色彩値に限られず、レンダリング実行部121が扱える色空間で表現されたものであれば、どのような色空間で表現されたものであってもよい。例えば、レンダリング実行部121がLabやXYZ色空間の色彩値や分光反射率などによってレンダリング可能な構成を採用していれば、レンダリング実行部121内で行なうライティング処理(後述)内で、あるいはレンダリング実行部121に後置されたポスト処理部(後述)で、画像表示部151に表示する際に用いられる色彩値に変換すればよい。
【0013】
メモリー135は、第1記憶部131に第1データFDを取り込んで保存し、第2記憶部132に第2データSDを取り込んで保存する。第1データFDや第2データSDは、画像を印刷する印刷媒体を3Dオブジェクトとして物理ベースレンダリングして表示するために必要なパラメーターである。特に、第1データFDは、印刷媒体の仮想空間における光源下の形態に関与するデータであり、印刷媒体の3Dオブジェクト情報や印刷媒体を見ている位置などのカメラ情報、照明の位置や色合いなどの照明情報、更には印刷媒体の置かれた背景の情報を示す背景情報などが含まれる。また、第2データSDは、印刷媒体の表面における画像形成に関与するデータであり、例えば、印刷媒体の表面の質感などを表わすデータなどを含む。これらの第1データFDや第2データSDは、レンダリング実行部121におけるレンダリングの際に利用される。
【0014】
第1データFDや第2データSDは、使用頻度が所定以上の代表的なデータについては、予め第1記憶部131や第2記憶部132に不揮発的に記憶しておき、必要に応じて選択し、レンダリング実行部121に参照させればよい。印刷媒体として、使用頻度が低いなど通常使用しないようなもの、例えば布生地や缶、プラスチックシートなど特殊な素材を用いる場合の質感データなどは、外部のサイト200に保存しておき、必要な場合に通信部141を介して取得するようにしてもよい。照明情報などの第1データFDは、レンダリングに際して利用者が個別に指定してもよいが、代表的なカメラアングルや光源について、予め第1記憶部131に保存しておき、利用するものとしてもよい。カメラアングルは、対象である印刷媒体を見ている位置や方向のことであり、仮想空間を見ている利用者の仮想的な視点の位置と視線の方向に相当する。このため、カメラを視点や視線の方向であるとして、「視点」あるいは「ビュー」として説明することがある。
【0015】
画像表示部151は、レンダリング実行部121によりレンダリングした印刷媒体の画像を、背景などと共に表示する。画像表示部151は、表示用の画像データを、レンダリング実行部121に設けられたフレームメモリーFMから読み出して表示を行なう。画像表示部151は、画像処理装置100に設けてもよいが、画像処理装置100とは分離して設けてもよい。なお、画像処理装置100は、専用機として実現してもよいが、コンピューターにおいてアプリケーションプログラムを実行させることで実現してもよい。もとより、コンピューターには、タブレットや携帯電話のような端末も含まれる。レンダリング実行部121の処理には、かなりのリソースと演算能力が必要になるため、レンダリング実行部121のみを高速処理可能なCPUや専用のGPUにより実行させるようにし、レンダリング実行部121をネットワーク上の別のサイトにおいて、画像処理装置100を構成してもよい。
【0016】
CMS111が行なう色変換処理について、
図2Aを用いて説明する。図は、原画像データORGを、CMS111によって、レンダリング処理を行なうための共通色空間の色彩データに変換される処理を示すフローチャートである。色変換処理が開始されると、まず原画像データORGと入力プロファイルIPとを入力して、機器に依存する表色系(例えばRGB表色系)で表わされた原画像データORGを、機器に依存しない表色系(例えばLabまたはXYZ表色系)の色彩データに変換する処理を行なう(ステップS110)。次に、メディアプロファイルMPが用意されているかを判断し(ステップS120)、メディアプロファイルMPがあれば、これを適用して、印刷条件として、印刷装置(プリンター)×印刷媒体の組み合わせを考慮して、印刷により表現可能な色彩の範囲への色変換を行なう(ステップS130)。メディアプロファイルMPが無ければ、ステップS130の処理は行なわない。その後、共通色空間プロファイルCPを用いて、レンダリングの際に用いられる第2の色空間である共通色空間の色彩値に変換する(ステップS150)。本実施形態では、共通色空間として、sRGBを用いている。こうして得られたマネージド画像データMGPを、3Dオブジェクトのテクスチャーであるアルベドカラーに設定し(ステップS160)、本処理ルーチンを終了する。
【0017】
ステップS130において、メデイアプロファイルの色変換のレンダリングインテントを絶対的(Absolute)にすれば、印刷媒体そのものの色(地色)を反映できる。なお、ステップS150での色変換の対象となる画像の色彩値がsRGB色空間の色域外の場合、sRGB色空間内の値に近似してもよいが、sRGBの色域外の値を取りうるように扱ってもよい。画像データのRGB値は、一般には、各色8ビット、つまり値0~255の整数で格納するが、これに代えて、画素値を値0.0~1.0の浮動小数点として表わすものとすれば、sRGBの色域外の値を、負の値や1.0を超える値にして取り扱うことができる。
【0018】
CMS111による色変換は、
図2Aに示した構成に限らず、例えば
図2Bや
図2Cに示す構成により行なうことも可能である。
図2Bは、画像表示部151用の補正データDPDが用意されている場合の色変換処理ルーチンを示す。表示装置補正データDPDは、共通色空間であるsRGBに対する画像表示部151の表示色のずれを補正するためのデータである。
図2Bに示した色変換処理では、メディアプロファイルMPによる色変換(ステップS130)の後に、表示装置補正データDPDを用いた色変換処理(ステップS140)を行なうものとしている。
【0019】
こうした表示装置補正データDPDと共通色空間プロファイルCPとを予め合成した合成補正データSPDを用意しておき、共通色空間プロファイルCPによる色変換(ステップS150)に代えて、合成補正データSPDによる色変換(ステップS155)を行なうものとしてもよい。この場合の色変換処理の一例を、
図2Cに示した。なお、画像表示部151の表示色のずれに対する補正は、CMS111で行なう代わりに、後述する
図3に示したレンダーバックエンド後のポスト処理部PSTで行なってもよい。
【0020】
レンダリング実行部121は、CMS111が色変換して出力するマネージド画像データMGPをレンダリングすることで、原画像データORGが印刷された印刷媒体が、仮想空間においてどのように見えるかを、画像表示部151に表示する。レンダリング実行部121の構成例を、
図3に示した。このレンダリング実行部121は、物理ベースのレンダリング処理を行なう代表的な構成を示しており、他の構成を採用することも可能である。本実施形態のレンダリング実行部121は、頂点パイプラインVPLとピクセルパイプラインPPLとを含むパイプライン構成を採用しており、物理ベースレンダリングを高速に実行する。頂点パイプラインVPLは、頂点シェーダーVSと、ジオメトリシェーダーGSとを含む。なお、ジオメトリシェーダーGSを用いない構成も可能である。
【0021】
頂点シェーダーVSは、3Dオブジェクトである印刷媒体の頂点の印刷媒体上の座標を、レンダリングする3次元空間の座標に変換する。座標変換は、網羅的には、レンダリング対象とのモデル(ここでは印刷媒体)の座標→ワールド座標→ビュー(カメラ)座標→クリップ座標といった座標変換を含むが、ビュー座標への変換などは、ジオメトリシェーダーGSで行なわれる。頂点シェーダーVSは、この他、陰影処理、テクスチャー座標(UV)の算出、などを行う。これらの処理に際して、頂点シェーダーVSやジオメトリシェーダーGSは、第1記憶部131に記憶された3Dオブジェクト情報TOIや、カメラ情報CMR、照明情報LGT、更には背景情報BGDなどを参照する。
【0022】
3Dオブジェクト情報TOIは、3Dオブジェクトとしての印刷媒体の形状等に関する情報である。現実の印刷媒体は、フラットな面ではないので、基本的には、微小なポリゴンの集合として扱うが、印刷媒体の表面を微小なポリゴンで表現すると、ポリゴンの数が膨大なものとなる。このため、法線マップやハイトマップといったテクスチャーにより、印刷媒体の表面を扱うことも現実的である。法線マップやハイトマップといったテクスチャーは、後述する質感パラメーターとして与えられる。カメラ情報CMRは、印刷媒体に対してどの位置や方向にカメラが設置されているかという仮想的な情報である。照明情報LGTは、印刷媒体が置かれた仮想空間における光源の位置や角度、強さ、色温度などの仮想的な情報の少なくとも1つを含む。なお、光源は複数設定することも可能であり、この場合は、複数の光源の影響を別々に演算し、3Dオブジェクト上で重ね合わせればよい。
【0023】
背景情報BGDは、無くてもよいが、仮想空間において3Dオブジェクトとしての印刷媒体が置かれた背景に関する情報である。背景情報BGDには、仮想空間に配置された壁、床や、家具などの物体の情報を含み、これらの物体は、レンダリング実行部121で印刷媒体と同様にレンダリングの対象となる。また、照明がこれらの背景物に当たって印刷媒体を照らすので、照明の情報の一部としても扱われる。こうした各種情報を用いてレンダリングを行なうことで、立体的なプレビューが可能となる。頂点シェーダーVSで計算された頂点情報はジオメトリシェーダーGSに渡される。
【0024】
ジオメトリシェーダーGSは、オブジェクト内の頂点の集合を加工するために使用される。ジオメトリシェーダーGSにより、実行時に頂点数を増減させたり、3Dオブジェクトを構成するプリミティブの種類を変更したりすることが可能となる。頂点数の増減の一例は、カリング処理である。カリング処理では、カメラの位置や方向から、カメラに映らない頂点を処理対象から除外する。ジオメトリシェーダーGSは、ポイント、ライン、トライアングルといった既存のプリミティブから新しいプリミティブを生成するといった処理も行なう。ジオメトリシェーダーGSは、頂点シェーダーVSから、プリミティブ全体または隣接したプリミティブの情報を持つプリミティブを入力する。ジオメトリシェーダーGSは、入力したプリミティブを処理し、ラスタライズされるプリミティブを出力する。
【0025】
頂点パイプラインVPLの出力、具体的にはジオメトリシェーダーGSが処理したプリミティブは、ラスタライザーRRZによりラスタライズされ、ピクセル単位のデータにされ、ピクセルパイプラインPPLに渡される。ピクセルパイプラインPPLは、本実施形態では、ピクセルシェーダーPSとレンダーバックエンドRBEとを備える。
【0026】
ピクセルシェーダーPSは、ラスタライズされたピクセルを操作するものであり、端的に言えば、ピクセル毎の色彩を算出する。頂点シェーダーVSやジオメトリシェーダーGSから入力された情報を元に、テクスチャーを合成する処理や表面色を適用する処理を行なう。ピクセルシェーダーPSは、画像データORGを各種プロファイルに基づいてCMS111で変換したマネージド画像データMGPを、3Dオブジェクトとしての印刷媒体上にマッピングする。このとき、ピクセルシェーダーPSに備えられたライティング処理機能が、物体の光の反射モデルと、上述した照明情報LGTと、第2記憶部132に記憶された第2データSDの1つである質感パラメーターTXTと、に基づいて、ライティング処理を行ない、マネージド画像データMGPのマッピングを行なう。ライティング処理に用いる反射モデルは、現実世界での照光現象をシミュレートするための数学的モデルの演算式の1つである。本実施形態で用いた反射モデルについては、後で詳しく説明する。
【0027】
ピクセルを操作する処理は、出力解像度が高い場合など、ラスタライズ後のピクセル数が多くなると、高負荷になり、処理に時間を要する。このため、頂点単位の処理と比較すると、処理に時間を要し、パイプライン処理の効率が不十分なものになる場合がある。本実施形態では、ピクセルシェーダーPSの処理プログラムを、高い並列処理性能を持つGPUでの実行に最適化することで、質感の表現を含む高度なエフェクトを短時間で実現している。
【0028】
ピクセルシェーダーPSの処理により得られたピクセル情報は、更に、レンダーバックエンドRBEにより、表示用のフレームメモリーFMに描き込みむか否かの判断がなされる。レンダーバックエンドRBEが、ピクセルのデータをフレームメモリーFMに描き込んで差し支えないと判断されて始めて、ピクセルのデータは、描画されるものとして保存される。描き込みの判断に使用するテストとしては、公知の「アルファテスト」「深度テスト」「ステンシルテスト」などがある。レンダーバックエンドRBEはこうしたテストのうち、設定されたテストを実行し、ピクセルのデータをフレームメモリーFMに書き込む。
【0029】
以上の処理によりレンダリングのパイプライン処理は終了し、次にポスト処理部PSTによりフレームメモリーFMに保存されたデータに対して、見た目の改善を図る処理が行なわれる。こうした処理としては、例えば画像の不要なエッジを除去して滑らかにするアンチエイリアス処理などがある。他にも、アンビエントオクルージョン、スクリーンスペースリフレクション、被写界深度などの処理があり、必要なポスト処理を行なうように、ポスト処理部PSTを構成すればよい。
【0030】
レンダリング実行部121が以上の処理を行なうことにより、レンダリングが終了し、その結果は、レンダー結果RRDとして出力される。実際には、フレームメモリーFMに書き込まれたデータを、画像表示部151の表示サイクルに合わせて読み出すことで、レンダー結果RRDとして、表示される。レンダー結果RRDの一例を、
図4に例示した。この例では、画像表示部151には、仮想空間に置かれた3Dオブジェクトとしての印刷媒体PLbと、光源LGと、背景の1つとして存在する家具等の背景オブジェクトBobとが表示されている。
【0031】
仮想空間に置かれた印刷媒体PLbと光源LGや視点(カメラ)VPとの関係を、
図5に例示した。光源LGや視点VPと印刷媒体PLbとの関係は仮想空間VSP内において3次元だが、図は仮想空間VSPをx-z平面で示す。xは、以下に説明する各ベクトルの集まった点の座標である。レンダリングの対象である印刷媒体PLbの所定の座標xに対して、これを照明する光源LGや視点VPの位置関係を例示する。図には、座標xから光源LGに向かう光源方向ベクトルωlと座標xから視点VPに向かう視点方向ベクトルωvと両者のハーフベクトルHVが示されている。また、符号Npは、印刷媒体PLbが完全な平面PLpであると仮定した場合の法線ベクトルを、符号Nbは、完全な平面ではない実際の印刷媒体PLbの座標xでの法線ベクトルを、それぞれ示している。なお、
図4では、視点VP(カメラ)は、印刷媒体PLbのほぼ正面に存在するものとして、印刷媒体PLbのレンダリング結果が例示されている。
【0032】
本実施形態の画像処理装置100では、仮想空間における印刷媒体の位置や角度を自由に変更して、印刷媒体上の画像共々、その見え方を確認できる。これは
図6に示したように、画像表示部151に表示された画像に対して、ポインティングデバイスを操作し(ステップS210)、ポインティングデバイスによる指示に変化があれば(ステップS220:「YES」)、レンダリング実行部121によるレンダリング処理を改めて行ない(ステップS230)、その処理結果を画像表示部151に表示する(ステップS240)という一連の処理を、画像処理装置100が繰り返しているからである。ここでポインティングデバイスは、3Dマウスやトラッキングボールなどでもよいし、画像表示部151に設けられたマルチタッチパネルを指やタッチペンで操作するタイプのものであってもよい。例えば、画像表示部151の表面にマルチタッチパネルを設けた場合には、印刷媒体PLbや光源LGを指等で直接移動するようにしてもよいし、二本指を使って、印刷媒体PLbを回転したり、光源LGと印刷媒体PLbとの距離を3次元的に変更したりするようにしてもよい。
【0033】
こうした仮想空間内の印刷媒体PLbや光源LGの位置や角度などを変更すると、レンダリング実行部121がその都度レンダリング処理を行ない、そのレンダー結果RRDを画像表示部151に表示する。こうした表示の一例を、
図7に示した。図示するように、仮想空間内の印刷媒体PLbや光源LGの位置や角度などを変更すると、画像が印刷された印刷媒体はその都度、物理ベースレンダリングされて、画像が印刷された実際の印刷媒体が、実空間の中で見える状態に近い態様で示される。
【0034】
特に本実施形態では、印刷媒体上に印刷される画像の色彩をカラーマネージメントシステム(CMS)により実際に印刷される画像の色彩に変換していることに加えて、レンダリングの際のライティング処理において、
[1]画像が印刷される印刷媒体を3Dオブジェクトして扱っていること、
[2]質感パラメーターTXTを用いて、印刷媒体の表面の質感を考慮していること、
から、画像表示部151に表示された印刷媒体の再現性は極めて高い。以下、この[1][2]の処理について説明する。
【0035】
[1]について
仮想空間において3Dオブジェクトがどのように見えるかは、オブジェクト各部における反射光の双方向反射率分布関数(BRDF:Bidirectional Reflectance Distribution Function)と輝度とを用いて表わすことができる。双方向反射率分布関数BRDFとは、ある特定の角度から光を入射した時の反射光の角度分布特性を示す。輝度は、オブジェクトの明るさである。両者を併せて照明モデルとも言う。本実施形態で採用した反射モデルの一例を以下に示す。BRDFは、関数f(x,ωl,ωv)として、また、輝度は関数L(x,ωv)として、以下の式(1)(2)として表わすことができる。
f(x,ωl,ωv)=kD/π+kS*(F*D*V) …(1)
L(x,ωv)=f(x,ωl,ωv)*E⊥(x)*n・ωl …(2)
x:面内の座標, ωv:視点方向ベクトル,ωl:光源方向ベクトル
kD:拡散反射能(Diffuse Albedo), kS:鏡面反射能(Specular Albedo)
F:フレネル項, D:法線分布関数, V:幾何減衰項
E⊥(x):座標xに垂直に入射する照度, n:法線ベクトル
【0036】
BRDFの第1項、kD/πは拡散反射成分であり、ランバートモデルである。第2項は、鏡面反射成分であり、Cook-Torranceモデルである。式(1)において、kd/πのことを拡散反射項、kS*(F*D*V)のことを鏡面反射項と呼ぶことがある。フレネル項F,法線分布関数D,幾何減衰項Vについては、モデルや算出方法は公知のものなので、説明は省略する。BRDFとしては、3Dオブジェクト表面の反射特性やレンダリングの目的に応じた関数を用いればよい。例えば、ディスニー原則BRDF(Disney Principled BRDF)などを用いてもよい。なお、本実施形態では、光の反射を表す関数としてBRDFが用いているが、光の反射を表す関数として双方向散乱面反射率分布関数(BSSRDF:Bidirectional Scattering Surface Reflectance Distribution Function)を用いてもよい。
【0037】
上記式(1)(2)から分かるように、上記反射モデルの計算には法線ベクトルn、光源方向ベクトルωl、視点方向ベクトルωvが必要になる。印刷媒体は、レンダリング処理の対象としては、複数の微小なポリゴンによって構成された3Dオブジェクトとして扱うが、印刷媒体表面の微小な凹凸を反映する法線ベクトルnは、ポリゴンの法線Npと後述する法線マップとから算出する。従って、頂点パイプラインVPLでは、ポリゴンの法線Npと、法線マップの参照位置を決めるUV座標とを算出し、光源方向ベクトルωlおよび視点方向ベクトルωv共々、ピクセルパイプラインPPLに入力する。ピクセルパイプラインPPLでは、ピクセルシェーダーPSが、質感パラメーターの1つとして与えられる法線マップをUV座標を用いて参照し、参照した法線マップの値とポリゴンの法線Npとから、法線ベクトルnを演算する。
【0038】
本実施形態では、上述したように、画像が印刷される印刷媒体を3Dオブジェクトとして扱い、上記式(1)(2)により物理ベースレンダリングを行なう。なお、光源方向ベクトルωl、視点方向ベクトルωvは、
図7に示したように、利用者がポインティングデバイスを用いて、仮想空間内の印刷媒体PLbや光源LGの位置や角度などを変更すると、その都度、演算される。
【0039】
[2]について:
本実施形態では、質感パラメーターTXTを用いて、印刷媒体の表面の質感を考慮している。質感パラメーターTXTとしては、以下のものがあり得るが、全てを考慮する必要はなく、以下に挙げるパラメーターのうち、少なくとも1つ、例えば滑らかさを考慮すればよい。
・滑らかさS(smoothness)または粗さR(roughness):
3Dオブジェクトの表面の滑らかさを示すパラメーターである。滑らかさSは、一般的には値0.0~1.0の範囲で指定する。滑らかさSは、上述した式(1)BRDFの法線分布関数D、幾何減衰項Vに影響を与える。この値が大きいと、鏡面反射が強くなり、光沢感を呈する。滑らかさSの代わりに粗さRを用いてもよい。両者は、S=1.0-R、として変換可能である。なお、滑らかさは平滑度と、粗さは粗度と、呼ぶことがある。
【0040】
・金属性M(metallic):
3Dオブジェクトの表面が金属的である程度を示す。表面の金属性が高い場合に金属性Mの値は大きくなる。金属性Mが大きいと、物体表面は、周囲からの光を反射しやすく、周囲の景色を写した反射となって、オブジェクト自体の色が隠されやすくなる。金属性Mは、フレネル項Fに影響を与える。
フレネル項Fは、Schlick近似を用いれば、次式(3)として表わすことができる。
F(ωl,h)=F0+(1-F0)(1-ωl・h)5 …(3)
ここで、hは視点方向ベクトルωvと光源方向ベクトルωlとのハーフベクトル、F0 は垂直入射時の鏡面反射率である。鏡面反射率F0 は、鏡面反射光の色(specularColor)として直接指定するか、金属性Mを用いて、線形補間(ここでは、lerp関数と表示する)の式(4)により与えればよい。
F0 =lerp(0.04,tC,M) …(4)
ここで、tCは、3Dオブジェクトのテクスチャーの色(albedoColor)である。なお、式(4)における値0.04は、非金属における一般的な値を示すRGBそれぞれの値を代表的に示したものである。テクスチャーの色tCも同様である。
【0041】
・法線マップ(Normal Map):
法線マップには、印刷媒体の表面の微小な凹凸面の法線ベクトルが表されている。3Dオブジェクトに法線マップを対応付ける(貼り付ける)ことにより、印刷媒体の表面の微小な凹凸面の法線ベクトルを3Dオブジェクトに付与することができる。法線マップは、BRDFのフレネル項F、法線分布関数D、幾何減衰項Vに影響を与え得る。
【0042】
・その他の質感パラメーター:
質感パラメーターとして機能し得るパラメーターには、この他、鏡面反射色(specularColor)や、印刷媒体表面のクリアコート層の有無や、その厚さ、あるいは透明度などを示すクリアコート層パラメーター、などがある。
【0043】
以上説明したように、
[1]画像が印刷される印刷媒体を3Dオブジェクトして扱い、
[2]質感パラメーターTXTを用いて、印刷媒体の表面の質感を考慮する、
ことにより、本実施形態の画像処理装置100では、画像が印刷された印刷媒体の見え方を、画像表示部151に高い自由度かつ高い再現性で表示できる。
図4に例示したように、印刷媒体に正対する方向から見たときには、印刷媒体表面の質感、印刷媒体の表面の細かな凹凸から生じるざらざら感が現れ、
図7に例示したように、印刷媒体を回転させて、印刷媒体を斜め方向から見たときには、印刷媒体の表面に光源LGによる照明が映り込み、その結果生じるハイライト部HLTが現れる。なお、照明光は、スポットライトのように、印刷媒体に直接向けられた照明によるものに限る必要はなく、太陽光や間接照明・間接光といったものも含まれる。
【0044】
B.第2実施形態:
第2実施形態は、印刷システム300としての形態である。この印刷システム300は、上述した画像処理装置100と、画像準備装置310と、印刷装置320とを備える。画像準備装置310は、本実施形態では、利用者が使用するコンピューターであり、第1の色空間で表現された画像のデータである画像データORGを用意する装置である。この画像準備装置310は、画像を作成する機能を有してもよいし、単に画像データを記憶しておき、必要に応じて、画像処理装置100に提供するものであってもよい。画像準備装置310は、画像処理装置100が画像データORGを取得できるように、サイト200と同様、ネットワークNWを介して接続されているが、有線または無線で画像処理装置100に直接接続されていてもよい。
【0045】
印刷装置320は、本実施形態では、画像準備装置310にネットワークNWを介して接続されており、画像準備装置310からの指示を受け、画像準備装置310が出力する画像データORGを印刷媒体PRMに印刷する。印刷システム300の利用者は、印刷装置320による印刷に先立って、画像データORGを画像処理装置100に取得させ、第1実施形態において説明した様に、印刷媒体PRMを3Dオブジェクトとして扱い、かつ質感パラメーターを含む第2データSDを用いたライティング処理を行なって、印刷媒体PRMを、その上に印刷された画像データを含めてレンダリングする。
【0046】
利用者は、このレンダリング結果を画像表示部151上で確認し、必要があれば、視点や光源の位置、あるいは光源の強さやホワイトバランスなどを変更して、印刷媒体PRMの見え方を確認し、その後、画像データORGをネットワークNWを介して、画像準備装置310から印刷装置320に出力して、印刷媒体PRMに画像データORGを印刷する。利用者は、印刷に先立って、印刷媒体PRMにおける画像の見え方を、画像処理装置100による物理ベースのレンダリングにより確認できる。この結果、印刷媒体PRMの表面の滑らかさ(粗さ)などを含めた印刷媒体PRMの種類による質感の違いを確認してから印刷できる。画像表示部151に表示されたレンダリング結果を見て、所望の印刷結果が得られるように、画像データORGの色彩を変更したり、用いる印刷媒体PRMの種類を変えたり、印刷に利用する印刷装置320を変更したり、あるいはそのインクセットを変更したりすることも可能である。
【0047】
こうした印刷装置320と共に画像処理装置100を用いる場合には、印刷装置320に、印刷媒体に印刷される画像の印刷媒体上の見え方に影響する印刷条件を設定する印刷条件設定部315を、印刷の指示を行なうコンピューター、例えば本実施形態では、画像準備装置310に備えてもよい。こうすれば、印刷条件、例えば所定の印刷媒体が収容された用紙トレイの選択、利用するインクセットの選択、使用する印刷装置種類の選択、などの印刷条件から色変換に必要なブロファイルを設定したり、印刷条件に基づいて参照する第1,第2データを定めるようにでき、各種の設定を容易に実現できる。印刷条件設定部315は、これらの条件の他、仮想空間における画像が印刷された印刷媒体の観察状態、仮想空間における印刷媒体に対する照明の情報である照明情報、仮想空間における3Dオブジェクトを特定するオブジェクト特定情報、仮想空間における背景を特定する背景情報などを設定するものとしてもよい。
【0048】
印刷装置320が印刷する印刷媒体は、用紙以外のものであってもよい。例えば生地に印刷する捺染プリンターや缶や瓶などの固形物に印刷する印刷装置であってもよい。また、対象物に直接印刷する構成の他、転写紙のような転写用媒体に印刷を行ない、転写用媒体上に形成されたインクを印刷媒体である生地や固形物に転写する印刷装置の構成も採用可能である。こうした転写型の印刷装置としては、昇華型の印刷装置がある。こうした転写型の構成では、印刷媒体は、転写された最終印刷物である。こうした場合には、印刷媒体である生地や金属、ガラスやプラスチックなどの表面の構造や質感に関与する質感パラメーター等を、印刷媒体の性質に合わせて用意し、画像処理装置100で物理ベースレンダリングを行なえばよい。転写型の印刷装置においても、質感パラメーターは、転写用媒体ではなく、最終印刷物の質感を表わすものを用いる。こうした生地や缶に印刷した場合の画像表示部151での表示例を、
図9に示した。図では理解の便を図って、Tシャツに印刷したオブジェクトOBJtと、缶に印刷したオブジェクトOBJcとを併せて示したが、通常は1つの印刷媒体ずつ表示される。もとよりレンダリング実行部を複数用意し、物理ベースレンダリングの結果を、複数同時に表示するようにしてもよい。
【0049】
C.他の実施形態:
(1)本開示は以下の形態でも実施可能である。他の実施形態の1つは、画像が印刷された印刷媒体のレンダリング画像を生成する画像処理装置としての形態である。この画像処理装置は、前記画像が第1の色空間で表現された画像データを取得する画像データ取得部と、予め用意した色変換プロファイルを用いて、前記画像データを、レンダリングの際に用いられる第2の色空間での表現に変換し、変換済み画像データを生成する色変換部と、前記画像を印刷する印刷媒体を3Dオブジェクトとして物理ベースレンダリングするために必要なパラメーターを取得するパラメーター取得部と、前記変換済み画像データと前記パラメーターとを用いて、前記画像が印刷された印刷済み印刷媒体の前記物理ベースレンダリングを行ない、前記印刷済み印刷媒体の仮想空間における見え方に対応するレンダリング画像を生成するレンダリング実行部と、を備える。
【0050】
こうすれば、画像データに基づいて印刷された印刷媒体がどのように見えるかを精度よく再現できる。例えば、印刷媒体を見る場合の光源の位置や角度、視線に対する印刷媒体表面の角度、印刷媒体それ自体が持っている光沢などの表面の質感など、様々な要素によって、印刷媒体がどのように見えるかを自在に演算できる。印刷媒体上に印刷される画像の様子を、物理ベースレンダリングするので、条件が増えると組み合わせが膨大になり、柔軟性に欠けるといった問題は生じない。また、印刷媒体の質感も含めた再現も行なうことが可能となる。つまり、こうした画像処理装置では、印刷媒体を、仮想空間内の3Dオブジェクトとして扱い、これに印刷データが印刷された物として演算するので、様々な視点や種々の角度から、印刷媒体における画像の見え方を求めることができる。これにより色味や画像データの配置の修正も可能となる。印刷照明の影響等を考慮してレンダリング画像を見せることにより、印刷しようとする画像と印刷媒体とを組み合わせた際の印象に齟齬が生じることが抑制され、元の画像や印刷条件を調整してトライ&エラーを繰り返すといったことが減り、印刷を試行する費用と時間を削減することも可能となる。
【0051】
こうした画像処理装置は、上記の画像処理だけを行なう装置として構成してもよいし、印刷しようとする画像を保存する機能を含む装置として構成してもよい。あるいは、印刷しようとする画像を作成する機能を含む装置や、画像を印刷する装置として構成してもよい。画像処理装置は、GPUを備えたコンピューターにより実現してもよいし、必要な機能を複数のサイトに置き、連携可能とした分散システムとして構成してもよい。分散型のシステムとして構成した場合、端末の処理負荷が軽減されるので、タブレットなどの携帯端末でも上記の画像処理を実行しやすくなり、利用者の利便性がさらに向上する。
【0052】
こうしたレンダリング実行部は、既存の各種構成が採用可能である。一般にレンダリングは、3次元のワールド座標を視点から見た座標系に変換する視点変換、3Dオブジェクトからレンダリングに不要な頂点を除くカリング、不可視の座標を除くクリッピング、ラスタライズ、といった複数の要素に分けて実施されてもよい。これらの処理は、専用のGPUでの処理に適した構成とし、3Dオブジェクトの頂点に関する処理を行なう頂点パイプラインやラスタライズされた各ピクセルについての処理を行なうピクセルパイプラインを備えたパイプライン構成により実現してもよい。
【0053】
(2)こうした構成において、前記パラメーターは、前記印刷媒体の仮想空間における光源下の形態に関与する第1データと、前記印刷媒体の表面における画像形成に関与する第2データとを含み、前記レンダリング実行部は、前記第1データを用いて、前記3Dオブジェクトとしての前記印刷媒体の前記仮想空間における光源下の形態を演算し、前記形態の前記印刷媒体の表面に、前記第2データを用いて、前記変換済み画像データに対応した前記画像をマッピングすることで、前記印刷済み印刷媒体の前記物理ベースレンダリングを行なうものとしてよい。こうすれば、パラメーターを第1データと第2データとに分けて扱うことができる。
【0054】
(3)上記の(1)(2)の構成において、前記第2データは、使用頻度が予め定めた使用頻度以上であるとして分類された第1種の印刷媒体については、前記画像処理装置内に備えられた記憶部に予め記憶されており、前記第1種の印刷媒体より使用頻度が低い第2種の印刷媒体については、使用の際に、前記画像処理装置の外部から取得されるものとしてよい。こうすれば、第2データのうち、使用頻度の高いものを、画像処理装置の内部の記憶部に記憶しているので、使用頻度の高い第2データについては、いちいち外部から取得する手間がない。また使用頻度の低いものは、使用の際に外部から取得するので、内部の記憶部の容量を過剰な大きさにする必要がない。なお、第2データの大分部または全てを予め記憶部に記憶しておくようにしてもよいし、大部分または全てをその都度外部から取得するようにしてもよい。外部から取得する態様には、利用者が端末を利用してパラメーターを入力する態様や、2次元バーコードなどの形で第2データを符号化しておき、これをカメラなどを用いて読み込ませるといった態様も含まれる。なお、第1データについても同様に扱ってよい。
【0055】
(4)上記の(1)~(3)の構成において、前記レンダリング実行部は、前記仮想空間内において、前記印刷媒体の表面に存在する頂点の頂点情報の処理を行なう頂点シェーダーと、前記頂点シェーダーが処理した前記印刷媒体の頂点情報を、前記印刷媒体を表現する際のピクセル単位の情報に変換するラスタライザーと、先記ピクセル単位で、前記頂点情報を用いて、前記仮想空間内における少なくともライティング処理を行なうピクセルシェーダーと、を備えたものとしてよい。こうすれば、GPUなどの処理に最適化させることが容易である。
【0056】
(5)上記の(1)~(4)の構成において、前記第1データは、前記印刷媒体の表面の法線データと、前記光源下で前記印刷媒体を照明する照明情報と、前記光源下の前記印刷媒体を撮像するカメラ情報と、を含み、前記頂点シェーダーは、前記法線データ,前記照明情報,前記カメラ情報を用いて、少なくとも、座標変換、陰影処理、テクスチャー座標の算出を行なうものとしてよい。こうすれば、処理の構成を見通しの良いものにできる。なお、頂点シェーダーはこれら以外の処理も併せて行なってもよく、いずれかの処理を他の処理部に委ねても良い。
【0057】
(6)上記の(1)~(5)の構成において、前記第2データは、前記印刷媒体の前記表面の質感を表わす質感パラメーターを含み、前記ピクセルシェーダーは、前記変換済み画像データと、前記頂点情報と、前記質感パラメーターとを用い、予め定めた反射モデルに従って前記ライティング処理を行なうものとしてよい。こうすれば、印刷媒体の表面の質感を考慮したレンダリングを実行でき、画像が印刷された印刷媒体の見え方を精度良く演算できる。こうした質感を表わす質感パラメーターとしては、印刷媒体の表面の滑らかさ、あるいは粗さの他、金属性(metallic)、法線マップ(Normal Map)、鏡面反射色(specularColor)、クリアコート層パラメーターなどがある。これらの全てを質感パラメーターとして必ずしも用いる必要は無く、所望のパラメーターを選択して用いればよい。
【0058】
(7)上記の(1)~(6)の構成において、前記レンダリング画像を表示する表示部を備えるものとしてよい。こうすれば、利用者はレンダリング結果を表示部を用いて直ぐに確認できる。またタブレットなどを表示部として用いれば、画像処理装置や印刷を行なう印刷装置から離れて作業できる。
【0059】
(8)上記の(1)~(7)の構成において、前記色変換プロファイルは、前記第1の色空間からデバイス非依存色空間への変換プロファイルである入力プロファイル、共通色空間、例えばsRGBなどへの変換プロファイルである共通色空間プロファイル、前記印刷媒体のメディアプロファイル、の少なくとも1つを含むものとしてよい。こうすれば、所望のプロファイルを用いることで、変換を容易にできる。印刷媒体のメディアプロファイルを用いる場合、デバイス非依存の色空間からデバイス依存の色空間への変換と、その逆にデバイス依存の色空間からデバイス非依存の色空間への変換と、を行なうように適用してもよい。こうすれば、デバイス依存の色空間を反映させて、レンダリングの際に用いられる第2の色空間での表現に変換できる。仮に、デバイス依存の色空間がデバイス非依存の色空間より狭ければ、実際の印刷の際に生じる色彩値の制限を含めてレンダリング処理でき、一層実際の見え方に近づけることができる。もとより、デバイス依存の色空間の方が広くても差し支えない。
【0060】
(9)上記の(1)~(8)の構成において、前記画像の印刷を行なう印刷装置において、前記印刷媒体に印刷される画像の前記印刷媒体上の見え方に影響する印刷条件を設定する印刷条件設定部を備えるものとしてよい。こうすれば、印刷条件、例えば所定の印刷媒体が収容された用紙トレイの選択、利用するインクセットの選択、使用する印刷装置種類の選択、などの印刷条件から色変換に必要なブロファイルを設定したり、印刷条件に基づいて参照する第1,第2データを定めるようにでき、各種の設定を容易に実現できる。
【0061】
(10)上記の(1)~(9)の構成において、前記パラメーター取得部は、前記パラメーターの1つとして、前記仮想空間における前記画像が印刷された前記印刷媒体の観察状態、前記仮想空間における前記印刷媒体に対する照明の情報である照明情報、前記仮想空間における前記3Dオブジェクトを特定するオブジェクト特定情報、前記仮想空間における背景を特定する背景情報、画像の印刷を行なう印刷装置において、印刷媒体に印刷される画像の印刷媒体上の見え方に影響する印刷条件を設定する印刷条件設定部を備えるものとしてよい。こうすれば、多様な印刷条件に応じて印刷媒体の見え方を求めることができる。
【0062】
(11)上記の(1)~(10)の構成において、前記パラメーター取得部が、前記パラメーターの1つとして、前記仮想空間における背景を特定する背景情報であって、照明の情報を含む前記背景情報を取得し、前記ライティング処理は、前記背景情報を含まれる照明の情報を用いた前記印刷媒体のライティング処理を含むものとしてよい。こうすれば背景も含めて物理ベースレンダリングを行なうことができ、印刷媒体の見え方を一層緻密に演算できる。
【0063】
(12)上記の(1)~(11)の構成において、前記背景情報の前記照明の情報には、前記仮想空間全体の光の情報である大域照明の情報が含まれるものとしてよい。こうすれば、大域照明の影響も含めて物理ベースレンダリングを行なうことができ、印刷媒体の見え方を一層緻密に演算できる。
【0064】
(13)本開示の他の実施形態としては、印刷システムとしての構成が可能である。この印刷システムは、第1の色空間で表現された画像のデータである画像データを用意する画像データ準備装置と、前記画像データ準備装置が準備した画像データを取得して画像処理を行なう上記(1)から(12)の画像処理装置と、前記画像処理装置が生成した前記レンダリング画像を表示する表示部と、前記画像データを印刷する印刷装置と、を備える。こうすれば、印刷装置で印刷を行なう際に印刷に先だって、画像が印刷された印刷媒体の見え方が表示部に表示されるので、これを確認してから印刷できる。したがって、印刷しようとする画像と印刷媒体の印象に齟齬が生じることが抑制され、元の画像や印刷条件を調整してトライ&エラーを繰り返すといったことが減り、印刷を試行する費用と時間を削減することも可能なる。
【0065】
(14)本開示の他の構成は、画像処理プログラムとしての構成である。この画像処理プログラムは、画像が印刷された印刷媒体のレンダリング画像を生成する画像処理プログラムであって、予め用意した色変換プロファイルを用いて、第1の色空間で表現された画像のデータである画像データを、レンダリングの際に用いられる第2の色空間での表現に変換し、変換済み画像データを生成する第1の機能と、前記変換済み画像データと、前記印刷媒体を3Dオブジェクトとして物理ベースレンダリングするために必要なパラメーターとを用いて、前記画像が印刷された印刷済み印刷媒体の前記物理ベースレンダリングを行なうことで、前記印刷済み印刷媒体の仮想空間における見え方に対応するレンダリング画像を生成する第2機能とを備える。こうすれば、コンピューターを備える装置において、(1)として説明した画像処理装置を容易に構成できる。
【0066】
(15)上記各実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよい。あるいは、ソフトウェアによって実現されていた構成の少なくとも一部は、ハードウェアによる構成として、例えばディスクリートな回路構成により実現してもよい。また、本開示の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータープログラム)は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやCD-ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。すなわち、「コンピューター読み取り可能な記録媒体」とは、データパケットを一時的ではなく固定可能な任意の記録媒体を含む広い意味を有している。
【0067】
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【0068】
100…画像処理装置、111…カラーマネージメントシステム、121…レンダリング実行部、131…第1記憶部、132…第2記憶部、135…メモリー、141…通信部、151…画像表示部、200…サイト、300…印刷システム、310…画像準備装置、315…印刷条件設定部、320…印刷装置