(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024082442
(43)【公開日】2024-06-20
(54)【発明の名称】画像処理装置、印刷システムおよび画像処理プログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20240613BHJP
B41J 21/00 20060101ALI20240613BHJP
【FI】
G06T1/00 500A
B41J21/00 Z
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022196293
(22)【出願日】2022-12-08
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】110000028
【氏名又は名称】弁理士法人明成国際特許事務所
(72)【発明者】
【氏名】大野 拓也
(72)【発明者】
【氏名】鎌田 崇廣
(72)【発明者】
【氏名】山下 充裕
(72)【発明者】
【氏名】山本 祐子
【テーマコード(参考)】
2C187
5B057
【Fターム(参考)】
2C187AC08
2C187AD14
2C187AE01
2C187CD12
2C187CD17
2C187GA03
5B057AA11
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE20
5B057DA16
5B057DA17
5B057DB02
5B057DB09
5B057DC30
(57)【要約】 (修正有)
【課題】印刷媒体に印刷された画像が印刷媒体上でどのように見えるかを精度良く求めて表示する画像処理装置、システム及びプログラムを提供する。
【解決手段】画像処理装置は、印刷媒体上に形成される印刷画像の各画素の画素値を含む印刷画像データを入力し、この印刷画像データにより、印刷媒体上に形成される印刷画像に用いられる印刷記録材の量である印刷記録材量を求める。求めた印刷記録材量に従って、印刷記録材の存在による印刷媒体表面の質感を表わす第1質感パラメーターを設定し、印刷媒体それ自体の質感を表わす第2質感パラメーターを設定する。こうした印刷画像データと、第1質感パラメーターと、第2質感パラメーターとを用いたレンダリング処理により、印刷画像が形成された印刷媒体のレンダリング画像を生成する。
【選択図】
図2A
【特許請求の範囲】
【請求項1】
印刷媒体上に形成される印刷画像の画素値を含む印刷画像データを入力する画像入力部と、
前記印刷画像データにより、前記印刷媒体上に形成される前記印刷画像に用いられる印刷記録材の量である印刷記録材量を求める印刷記録材量決定部と、
前記印刷記録材量に従って、前記印刷記録材の存在による前記印刷媒体表面の質感を表わす第1質感パラメーターを設定する第1質感設定部と、
前記印刷媒体それ自体の質感を表わす第2質感パラメーターを設定する第2質感設定部と、
前記印刷画像データと、前記第1質感パラメーターと、前記第2質感パラメーターとを用いたレンダリング処理により、前記印刷画像が形成された前記印刷媒体のレンダリング画像を生成するレンダリング実行部と、
を備えた画像処理装置。
【請求項2】
前記印刷記録材量決定部は、前記印刷媒体に画像を形成する際に用いる印刷記録材の量に影響を与える印刷条件を考慮して、前記印刷記録材量を求める、
請求項1に記載の画像処理装置。
【請求項3】
前記第1質感設定部は、前記印刷記録材量に従う前記第1質感パラメーターを、前記印刷条件に応じて設定する、
請求項2に記載の画像処理装置。
【請求項4】
前記第1質感設定部は、
前記印刷条件に従って、第1質感パラメーターを決定するための基準値を取得し、
前記基準値を、前記印刷記録材量により補正することで、前記第1質感パラメーターを設定する、
請求項2に記載の画像処理装置。
【請求項5】
前記印刷条件は、前記印刷画像の形成を行なう印刷装置の機種、前記印刷媒体の種類、前記印刷画像を形成する際の解像度、前記印刷画像を形成する際の印刷品質のうちの少なくとも一つを含む、請求項2に記載の画像処理装置。
【請求項6】
前記第1質感設定部は、前記印刷記録材量と前記第1質感パラメーターとを対応付けた質感設定テーブルを用いて前記第1質感パラメーターを設定する、請求項1に記載の画像処理装置。
【請求項7】
前記印刷記録材は、前記第1質感パラメーターに対する影響が予め定めた閾値より大きな第1印刷記録材と、前記閾値未満の第2印刷記録材とを含み、
前記質感設定テーブルは、前記第1印刷記録材と対応付けられている、
請求項6に記載の画像処理装置。
【請求項8】
前記第1質感設定部は、前記印刷記録材量から第1質感パラメーターを求める関数を用いて前記第1質感パラメーターを設定する、請求項1に記載の画像処理装置。
【請求項9】
前記第2質感設定部は、前記第2質感パラメーターを前記印刷記録材とは異なる材であって、前記印刷媒体に付与される材を考量して前記第2質感パラメーターを補正する、
請求項1に記載の画像処理装置。
【請求項10】
前記第1質感設定部は、前記第1質感パラメーターを、前記印刷画像を構成する画素毎に、前記画素の前記画素値に従って設定する、請求項1に記載の画像処理装置。
【請求項11】
前記印刷記録材は、前記印刷画像を表現するインク、透明インク、前記印刷媒体の表面をコートするコート材、漂白増感剤のうちの少なくとも一つを含む、請求項1記載の画像処理装置。
【請求項12】
請求項1から請求項11のいずれか一項に記載の画像処理装置と、
前記画像処理装置が生成した前記レンダリング画像を表示する表示部と、
前記印刷画像データを前記印刷媒体に印刷する印刷装置と、
を備えた印刷システム。
【請求項13】
画像が印刷された印刷媒体のレンダリング画像を生成する画像処理プログラムであって、
前記印刷媒体上に形成される印刷画像の各画素の画素値を含む印刷画像データを入力する第1機能と、
前記印刷画像データにより、前記印刷媒体上に形成される前記印刷画像に用いられる印刷記録材の量である印刷記録材量を求める第2機能と、
前記印刷記録材量に従って、前記印刷記録材の存在による前記印刷媒体表面の質感を表わす第1質感パラメーターを設定する第3機能と、
前記印刷媒体それ自体の質感を表わす第2質感パラメーターを設定する第4機能と、
前記印刷画像データと、前記第1質感パラメーターと、前記第2質感パラメーターとを用いたレンダリング処理により、前記印刷画像が形成された前記印刷媒体のレンダリング画像を生成する第5機能と、
をコンピューターにより実現する画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像が印刷される印刷媒体がどのように見えるかを表示し得る画像処理技術に関する。
【背景技術】
【0002】
従来から対象物に対するライティングの相違により、画像の見え方が変わるという点を表現する画像処理の技術が知られている。例えば、下記特許文献1には、画像に対して仮想的なライティング効果を与える際に、照明される部分領域の属性(顔、口、歯、など)に応じて、画像の光沢感を補正する、という技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1は、画像中の部分領域の見え方、特に光沢感を補正しているに過ぎず、こうした画像が印刷された印刷媒体の見え方については何ら検討されていない。
【課題を解決するための手段】
【0005】
本開示は、以下の態様で実現することが可能である。
(1)本開示の実施の態様の1つは、画像処理装置としての態様である。この画像処理装置は、印刷媒体上に形成される印刷画像の画素値を含む印刷画像データを入力する画像入力部と、前記印刷画像データにより、前記印刷媒体上に形成される前記印刷画像に用いられる印刷記録材の量である印刷記録材量を求める印刷記録材量決定部と、前記印刷記録材量に従って、前記印刷記録材の存在による前記印刷媒体表面の質感を表わす第1質感パラメーターを設定する第1質感設定部と、前記印刷媒体それ自体の質感を表わす第2質感パラメーターを設定する第2質感設定部と、前記印刷画像データと、前記第1質感パラメーターと、前記第2質感パラメーターとを用いたレンダリング処理により、前記印刷画像が形成された前記印刷媒体のレンダリング画像を生成するレンダリング実行部とを備える。
【0006】
(2)本開示の実施の他の態様は、画像が印刷された印刷媒体のレンダリング画像を生成する画像処理プログラムとしての形態である。この画像処理プログラムは、前記印刷媒体上に形成される印刷画像の各画素の画素値を含む印刷画像データを入力する第1機能と、前記印刷画像データにより、前記印刷媒体上に形成される前記印刷画像に用いられる印刷記録材の量である印刷記録材量を求める第2機能と、前記印刷記録材量に従って、前記印刷記録材の存在による前記印刷媒体表面の質感を表わす第1質感パラメーターを設定する第3機能と、前記印刷媒体それ自体の質感を表わす第2質感パラメーターを設定する第4機能と、前記印刷画像データと、前記第1質感パラメーターと、前記第2質感パラメーターとを用いたレンダリング処理により、前記印刷画像が形成された前記印刷媒体のレンダリング画像を生成する第5機能と、をコンピューターにより実現する。
【図面の簡単な説明】
【0007】
【
図2A】画像表示処理の概要を示すフローチャート。
【
図3】第1実施形態のレンダリング実行部の論理構成を質感設定部と共に示す説明図。
【
図4A】第1質感パラメーター設定処理の概要を示すフローチャート。
【
図4B】第2質感パラメーター設定処理の概要を示すフローチャート。
【
図5】印刷媒体の画像と質感パラメーターの設定の様子を示す説明図。
【
図6】画像が印刷された印刷媒体の表示例を模式的に示す説明図。
【
図7】光源や視点と3Dオブジェクトの面の角度等の関係を示す説明図。
【
図8】画像が形成される印刷媒体の面の光源に対する角度の変化により印刷媒体の表示が変化する様子を模式的に示す説明図。
【
図9】質感としてインク量や印刷媒体の種類を考慮しない場合と考慮する場合を対比して示す説明図。
【
図10】第1実施形態の質感設定処理の変形例を示すフローチャート。
【
図11】変形例における質感として画素値を考慮しない場合とする場合を対比して示す説明図。
【
図12】第2実施形態の質感設定部の構成を示す説明図。
【
図13】インク量テーブルとインク量依存質感テーブルの一例を示す説明図。
【
図14】第2実施形態でレンダリングされた印刷媒体の表示例を示す説明図。
【
図15】第3実施形態としての印刷システムの概略構成図。
【
図16】印刷結果の見え方の他の印刷媒体の例を示す説明図。
【発明を実施するための形態】
【0008】
A.第1実施形態:
(A1)ハードウェア構成:
本実施形態の画像処理装置100の概略構成を、
図1に示す。この画像処理装置100は、所定の印刷媒体に画像が印刷された様子をプレビューするための画像処理を行なう。画像処理装置100は、画像処理を行なうだけでなく、その処理結果を、プレビュー画像として表示する。画像処理装置100は、図示するように、印刷画像データの入力を行なう画像データ入力部90、色変換を行なうカラーマネージメントシステム111、印刷媒体のレンダリングを実行するレンダリング実行部121、質感の設定を行なう質感設定部130、レンダリングされた画像を記憶する画像メモリー139、プレビュー画像を表示する画像表示部151、および記憶部171を備える。後述する各処理を行なうプログラムは、画像処理装置100の記憶部171等に保存されており、図示しないCPUまたはGPUが、記憶部171に保存されたプログラムを実行することにより、画像処理装置100の各機能が実現される。
【0009】
カラーマネージメントシステムは、以下、簡略のためにCMSと略記することがある。CMS111は、印刷しようとする画像(以下、印刷画像という)を表わす印刷画像データORGを画像データ入力部90を介して取得可能である。画像データ入力部90は画像データORGを入力する際、画像データORGを作成した画像形成装置から有線または無線通信により受け取るものとしてもよいし、印刷画像データORGをファイルの形式で保存するメモリーカードから読み込むものとしてもよい。もとよりネットワークを介して取得するものとしてもよい。あるいは、この画像処理装置100内で画像データORGを作成するものとしてもよい。
【0010】
CMS111は、印刷プレビューの対象となる印刷画像を、印刷媒体上に表現される物体色に色変換する。変換された画像データを、マネージド画像データMGPと呼ぶ。CMS処理の詳細は後述する。マネージド画像データMGPは、3Dオブジェクトである印刷媒体のテクスチャーとして設定される。CMS111には、入力プロファイルIP、メディアプロファイルMP、共通色空間プロファイルCPなどが入力される。入力プロファイルIPは、RGBデータなど、機器に依存する入力側の表色系から、機器に依存しない表色系であるL* a* b* (以下、単にLabと略記する)などへの変換を行なうために用いられる。
【0011】
メディアプロファイルMPは、プリンターなどの特定の印刷装置で、特定の印刷媒体に、特定の印刷解像度などの印刷条件で、印刷したときの色再現性を表すプロファイルであり、機器非依存の表色系と機器依存の表色系との間で、色彩値を変換するプロファイルである。メディアプロファイルMPには、印刷媒体以外の、印刷装置の印刷設定などの情報も含んでいる。このため、印刷装置(プリンター)×印刷媒体×印刷設定のすべての組み合わせを網羅しようとすると、メディアプロファイルMPの種類が多くなってしまうため、印刷条件の依存性が小さい場合や、プロファイル数を増やしたくない場合は、メディアプロファイルMPは、印刷装置(プリンター)×印刷媒体の組み合わせとして構成する。このように、印刷媒体(メディア)上の画像の色彩には、印刷装置の特性と印刷媒体自体の特性とが関与するため、メディアプロファイルMPを、以下、印刷プロファイルMPと呼ぶことがある。画像データORGの印刷を行なうプリンターとしては、本実施形態では、インクジェットプリンターを想定して説明する。インクジェットプリンターの場合には、印刷記録材、ここではインクの種類によってもメディアプロファイルが異なることがある。インクは通常、色相や濃度の異なる複数種類のインクを組み合わせて用いられるので、これをインクセットと呼ぶことがある。
【0012】
本実施形態では、こうした印刷装置×インクセット×印刷媒体といった組合わせの指定を、印刷条件PCCと呼ぶ。第1実施形態では、ユーザーによる印刷条件PCCは、CMS111と質感設定部130とに入力される。CMS111では、印刷条件PCCは、画像データの変換に用いるメディアプロファイルMPの選択に用いられる。また、質感設定部130は、印刷媒体上に表示される画像の質感を設定するが、その際、印刷条件PCCは、印刷媒体表面のインク量に依存する質感(第1質感パラメーター)と印刷媒体それ自体の質感(第2質感パラメーター)の設定とに用いられる。
図1では、これらの質感パラメーターを纏めて符号TXTとして示した。質感設定部130が設定する質感には、印刷媒体の表面の滑らかさSや金属性Mなどがある。同じ画像が印刷された場合でも、その見え方は、印刷媒体表面の滑らかさや金属性などにより、変化する。質感設定部130により設定された質感パラメーターTXTは、レンダリング実行部121に出力される。質感設定部130の構成と機能は、後述する。
【0013】
画像データORGに入力プロファイルIPを適用し、更にメディアプロファイルMPを適用すると、特定の印刷条件で印刷された場合の、つまり印刷装置や印刷媒体に依存した色彩値が得られる。この画像の色彩値に対して、メディアプロファイルMPを機器依存の表色系から機器非依存の表色系に変換するよう適用し、更に共通色空間プロファイルCPを適用すると、レンダリングする際に用いられる第2色空間(ここではsRGB色空間)での表現に変換される。メディアプロファイルMPを用いて、一度印刷装置や印刷媒体などの特性に依存した色彩値に変換しているので、画像データORGは、実際に印刷可能な色彩値の範囲に色変換される。共通色空間プロファイルCPは、画像データを、レンダリングの際に用いられる色空間の色彩値に変換するために用いられる。共通色空間としては、sRGB色空間が代表的であるが、AdobeRGB、Display-P3などを用いてもよい。
【0014】
CMS111は、以上説明したように、各プロファイルを利用して、機器に依存した表色系である第1色空間で表現された画像データORGを、レンダリングの際に用いられる第2色空間であるsRGB色空間で表現された画像データ(マネージド画像データ)MGPに変換する。ここで、変換後の画像データは、sRGB色空間の色彩値に限られず、レンダリング実行部121が扱える色空間で表現されたものであれば、どのような色空間で表現されたものであってもよい。例えば、レンダリング実行部121がLabやXYZ色空間の色彩値や分光反射率などによってレンダリング可能な構成を採用していれば、レンダリング実行部121内で行なうライティング処理(後述)内で、あるいはレンダリング実行部121に後置されたポスト処理部(後述)で、画像表示部151に表示する際に用いられる色彩値に変換すればよい。
【0015】
こうしたレンダリング実行部121におけるレンダリングの条件であるレンダリング条件データRCDは、レンダリング条件設定部125により設定され、レンダリング実行部121により参照される。レンダリング条件データRCDとしては、印刷媒体の3Dオブジェクト情報や印刷媒体を見ている位置などのカメラ情報、照明の位置や色合いなどの照明情報、更には印刷媒体の置かれた背景の情報を示す背景情報などが含まれる。これらのレンダリング条件データRCDの詳細と扱いについては、後で詳しく説明する。
【0016】
これら印刷条件PCCやレンダリング条件データRCDは、使用頻度が所定以上の代表的なデータについては、予め印刷条件特定部135やレンダリング条件設定部125に不揮発的に記憶しておき、必要に応じて選択し、CMS111やレンダリング実行部121に参照させればよい。印刷媒体として、使用頻度が低いなど通常使用しないようなもの、例えば布生地や缶、プラスチックシートなど特殊な素材を用いる場合の質感データなどは、外部のサイトに保存しておき、必要な場合に取得するようにしてもよい。照明情報などのレンダリング条件データRCDは、レンダリングに際して利用者が個別に指定してもよいが、代表的なカメラアングルや光源について、レンダリング条件設定部125に保存しておき、利用するものとしてもよい。カメラアングルは、対象である印刷媒体を見ている位置や方向のことであり、仮想空間を見ている利用者の仮想的な視点の位置と視線の方向に相当する。このため、カメラを視点や視線の方向であるとして、「視点」あるいは「ビュー」として説明することがある。
【0017】
画像表示部151は、レンダリング実行部121によりレンダリングした印刷媒体の画像を、背景などと共に表示する。画像表示部151は、レンダリング実行部121が画像メモリー139に書き込んだ表示用の画像データを読み出して表示を行なう。本実施形態では、画像処理装置100に画像表示部151を設けたが、画像処理装置100は、画像表示部151を備えない構成としてもよい。その場合、利用者がプレビュー画像を見たい場合には、レンダリングされたデータを取得し、これを表示可能な他の装置に移して参照する。例えば、画像処理装置100と無線接続された独立したタブレットなどを表示部として用い、レンダリング結果をタブレットでプレビューすればよい。
【0018】
画像処理装置100は、専用機として実現してもよいが、コンピューターにおいてアプリケーションプログラムを実行させることで実現してもよい。もとより、コンピューターには、タブレットや携帯電話のような端末も含まれる。レンダリング実行部121の処理には、かなりのリソースと演算能力が必要になるため、レンダリング実行部121のみを高速処理可能なCPUや専用のGPUにより実行させるようにし、レンダリング実行部121をネットワーク上の別のサイトにおいて、画像処理装置100を構成してもよい。
【0019】
(A2)画像処理の概要:
画像処理装置100が実行する画像表示処理の概略について、
図2Aを参照して説明する。画像処理装置100は、画像が印刷された印刷媒体がどのように見えるかを画像表示部151に表示するよう指示されると、図示する処理を開始し。まず画像データを取得する処理を行なう(ステップS110)。画像処理装置100は、データ入力部90を介して、印刷された状態を表示する際に印刷媒体に印刷される画像のデータである画像データORGを取得する。次に、印刷条件PCCを入力し、印刷条件を設定する処理を行なう(ステップS120)。本実施形態では、印刷条件PCCは、印刷する印刷装置や印刷に用いる印刷媒体の種類、および使用されるインクセット(インク種類)を含む。この印刷条件PCCを入力し設定する。
【0020】
次に、各種プロファイルを設定する処理を行なう(ステップS130)。具体的には、取得した画像データORGの形式、つまり画像データORGを表現するのに用いられている色空間により入力プロファイルIPを設定し、あるいは印刷装置や印刷媒体の種類などの印刷条件PCCに基づいて設定された印刷条件に従い、メディアプロファイルMPを設定する。その後、CMS111により色変換処理を行なう(ステップS140)。色変換処理の一例を、
図2Bに示した。図は、印刷画像データORGを、CMS111によって、レンダリング処理を行なうための共通色空間の色彩データに変換する処理を示すフローチャートである。色変換処理が開始されると、まず印刷画像データORGと入力プロファイルIPとを入力して、機器に依存する表色系(例えばRGB表色系)で表わされた印刷画像データORG(以下、画像データORGと略記する)を、機器に依存しない表色系(例えばLabまたはXYZ表色系)の色彩データに変換する処理を行なう(ステップS141)。
【0021】
次に、印刷条件として、印刷装置(プリンター)×インクセット×印刷媒体の組み合わせに対応するメディアプロファイルMPを適用して、印刷により表現可能な色彩の範囲への色変換を行なう(ステップS143)。この色変換により、デバイスカラー画像データDCDとデバイス非依存の色彩値Lab(またはXYZ)が得られる。デバイスカラー画像データDCDは、印刷条件PCCで設定された印刷装置が、設定されたインクセットで、設定された印刷媒体に吐出するインク量に対応する画像データである。デバイスカラー画像データDCDは、質感設定部130に出力され、第1質感パラメーターTX1の設定に用いられる。他方、デバイス非依存の色彩値は、次のステップで、共通色空間プロファイルCPを用いて、レンダリングの際に用いられる第2の色空間である共通色空間の色彩値に変換される(ステップS144)。本実施形態では、共通色空間として、sRGBを用いている。こうして得られたマネージド画像データMGPを、3Dオブジェクトのテクスチャーであるアルベドカラーに設定する(ステップS145)。
【0022】
ステップS143において、メデイアプロファイルの色変換のレンダリングインテントを絶対的(Absolute)にすれば、印刷媒体そのものの色(地色)を反映できる。なお、ステップS145での色変換の対象となる画像の色彩値がsRGB色空間の色域外の場合、sRGB色空間内の値に近似してもよいが、sRGBの色域外の値を取りうるように扱ってもよい。画像データのRGB値は、一般には、各色8ビット、つまり値0~255の整数で格納するが、これに代えて、画素値を値0.0~1.0の浮動小数点として表わすものとすれば、sRGBの色域外の値を、負の値や1.0を超える値にして取り扱うことができる。
【0023】
CMS111による色変換は、
図2Bに示した構成に限らず、他の構成により行なうことも可能である。例えば、共通色空間であるsRGBに対する画像表示部151の表示色のずれを補正するための補正データDPDが用意されている場合には、
図2BにおけるメディアプロファイルMPによる色変換(ステップS143)の後に、表示装置の特性を補正するために用意された表示装置補正データを用いた色変換処理を行なう、といった構成としてもよい。
【0024】
こうした表示装置補正データと共通色空間プロファイルCPとを予め合成した合成補正データを用意しておき、共通色空間プロファイルCPによる色変換(ステップS145)に代えて、合成補正データによる色変換を行なうものとしてもよい。なお、画像表示部151の表示色のずれに対する補正は、CMS111で行なう代わりに、後述する
図3に示したレンダーバックエンド後のポスト処理部PSTで行なってもよい。
【0025】
色変換処理(ステップS140)を行なった後、次にCMS111による色変換により求められたデバイスカラー画像データDCDに基づき、画像形成に使用される記録材の量、ここでは画素毎のインク量を算出するインク量決定処理を行なう(ステップS150)。画素毎のインク量は、その画素に吐出される各色インクそれぞれのインク量として求めてもよいし、全てのインク滴の総和量として求めてもよい。あるいは特定の色のインク量として求めてもよい。また、ここでのインク量とは、インクの吐出量を表現するデジタルデータでもよい。例えば、このデジタルデータは各記録材におけるドットのオンオフのデータ(ドットデータとも言う)でもよい。なお、本実施形態では、印刷装置が吐出するのは、画像の形成に関わるインク、例えばCMYインクセットや、ライトシアンLc、ライトマゼンタLmを含むCMYLcLmなどのカラーインクセット、あるいはこれに黒色を含むCMYKの多色インクセットや、モノクロインクなどである。モノクロインクは、黒色インクの他、グレイインクなどを含むインクセットでもよい。
【0026】
こうしてインク量を求めた後、第1質感パラメーター設定処理(ステップS151)と、第2質感パラメーター設定処理(ステップS152)とを行なう。第1質感パラメーター設定処理(ステップS151)は、ステップS150で求めたインク量に基づき、インク量に依存した印刷媒体表面の質感を決定する第1質感パラメーターTX1を求める処理である。印刷媒体の表面の様子は、後述する物理ベースレンダリングにより求められるが、このとき、印刷媒体表面の滑らかさや金属性などの質感により、見え方は影響を受ける。こうした質感には、印刷媒体表面の滑らかさや金属性などの質感、印刷媒体に吐出されるインク量によって影響を受けるインク量依存の第1質感パラメーターTX1と、画像の形成に使用されるインク量には影響を受けない印刷媒体それ自体の質感を表わす第2質感パラメーターTX2とが含まれる。これらの第1質感パラメーターTX1およびパラメーターTX2は、レンダリング実行部121のレンダリング処理の際に参照され、印刷媒体の見え方に反映される。こうした第1質感パラメーターTX1と第2質感パラメーターTX2とについては、後で詳しく説明する。
【0027】
こうして第1,第2質感パラメーターTX1,TX2を設定した後、CMS111を用いて色変換したマネージド画像データMGPと設定された質感のデータとを用いて、物理ベースのレンダリング処理を行ない(ステップS170)、レンダリングの結果を画像表示部151に表示する画像表示処理を行なう(ステップS180)。その後、本処理ルーチンを終了する。
【0028】
(A3)レンダリング実行部の構成とレンダリング処理:
上述したステップS170のレンダリング処理について説明する。レンダリング処理は、レンダリング実行部121により実行される。レンダリング実行部121は、CMS111が色変換して出力するマネージド画像データMGPをレンダリングすることで、画像データORGが印刷された印刷媒体が、仮想空間においてどのように見えるかを、画像表示部151に表示する。レンダリング実行部121の構成例を、
図3に示した。このレンダリング実行部121は、物理ベースのレンダリング処理を行なう代表的な構成を示しており、他の構成を採用することも可能である。本実施形態のレンダリング実行部121は、頂点パイプラインVPLとピクセルパイプラインPPLとを含むパイプライン構成を採用しており、物理ベースレンダリングを高速に実行する。頂点パイプラインVPLは、頂点シェーダーVSと、ジオメトリシェーダーGSとを含む。なお、ジオメトリシェーダーGSを用いない構成も可能である。
【0029】
頂点シェーダーVSは、3Dオブジェクトである印刷媒体の頂点の印刷媒体上の座標を、レンダリングする3次元空間の座標に変換する。座標変換は、網羅的には、レンダリング対象とのモデル(ここでは印刷媒体)の座標→ワールド座標→ビュー(カメラ)座標→クリップ座標といった座標変換を含むが、ビュー座標への変換などは、ジオメトリシェーダーGSで行なわれる。頂点シェーダーVSは、この他、陰影処理、テクスチャー座標(UV)の算出、などを行う。これらの処理に際して、頂点シェーダーVSやジオメトリシェーダーGSは、予め用意されたレンタリング条件データRCDとして、3Dオブジェクト情報TOIや、カメラ情報CMR、照明情報LGT、更には背景情報BGDなどを参照する。
【0030】
3Dオブジェクト情報TOIは、3Dオブジェクトとしての印刷媒体の形状等に関する情報である。現実の印刷媒体は、フラットな面ではないので、基本的には、微小なポリゴンの集合として扱うが、印刷媒体の表面を微小なポリゴンで表現すると、ポリゴンの数が膨大なものとなる。このため、法線マップやハイトマップといったテクスチャーにより、印刷媒体の表面を扱うことも現実的である。法線マップやハイトマップといったテクスチャーは、後述する質感パラメーターとして与えられる。カメラ情報CMRは、印刷媒体に対してどの位置や方向にカメラが設置されているかという仮想的な情報である。照明情報LGTは、印刷媒体が置かれた仮想空間における光源の位置や角度、強さ、色温度などの仮想的な情報の少なくとも1つを含む。なお、光源は複数設定することも可能であり、この場合は、複数の光源の影響を別々に演算し、3Dオブジェクト上で重ね合わせればよい。
【0031】
背景情報BGDは、無くてもよいが、仮想空間において3Dオブジェクトとしての印刷媒体が置かれた背景に関する情報である。背景情報BGDには、仮想空間に配置された壁、床や、家具などの物体の情報を含み、これらの物体は、レンダリング実行部121で印刷媒体と同様にレンダリングの対象となる。また、照明がこれらの背景物に当たって印刷媒体を照らすので、照明の情報の一部としても扱われる。こうした各種情報を用いてレンダリングを行なうことで、立体的なプレビューが可能となる。頂点シェーダーVSで計算された頂点情報はジオメトリシェーダーGSに渡される。
【0032】
ジオメトリシェーダーGSは、オブジェクト内の頂点の集合を加工するために使用される。ジオメトリシェーダーGSにより、実行時に頂点数を増減させたり、3Dオブジェクトを構成するプリミティブの種類を変更したりすることが可能となる。頂点数の増減の一例は、カリング処理である。カリング処理では、カメラの位置や方向から、カメラに映らない頂点を処理対象から除外する。ジオメトリシェーダーGSは、ポイント、ライン、トライアングルといった既存のプリミティブから新しいプリミティブを生成するといった処理も行なう。ジオメトリシェーダーGSは、頂点シェーダーVSから、プリミティブ全体または隣接したプリミティブの情報を持つプリミティブを入力する。ジオメトリシェーダーGSは、入力したプリミティブを処理し、ラスタライズされるプリミティブを出力する。
【0033】
頂点パイプラインVPLの出力、具体的にはジオメトリシェーダーGSが処理したプリミティブは、ラスタライザーRRZによりラスタライズされ、ピクセル単位のデータにされ、ピクセルパイプラインPPLに渡される。ピクセルパイプラインPPLは、本実施形態では、ピクセルシェーダーPSとレンダーバックエンドRBEとを備える。
【0034】
ピクセルシェーダーPSは、ラスタライズされたピクセルを操作するものであり、端的に言えば、ピクセル毎の色彩を算出する。頂点シェーダーVSやジオメトリシェーダーGSから入力された情報を元に、テクスチャーを合成する処理や表面色を適用する処理を行なう。ピクセルシェーダーPSは、画像データORGを各種プロファイルに基づいてCMS111で変換したマネージド画像データMGPを、3Dオブジェクトとしての印刷媒体上にマッピングする。このとき、ピクセルシェーダーPSに備えられたライティング処理機能が、物体の光の反射モデルと、上述した照明情報LGTとに基づいて、ライティング処理を行ない、マネージド画像データMGPのマッピングを行なう。3Dオブジェクトとしての印刷媒体全体を扱うので、マッピングされるマネージド画像データMGPは、印刷媒体上にインクにより形成される画像を含む、印刷媒体全体を対象とする画像である。ライティング処理に用いる反射モデルは、現実世界での照光現象をシミュレートするための数学的モデルの演算式の1つである。本実施形態で用いた反射モデルについては、後で詳しく説明する。
【0035】
(A4)質感設定処理:
本実施形態では、ピクセルシェーダーPSは、処理の対象であるマネージド画像データMGPと共に、第1,第2質感パラメーターTX1,TX2を参照し、レンダリング処理を行なう。第1,第2質感パラメーターTX1,TX2は、質感設定部130により設定される。質感設定部130に備えられた第1質感設定部131は、第1質感パラメーターTX1を設定する処理(
図2A、ステップS151)を行ない、同じく第2質感設定部132は、第2質感パラメーターTX2を設定する処理(
図2A、ステップS152)を行なう。これらの処理の内容を、
図4A、
図4Bを用いて、順次説明する。
【0036】
第1質感設定部131が行なう第1質感パラメーター設定処理では、
図4Aに示すように、まずデバイスカラー画像データDCDを読み込む(ステップS161)。次に、印刷条件PCCを読み込む(ステップS162)。第1質感パラメーターTX1には、滑らかさや金属性などが含まれるが、ここでは、滑らかさに着目し、印刷条件PCCに含まれる印刷媒体の種類に基づいて、滑らかさとして、印刷媒体に設定された初期値S1,S2を設定する(ステップS163)。初期値S1は、印刷媒体に画像形成用のインクが吐出されていない場合、つまり紙白の部位の滑らかさを示し、初期値S2は、印刷媒体に画像形成用のインクが吐出された部位の滑らかさを示す。一般に、印刷媒体が例えばプラスチックシートや光沢のある写真用紙であれば、滑らかさの初期値S1は高く設定され、普通紙や布地などでは低く設定される。また、画像形成用のインクが吐出された場合の滑らかさの初期値S2は、初期値S1よりは低い値に設定される。本実施形態では、滑らかさの初期値S1,S2は、光沢のある写真用紙(以下、光沢紙という)の場合には、例えばS1=0.95、S2=0.85が設定される。また、光沢のない写真用紙(以下、マット紙という)では、例えばS1=0.1、S2=0.05が設定される。ここでは、第1質感パラメーターTX1として滑らかさを取り上げるが、他の質感パラメーターであってもよく、複数のパラメーターを設定してもよい。他の質感パラメーターについては、レンダリング処理の一環として、後で詳しく説明する。
【0037】
以上の準備を行なった後、印刷媒体に対応する全画素について、ステップS164~S168の処理を繰り返す(STs~STe)。デバイスカラー画像データDCDの全画素とは、印刷媒体全体を指す。読出の順序は、どのようなものであってもよく、例えば、印刷媒体の左上を原点として印刷媒体の幅方向(主走査方向)に沿って端まで読み出し、これを印刷媒体の長さ方向(副走査方向)に順次繰り返し、印刷媒体の右下端にまで至るようにしてもよい。
【0038】
いずれにせよ、一つの画素に着目し、その画素の画素値から、画像形成のために吐出されるインク量を読み出し(ステップS164)、読み出したインク量から、当該画素についての滑らかさの修正値Sを設定する処理を行なう(ステップS165)。デバイスカラー画像データDCDを構成する各画素の画素値は、CMS111により印刷装置のインクCMYKの吐出量に対応した値を有するので、インク吐出量の総和が零となる画素は紙白であると判断できる。そこで、デバイスカラー画像データDCDから読み出した画素が紙白、つまりインクが印刷媒体に吐出されない画素であるか、あるいはインクが吐出される画素であるかを判定し(ステップS165a)、判定結果が前者であれば、滑らかさの修正値Sに予め設定した初期値S1を設定し(ステップS165b)、判定結果が後者であれば、滑らかさの修正値Sに、予め設定した初期値S2を設定する(ステップS165c)。このインク量の判定値は零に限る必要はなく、予め定めた有意の値以上としてもよい。本実施形態では、印刷条件PCCから光沢紙が選択されていると判断した場合には、S1=0.95,S2=0.85が設定されているので、インクが吐出されない紙白の部位、あるいはインクの吐出量が所定値以下の略紙白の部位の画素の滑らかさは、初期値S1、つまり値0.95とされる。画像形成用のインクが吐出される画素であれば、修正値Sには、初期値S2、つまり値0.85が設定される。こうして各画素の滑らかさの修正値Sを算出した後、質感設定部130内部の図示しないメモリーに保存する(ステップS168)。以上の処理(ステップS164~S168)を、デバイスカラー画像データDCDの全画素について繰り返す(STs~STe)。なお、マネージド画像データMGPは、デバイスカラー画像データDCDを色変換したものなので(
図2A、ステップS144)、デバイスカラー画像データDCDに代えて、マネージド画像データMGPを用いて、紙白か否かの判断を行なうことも可能である。
【0039】
上述した滑らかさの修正値Sを設定する処理の一例を、
図5に示した。図の上段は、デバイスカラー画像データDCDの一例を示す。この例では、デバイスカラー画像データDCDは、印刷用紙の中央付近に、色彩値CK、CB、CR、CYの横縞の領域を備える。これらの各領域には、画像データORGをCMS111により色変換することで、CMYKのインクが所定の濃度で吐出される画像であるとされている。また、
図5の中段は、印刷媒体自体の、つまり紙白の部位の滑らかさは初期値S1であり、画像形成用のインクが吐出される部位の滑らかさは初期値S2であることを示している。
【0040】
図示下段左側は、光沢紙であれば、紙白の部位の滑らかさの修正値Sは、光沢紙の初期値S1、つまり値0.95に設定され、画像形成用のインクが吐出される部位の滑らかさの修正値Sは、光沢紙の初期値S2、つまり値0.85に設定されることを示している。同様に、図示下段右側は、マット紙であれば、紙白の部位の滑らかさの修正値Sは、マット紙の初期値S1、つまり値0.10に設定され、画像形成用のインクが吐出される部位の滑らかさの修正値Sは、マット紙の初期値S2、つまり値0.05に設定されることを示している。この例では、印刷媒体表面の滑らかさは、厳密には印刷媒体上に吐出されるインクの種類や吐出されるインク量の総和によって変化する可能性が高い。これに対して上記の処理では、画像形成のためのインクが吐出される部分か否かにより、滑らかさを変えているので、かかる処理を、滑らかさの修正と呼び、設定した値を滑らかさの修正値Sと呼んでいる。本明細書では、修正は、補正の一種として扱う。インク量から滑らかさを求める高精度の演算を行なって、滑らかさを補正し補正値を求めてもよいが、レンダリング画像におけるインク量の影響を示すことができる程度の修正でも足りるからである。
【0041】
本実施形態では、デバイスカラー画像データDCDの各画素の滑らかさは、紙白の部位の滑らかさとして設定された初期値S1と画像形成用のインクが吐出される部位の滑らかさとして設定された初期値S2とにより設定される。これらの滑らかさの初期値S1,S2は、印刷条件PCCの一部として用意してもよく、印刷条件PCCにより参照されるLUTとして用意してもよい。質感パラメーターTXTの一部として入力されるものとしてもよい。印刷媒体自体の滑らかさやインクを吐出することによる滑らかさの低下などは印刷媒体や印刷装置が用いるインクの種類によって定まるとすれば、印刷条件PCCとして扱えばよく、見え方を決めるパラメーターの一つとして利用者が設定すべきものとすれば、外部から入力するものとすればよい。また、ゲインgを用いて、紙白の部分の画素か否かにより、滑らかさの修正値Sの値を補正するものとしてもよい。ゲインgを画素に吐出されるインク量やインク量によって変わる明度などに関係づけておき、画素毎のインク量からゲインgを求めて、その画素に対応する部位の滑らかさの修正値Sを算出するようにしてもよい。
【0042】
本実施形態では、
図4のステップS165で求めた滑らかさの修正値Sは、第1質感パラメーターTX1として、ピクセルシェーダーPSに出力される(ステップS169)。この場合、第1質感パラメーターTX1は、マネージド画像データMGPの画素の座標と対応付けられたデータ構造を有する別のファイルに書き込んで、ピクセルシェーダーPSに出力すれば、マネージド画像データMGPの画素との対応を取ることが容易となる。求めた第1質感パラメーターTX1は、マネージド画像データMGPの一部として、つまり画素に対応するアルファチャンネルα-chに書き込んでおき、マネージド画像データMGPごと、ピクセルシェーダーPSに出力するものとしてもよい。
【0043】
本実施形態では、印刷媒体それ自体の質感を示す第2質感パラメーターTX2は、
図4Bに示すように、印刷条件PCCを読み込み(ステップS262)、この印刷条件PCCに含まれている印刷媒体の種類から、その印刷媒体の法線マップnmを取得する(ステップS265)。その上で、これを第2質感パラメーターTX2として、ピクセルシェーダーPSに出力する(ステップS269)。以上の処理により、ピクセルシェーダーPSは、マネージド画像データMGPと、第1質感パラメーターTX1として画素毎の滑らかさの修正値Sと、第2質感パラメーターTX2として法線マップnmとが出力される。これらのデータやパラメーターを用いて、レンダリング実行部121は印刷媒体のレンダリングを行なう。
【0044】
(A5)レンダリング画像の表示:
レンダリング実行部121のピクセルパイプラインPPLは、上述したように、マネージド画像データMGPを受け取り、ピクセルを操作する処理を行なう。この際に、ピクセルシェーダーPS、画素毎の滑らかさの修正値Sを含む第1質感パラメーターTX1と、法線マップnmを含む第2質感パラメーターTX2とを用いて、質感表現を伴うレンダリング処理を行なう。この処理は、出力解像度が高い場合など、ラスタライズ後のピクセル数が多くなると、高負荷になり、処理に時間を要する。このため、頂点単位の処理と比較すると、処理に時間を要し、パイプライン処理の効率が不十分なものになる場合がある。本実施形態では、ピクセルシェーダーPSの処理プログラムを、高い並列処理性能を持つGPUでの実行に最適化することで、質感の表現を含む高度なエフェクトを短時間で実現している。
【0045】
ピクセルシェーダーPSの処理により得られたピクセル情報は、更に、レンダーバックエンドRBEにより、表示用の画像メモリー139に書き込みむか否かの判断がなされる。レンダーバックエンドRBEが、ピクセルのデータを画像メモリー139書き込んで差し支えないと判断されて始めて、ピクセルのデータは、描画されるものとして保存される。書き込みの判断に使用するテストとしては、公知の「アルファテスト」「深度テスト」「ステンシルテスト」などがある。レンダーバックエンドRBEはこうしたテストのうち、設定されたテストを実行し、ピクセルのデータを画像メモリー139に書き込む。
【0046】
以上の処理によりレンダリングのパイプライン処理は終了し、次にポスト処理部PSTによりフレームメモリーFMに保存されたデータに対して、見た目の改善を図る処理が行なわれる。こうした処理としては、例えば画像の不要なエッジを除去して滑らかにするアンチエイリアス処理などがある。他にも、アンビエントオクルージョン、スクリーンスペースリフレクション、被写界深度などの処理があり、必要なポスト処理を行なうように、ポスト処理部PSTを構成すればよい。
【0047】
レンダリング実行部121が以上の処理を行なうことにより、レンダリングが終了し、その結果は、レンダー結果RRDとして出力される。実際には、画像メモリー139に書き込まれたデータを、画像表示部151の表示サイクルに合わせて読み出すことで、レンダー結果RRDとして、表示される。レンダー結果RRDの一例を、
図6に例示した。この例では、画像表示部151には、仮想空間に置かれた3Dオブジェクトとしての印刷媒体PLbと、光源LGと、背景の1つとして存在する家具等の背景オブジェクトBobとが表示されている。
【0048】
仮想空間に置かれた印刷媒体PLbと光源LGや視点(カメラ)VPとの関係を、
図7に例示した。光源LGや視点VPと印刷媒体PLbとの関係は仮想空間VSP内において3次元だが、図は仮想空間VSPをx-z平面で示す。xは、以下に説明する各ベクトルの集まった点の座標である。レンダリングの対象である印刷媒体PLbの所定の座標xに対して、これを照明する光源LGや視点VPの位置関係を例示する。図には、座標xから光源LGに向かう光源方向ベクトルωlと座標xから視点VPに向かう視点方向ベクトルωvと両者のハーフベクトルHVが示されている。また、符号Npは、印刷媒体PLbが完全な平面PLpであると仮定した場合の法線ベクトルを、符号Nbは、完全な平面ではない実際の印刷媒体PLbの座標xでの法線ベクトルを、それぞれ示している。なお、
図6では、視点VP(カメラ)は、印刷媒体PLbのほぼ正面に存在するものとして、印刷媒体PLbのレンダリング結果が例示されている。
【0049】
本実施形態の画像処理装置100では、仮想空間における印刷媒体の位置や角度を自由に変更して、印刷媒体上の画像共々、その見え方を確認できる。画像処理装置100は、画像表示部151に表示された画像に対して、利用者が図示しないポインティングデバイスを操作すると、レンダリング実行部121によるレンダリング処理を改めて行ない、その処理結果を画像表示部151に表示するという一連の処理を繰り返している。ここでポインティングデバイスは、3Dマウスやトラッキングボールなどでもよいし、画像表示部151に設けられたマルチタッチパネルを指やタッチペンで操作するタイプのものであってもよい。例えば、画像表示部151の表面にマルチタッチパネルを設けた場合には、印刷媒体PLbや光源LGを指等で直接移動するようにしてもよいし、二本指を使って、印刷媒体PLbを回転したり、光源LGと印刷媒体PLbとの距離を3次元的に変更したりするようにしてもよい。
【0050】
こうした仮想空間内の印刷媒体PLbや光源LGの位置や角度などを変更すると、レンダリング実行部121がその都度レンダリング処理を行ない、そのレンダー結果RRDを画像表示部151に表示する。こうした表示の一例を、
図8に示した。図示するように、仮想空間内の印刷媒体PLbや光源LGの位置や角度などを変更すると、画像が印刷された印刷媒体はその都度、物理ベースレンダリングされて、画像が印刷された実際の印刷媒体が、実空間の中で見える状態に近い態様で示される。
【0051】
特に本実施形態では、印刷媒体上に印刷される画像の色彩をカラーマネージメントシステム(CMS)により実際に印刷される画像の色彩に変換していることに加えて、レンダリングの際のライティング処理において、
[1]画像が印刷される印刷媒体を3Dオブジェクトして扱っていること、
[2]第1質感パラメーターTX1や第2質感パラメーターTX2を用いて、印刷媒体の表面の質感を考慮していること、
[3]第1質感パラメーターTX1を設定する際には、印刷媒体に吐出されるインク量を考慮していること、
から、画像表示部151に表示された印刷媒体の再現性は極めて高い。以下、この[1][2][3]の処理について説明する。
【0052】
[1]について:
仮想空間において3Dオブジェクトがどのように見えるかは、オブジェクト各部における反射光の双方向反射率分布関数(BRDF:Bidirectional Reflectance Distribution Function)と輝度とを用いて表わすことができる。双方向反射率分布関数BRDFとは、ある特定の角度から光を入射した時の反射光の角度分布特性を示す。輝度は、オブジェクトの明るさである。両者を併せて照明モデルとも言う。本実施形態で採用した反射モデルの一例を以下に示す。BRDFは、関数f(x,ωl,ωv)として、また、輝度は関数L(x,ωv)として、以下の式(1)(2)として表わすことができる。
f(x,ωl,ωv)=kD/π+kS*(F*D*V) …(1)
L(x,ωv)=f(x,ωl,ωv)*E⊥(x)*n・ωl …(2)
x:面内の座標, ωv:視点方向ベクトル,ωl:光源方向ベクトル
kD:拡散反射能(Diffuse Albedo), kS:鏡面反射能(Specular Albedo)
F:フレネル項, D:法線分布関数, V:幾何減衰項
E⊥(x):座標xに垂直に入射する照度, n:法線ベクトル
【0053】
BRDFの第1項、kD/πは拡散反射成分であり、ランバートモデルである。第2項は、鏡面反射成分であり、Cook-Torranceモデルである。式(1)において、kd/πのことを拡散反射項、kS*(F*D*V)のことを鏡面反射項と呼ぶことがある。フレネル項F,法線分布関数D,幾何減衰項Vについては、モデルや算出方法は公知のものなので、説明は省略する。BRDFとしては、3Dオブジェクト表面の反射特性やレンダリングの目的に応じた関数を用いればよい。例えば、ディスニー原則BRDF(Disney Principled BRDF)などを用いてもよい。なお、本実施形態では、光の反射を表す関数としてBRDFが用いているが、光の反射を表す関数として双方向散乱面反射率分布関数(BSSRDF:Bidirectional Scattering Surface Reflectance Distribution Function)を用いてもよい。
【0054】
上記式(1)(2)から分かるように、上記反射モデルの計算には法線ベクトルn、光源方向ベクトルωl、視点方向ベクトルωvが必要になる。印刷媒体は、レンダリング処理の対象としては、複数の微小なポリゴンによって構成された3Dオブジェクトとして扱うが、印刷媒体表面の微小な凹凸を反映する法線ベクトルnは、ポリゴンの法線Npと後述する法線マップとから算出する。従って、頂点パイプラインVPLでは、ポリゴンの法線Npと、法線マップの参照位置を決めるUV座標とを算出し、光源方向ベクトルωlおよび視点方向ベクトルωv共々、ピクセルパイプラインPPLに入力する。ピクセルパイプラインPPLでは、ピクセルシェーダーPSが、質感パラメーターの1つとして与えられる法線マップをUV座標を用いて参照し、参照した法線マップの値とポリゴンの法線Npとから、法線ベクトルnを演算する。
【0055】
本実施形態では、上述したように、画像が印刷される印刷媒体を3Dオブジェクトとして扱い、上記式(1)(2)により物理ベースレンダリングを行なう。なお、光源方向ベクトルωl、視点方向ベクトルωvは、
図8に示したように、利用者がポインティングデバイスを用いて、仮想空間内の印刷媒体PLbや光源LGの位置や角度などを変更すると、その都度、演算される。
【0056】
[2]について:
本実施形態では、第1,第2質感パラメーターTX1,TX2を用いて、印刷媒体の表面の質感を考慮している。第1質感パラメーターTX1としては、以下のものがあり得るが、全てを考慮する必要はなく、以下に挙げるパラメーターのうち、少なくとも1つ、例えば滑らかさを考慮すればよい。
・滑らかさS(smoothness)または粗さR(roughness):
3Dオブジェクトの表面の滑らかさを示すパラメーターである。滑らかさSは、一般的には値0.0~1.0の範囲で指定する。滑らかさSは、上述した式(1)BRDFの法線分布関数D、幾何減衰項Vに影響を与える。この値が大きいと、鏡面反射が強くなり、光沢感を呈する。滑らかさSの代わりに粗さRを用いてもよい。両者は、S=1.0-R、として変換可能である。なお、滑らかさは平滑度と、粗さは粗度と、呼ぶことがある。
【0057】
・金属性M(metallic):
3Dオブジェクトの表面が金属的である程度を示す。表面の金属性が高い場合に金属性Mの値は大きくなる。金属性Mが大きいと、物体表面は、周囲からの光を反射しやすく、周囲の景色を写した反射となって、オブジェクト自体の色が隠されやすくなる。金属性Mは、フレネル項Fに影響を与える。
フレネル項Fは、Schlick近似を用いれば、次式(3)として表わすことができる。
F(ωl,h)=F0+(1-F0)(1-ωl・h)5 …(3)
ここで、hは視点方向ベクトルωvと光源方向ベクトルωlとのハーフベクトル、F0 は垂直入射時の鏡面反射率である。鏡面反射率F0 は、鏡面反射光の色(specularColor)として直接指定するか、金属性Mを用いて、線形補間(ここでは、lerp関数と表示する)の式(4)により与えればよい。
F0 =lerp(0.04,tC,M) …(4)
ここで、tCは、3Dオブジェクトのテクスチャーの色(albedoColor)である。なお、式(4)における値0.04は、非金属における一般的な値を示すRGBそれぞれの値を代表的に示したものである。テクスチャーの色tCも同様である。
【0058】
・その他の第1質感パラメーター:
第1質感パラメーターTX1として機能し得るパラメーターには、この他、鏡面反射色(specularColor)、などがある。
【0059】
第2質感パラメーターTX2としては、以下のものを用いることができる。
・法線マップ(Normal Map):
法線マップには、印刷媒体の表面の微小な凹凸面の法線ベクトルが表されている。3Dオブジェクトに法線マップを対応付ける(貼り付ける)ことにより、印刷媒体の表面の微小な凹凸面の法線ベクトルを3Dオブジェクトに付与することができる。法線マップは、BRDFのフレネル項F、法線分布関数D、幾何減衰項Vに影響を与え得る。
【0060】
・その他の質感パラメーター:
第2質感パラメーターTX2として機能し得るパラメーターには、この他、印刷媒体表面のクリアコート層の有無や、その厚さ、あるいは透明度などを示すクリアコート層パラメーター、などがある。なお、第1実施形態で第2質感パラメーターとして扱ったパラメーターは、特定のインクとの組合わせでは、直接的にインク量の影響を受けることがあり、その場合には、該当するパラメーターは、第1質感パラメーターTX1の一部として扱うことができる。そうした例は、第2実施形態の変形例において説明する。
【0061】
[3]について:
更に、本実施形態では、第1質感パラメーターTX1のうち、特に滑らかさSについて、印刷媒体全体に同じ値を用いるのではなく、第1質感設定部131により、印刷媒体上に画像を形成するために吐出されるインク量が所定以上の部位、つまり紙白ではない画素については、第1質感パラメーターTX1のうち、滑らかさSを、紙白の部分の滑らかさの初期値S1より小さな値S2に修正している。このため、同じように光源LGからの光が当たっても、インクが吐出されない部位と、インクが吐出されている部位とでは、見え方が変わる。この例を、
図9に示した。図の上段は、質感(ここでは滑らかさ)として画像形成用のインク量を考量しておらず、印刷媒体の全域において、滑らかさが光沢紙の初期値S1とされている場合のレンダリング結果を示す。光源LGからの光が反射しているハイライト部分HLtは、紙白の部分CNでも、インクが吐出される部分CIでも同じ幅でレンダリングされている。なお、図において、各段とも、ハイライト部分HLtと区別しやすいように、紙白の部分CNに僅かに陰影を施してある。
【0062】
図9の中段は、滑らかさを示すパラメーターSとして画像を形成するインク量を考慮している場合のレンダリング結果を示す。この場合、印刷媒体の紙白の部分の滑らかさは光沢紙における初期値S1とされており、インクが吐出される部分の滑らかさは初期値S1より小さな値S2に設定されている。従って、光源LGからの光が反射しているハイライト部分HLGは、インクが吐出される部分CIでは、紙白の部分CNと比べて、幅が広くレンダリングされる。これは、光沢紙であっても、インクが吐出される部分では、滑らかさSが紙白の部分の滑らかさ(初期値S1)より小さく、光源LGからの光による散乱が尖鋭には生じないからである。
【0063】
更に、
図9の下段は、印刷用紙がマット紙である場合の例を示す。この例では、レンダリングに際して、第1質感パラメーターTX1では、紙白の部位と画像を形成するためのインクが吐出されている部位とでは、滑らかさSは異なる値、具体的には、紙白の部位ではマット紙の初期値S1として値0.1が、インクが吐出されている部位ではマット紙の初期値S2として値0.05が、それぞれ設定されている。マット紙の場合、用紙全体において滑らかさSは光沢紙と比べて格段に小さく、またインク有無による滑らかさの差異も小さいので、図示するように、ハイライト部分はほとんど生じておらず、また紙白の部位か否かによる違いも認められない。
【0064】
以上説明したように、
[1]画像が印刷される印刷媒体を3Dオブジェクトして扱い、
[2]第1,第2質感パラメーターTX1,TX2を用いて、印刷媒体の表面の質感を考慮し、
[3]更に、質感を考慮する際、印刷媒体上に画像を形成するために吐出されるインク量を考慮する、
ことにより、本実施形態の画像処理装置100では、画像が印刷された印刷媒体の見え方を、画像表示部151に高い自由度かつ高い再現性で表示できる。
図6に例示したように、印刷媒体に正対する方向から見たときには、印刷媒体表面の質感、印刷媒体の表面の細かな凹凸から生じるざらざら感が現れ、
図8に例示したように、印刷媒体を回転させて、印刷媒体を斜め方向から見たときには、印刷媒体の表面に光源LGによる照明が映り込み、その結果生じるハイライト部HLTが現れる。更に、同じ印刷媒体の表面でも、インクが吐出される部分とインクが吐出されない紙白の部分とでは、表面の滑らかさに差異が生じるため、光源LGにより照明の映り込みによるハイライト部分は異なった状態となる。通常は、インクが吐出される部分では、表面の滑らかさは低下し、ハイライト部分は拡がる。なお、照明光は、スポットライトのように、印刷媒体に直接向けられた照明によるものに限る必要はなく、太陽光や間接照明・間接光といったものも含まれる。
【0065】
(A6)変形例:
次に、第1実施形態の変形例について説明する。変形例の画像処理装置100では、
図4に示した質感設定処理のステップS165に代えて、
図10に示す処理を行なう。他の処理は、第1実施形態と同様である。この変形例では、滑らかさの修正値Sを、以下のようにして算出し、第1質感パラメーターTX1としてピクセルシェーダーPSに出力する。
【0066】
デバイスカラー画像データDCDの一つの画素から画素値を読み出した後(ステップS164)、第1実施形態のステップS165に代えて設けられたステップS166において、まず画素値から黒インクのインク量Kを求める(ステップS166a)。黒インク量Kは、吐出量0から吐出可能な最大値までを、0~1.0に正規化した値として扱う。次に、この黒インク量Kから、補正係数coefを演算する(ステップS166b)。補正係数coefは、次式(6)により求める。ここで、power()は、べき乗を求める周知の関数である。
coef=power(1.0-K,0.25) …(6)
【0067】
こうして補正係数coefを求めたのち、滑らかさの修正値Sを、次式(7)により求める(ステップS166c)。
S=S1×coef …(7)
ここで、S1は、第1実施形態で説明した印刷媒体の種類により、印刷媒体全体について設定されている滑らかさの初期値である。以上の処理により滑らかさの修正値Sを求め、その後、これを保存する(ステップS168)。保存された滑らかさの修正値Sは、第1質感パラメーターTX1として、レンダリング実行部121のピクセルシェーダーPSに出力される(
図4A、ステップS169)。
【0068】
以上説明した第1実施形態の変形例によれば、第1実施形態と同様の作用効果を奏する上、画素毎の滑らかさを、その画素における黒インク量Kに応じて修正して修正値Sとして求めるので、画像の質感を更に正確に表現できる。
図11は、変形例におけるレンダリング結果の一例を示す。図の上段に示す例は、質感(滑らかさ)として画素値を考慮しない場合の見え方の一例であり、図の下段に示す例は、質感(滑らかさ)として画素におけるインク量、ここでは黒インク量Kを考慮している場合の見え方の一例を示す。インク量として黒インク量Kを用いるのは、黒インク量Kが、印刷媒体の滑らかさSに最も強く影響するからである。通常、一つの画素に吐出される黒インク量Kが多くなれば、その画素における滑らかさは低下し、ハイライト部の範囲を広くなる。図では、異なる色に塗り分けられた複数の領域CK,CB,CR,CYでは、黒インク量Kが異なり、各部のハイライト部の範囲、特に幅が異なっていることが見て取れる。また、これら複数の領域CK,CB,CR,CYからなるインクが吐出される部分CIのハイライト部の幅は、紙白の部分のハイライト部の幅より広くなっている。なお、CMYKの表色系において下色除去などを考慮した実際のインクデューティを求めて、これから補正係数coefを求めるようにしてもよい。いずれにせよ、画素毎に吐出される実際のインク量の総和や特定の色のインク量などを用いて、質感パラメーターの一つである滑らかさを修正すれば、画像が印刷された実際の印刷媒体の見え方を、一層精度よく表現できる。
【0069】
以上説明した第1実施形態では、質感パラメーターTXTに含まれる第1質感パラメーターTX1として、主に印刷媒体の表面の滑らかさを、印刷媒体に吐出されるインク量に応じて設定や修正するものとして説明した。こうした第1質感パラメーターTX1には、上述したように、印刷媒体の表面の滑らかや粗さのみならず、金属性、法線マップ(Normal Map)、鏡面反射色(specularColor)、など種々のものが含まれ得る。これら全てを扱ってもよいし、一部のパラメーターを扱うものとしてもよい。もとより、これらの質感パラメーターTXTのうちの一つを扱うものとしてもよい。例えば、インクジェットプリンターにおける特定の種類のイエローインクは、その量によりブロンジング現象により金属性を呈する場合がある。こうした金属性Mは、イエローインクのインク量Yを用いて、次式(8)により設定できる。
M=m1+0.2×Y …(8)
ここで、m1は、印刷媒体自体の金属性であり、印刷媒体が用紙であれば、通常値0である。また、イエローインク量Yは、上述した黒インク量K同様、0~1.0の範囲に正規化された値である。このようにして、インク量から質感の一つである金属性Mを扱い、滑らかさSに代えて、あるいは滑らかさSと共に、第1質感パラメーターTX1として扱い、レンダリング実行部121に供すればよい。
【0070】
第1質感パラメーターTX1は、画像を形成するインク量の有無やその多寡などにより有意な影響を受ける。これに対して第2質感パラメーターTX2は、インク量の影響を受けにくいものや全く受けないものを扱う。もとより、第2質感パラメーターTX2についても、後述する実施形態のように、インク量により補正演算行なうものとしても差し支えない。例えば、質感パラメーターのうち、法線マップは画素値による影響を受けないか、受け難いので、第2質感パラメーターTX2として扱うことなどが考えられる。なお、こうした点は、以下に説明する第2実施形態以下の各実施形態でも同様である。
【0071】
B.第2実施形態:
(B1)質感設定部の構成:
次に、画像処理装置100の第2実施形態について説明する。第2実施形態の画像処理装置100は、第1実施形態と同様の構成を備え、第1実施形態の質感設定部130に代えて、
図12に示す質感設定部130Aを備える。質感設定部130Aは、図示するように、第1質感設定部131Aや第2質感設定部132Aの他、テーブル記憶部301、テーブル取得部302などを備える。テーブル取得部302は、印刷条件PCCを入力し、印刷条件PCCに基づいて、各種テーブルを記憶しているテーブル記憶部301から、質感パラメーターの設定に必要な各種テーブルを取得する。テーブル記憶部301が記憶しているテーブルは、インク量の演算に必要なインク量テーブルIAT、インク量に依存する質感を求めるためのインク量依存質感テーブルIDT、印刷媒体に依存する質感を求めるためのメディア依存質感テーブルMDTなどである。各テーブルの内容と機能については、必要に応じて以下で説明する。
【0072】
これらのテーブルのうち、インク量テーブルIATおよびインク量依存質感テーブルIDTは、第1質感設定部131Aで用いられ、インク量テーブルIATは、第1質感設定部131Aに備えられたインク量算出部311により参照され、デバイスカラー画像データDCDを構成する画素の画素値から印刷条件PCCによって定まる実際のインク量IAを算出するのに用いられる。他方インク量依存質感テーブルIDTは、同じく第1質感設定部131Aのインク量依存パラメーター算出部312によって参照され、特定された画素に吐出されるインク量IAに応じて、インク量に依存する質感パラメーター、つまり第1質感パラメーターTX1を算出するのに用いられる。
【0073】
他方、メディア依存質感テーブルMDTは、第2質感設定部132Aで用いられた、第2質感設定部132Aに備えられたメディア依存パラメーター算出部322により参照される。メディア依存質感テーブルMDTは、印刷条件PCCにより特定された印刷媒体に基づいて、印刷媒体の種類に応じて、印刷媒体に依存する質感パラメーター、つまり第2質感パラメーターTX2を算出するのに用いられる。
【0074】
質感設定部130Aによる各種質感の算出および設定は、以下のように行なわれる。質感設定部130Aは、印刷条件PCCを受け付け、テーブル取得部302により、印刷条件PCCに対応するインク量テーブルIAT、インク量依存質感テーブルIDT、メディア依存質感テーブルMDTを、テーブル記憶部301から取得する。これの各種テーブルは上述したように、第1質感設定部131Aおよび第2質感設定部132Aで用いられる。質感、例えば表面の滑らかさや金属性などは、印刷媒体により異なり、また印刷に用いられるインクの種類やインク量などによっても相違する。そこで、印刷条件PCCとして、印刷装置やインクセットの情報を入力すると、テーブル取得部302が、テーブル記憶部301に予め用意された多数の、各種テーブルから、対応するテーブルを取得する構成を採用している。
【0075】
こうした各種テーブルのうち、インク量テーブルIATとインク量依存質感テーブルIDTの一例を、
図13に示した。この例では、インク量テーブルIATとインク量依存質感テーブルIDTとを合体して示しているが、両テーブルはテーブル記憶部301では独立のテーブルとして記憶されている。インク量テーブルIATは、インクシステム、ここではデバイスカラー画像データDCDの各画素のCMYKの各色彩値の濃度を入力として、その場合のインク量データCMYKGyClを定義している。インク量データCMYKGyClのうち、Gyは、黒色インクの濃度が低いグレイインクの吐出量を意味し、Clは、透明なインクであるクリアインクの吐出量を意味する。従ってCMYKGyは、画像を形成する際に用いられるインク量である。他方、クリアインク量Clは、画像の形成には関わらないインクの吐出量を意味する。
【0076】
他方、インク量依存質感テーブルIDTは、インク量データCMYKGyClを入力として、複数の質感パラメーター、ここでは、印刷媒体の表面の滑らかさS、金属性M、RGB各色の鏡面反射成分s_R,s_G,s_B,法線マップnmの強度である法線スケールn_sが定義されている。
図13では、理解の便を図って、画素の色彩値CMYKに関して、第1行にイエローインクYのみ100%の場合を、第2行に無色(CMYKいずれも0%)の場合を、第3行に黒インクKのみ100%の場合を、第4行に黒インクKが90%の場合を、それぞれ示している。実際のインク量テーブルIATは、例えば画素の色彩値CMYKそれぞれを10%刻みで変更した場合のインク量を示す形式で保存されている。もとより、各インク量および総和には、インクデューティの制限があるので、インクデューティの制限内のデータでの関係をテーブルとして作成すればよい。各画素値の色彩値の割合は、更に細かい、例えば1%刻みでもよいし、もっと粗い刻みで変更してもよい。また各インクの割合を変更する刻みは、一律である必要はなく、画素値毎に異なる刻みとしてもよいし、濃度に応じて、インクの割合を変更する程度を異ならせてもよい。
【0077】
図示したインク量テーブルIATでは、第1行や第3行に示したように、画素の色彩値CMYKと、インク量CMYKとは対応している。他方、第2行に示したように、画素の色彩値がCMYKいずれも0(無色)であれば、紙白の部分に相当するが、インク量CMYKはいずれも0であるが、クリアインクClが100%となっている。つまりCMYKのインクによる画像が形成されない場所には、クリアインクClが吐出される。また、第4行に示すように、一つの色彩値が複数色のインクに置き換えられる場合がある。この例では、色彩値において黒色Kが90%は、黒インクKが80%とグレイインクGyが40%とに対応付けられている。下色除去の場合にも同様に、CMYの色彩値の一部が、黒インクKやグレイインクGyに置き換えられる。
【0078】
(B2)質感パラメーターの設定:
インク量依存質感テーブルIDTは、インク量テーブルIATにより変換された各色インク量CMYKGyClと質感パラメーターとの関係を定義している。図示した例では、第1行に示したように、イエローインクYのみが100%の場合は、インクが印刷媒体表面に存在することで、滑らかさSは値0.92とされ、金属性Mは値0ではなく値0.2程度とされる。これはイエローインクYにより生じることがあるブロンジング現象に対応した値である。イエローインクYが高濃度に存在すると、印刷媒体の表面は、ブロンズ色にテカって見える場合がある。RGB各色の鏡面反射成分s_R,s_G,s_Bは、図示のように、ブロンズ色に対応した値とされている。第3行に示した例は、黒インクKが100%の場合を示す。黒インクKの場合は、表面の滑らかさSは、他のインクより低く値0.8程度とされる。また、黒色なので、ほとんどの光は吸収されるから、金属性MやRGB各色の鏡面反射成分s_R,s_G,s_Bは、いずれもほぼ値0とされる。
【0079】
他方、第2行に示すように、インク量CMYKがいずれも0であり、クリアインクClが100%となっている場合、つまり各色インクによる画像が形成されない画素については、滑らかさSは値0.98、金属性Mは値0、RGB各色の鏡面反射成分s_R,s_G,s_Bは値0.9~1.0であり、法線スケールn_sが、値0.8と低い値に設定される。滑らかさS、金属性M、鏡面反射成分s_R,s_G,s_Bが第1質感パラメーターTX1であるのに対して、法線マップnmは印刷媒体に依存する質感であって、第2質感パラメーターTX2である。本実施形態の印刷装置のインクセットでは、画像形成に用いられるインク量によっては、画像が印刷される印刷媒体の法線マップnmは、ほとんど影響を受けないが、クリアインクClの影響は受ける。このため、クリアインクClが100%の場合、法線マップnmによるレンダリング時の影響を低減するために、法線マップnmの適用の強度を示す法線スケールn_mの値が小さくされる。
【0080】
第1質感設定部131Aは、上述したインク量テーブルIATとインク量依存質感テーブルIDTとを用いて、次のように動作する。インク量算出部311が、デバイスカラー画像データDCDから画素の色彩値CMYKを入力し、これに基づいてインク量テーブルIATを参照することにより、インク量データIAとして、各色CMYKGyのインク量とクリアインクClのインク量とを取得する。次のこのインク量IAに基づいて、インク量依存質感テーブルIDTを参照することにより、第1質感パラメーターTX1として、滑らかさS、金属性M、鏡面反射成分s_R,s_G,s_Bを取得し、更に法線スケールn_sを取得する。
これらの第1質感パラメーターTX1および法線スケールn_sは、レンダリング実行部121のピクセルパイプラインPPLに出力される。
【0081】
他方、第2質感設定部132Aでは、印刷条件PCCにより取得されたメディア依存質感テーブルMDTを参照することにより、印刷媒体の種類に対応するメディア依存パラメーターを取得する。第2実施形態では、メディア依存パラメーターは、法線マップnmである。法線マップnmは、第2質感パラメーターTX2として、第1質感パラメーターTX1等と共に、レンダリング実行部121のピクセルパイプラインPPLに出力される。
【0082】
インク量依存質感テーブルIDTにおける各質感の値は、印刷装置やインクセット、更には印刷媒体の種類によって異なるため、印刷装置×インクセット×印刷媒体の数だけ必要となる場合がある。また、印刷条件PCCとして、「ドラフト印刷」「高精細印刷」など、吐出するインク量が異なる印刷モードがあれば、更にその組み合わせだけ用意することが望ましい。もとより、似た質感となる組み合わせを求めて、インク量テーブルIATやインク量依存質感テーブルIDTの種類を減らすことも差し支えない。インク量テーブルIATやインク量依存質感テーブルIDTは、全てを質感設定部130Aに予め記憶しておいてもよいが、使用頻度の低いものは、外部のサイトに保存しておき、必要が生じた場合、ネットワーク等を介して、外部のサイトから読み込むものとしてもよい。また、これらの第1,第2質感パラメーターTX1,TX2等は、バラバラに出力してもよいし、マップ画像として一つのファイルに保存してピクセルパイプラインPPLに出力するようにしてもよい。
【0083】
以上説明した第2実施形態の画像処理装置100は、第1実施形態等と同様の作用効果を奏する上、第1質感パラメーターTX1をインク量テーブルIATとインク量依存質感テーブルIDTを用いて求め、第2質感パラメーターTX2をメディア依存質感テーブルMDTを用いて求めているので、多様な印刷条件PCC下において、マネージド画像データMGPの各画素値に対して、的確な質感パラメーターを用意することができる。また、印刷条件PCC毎の質感パラメーターTXTの調整も容易である。更に、第2実施形態では、第2質感パラメーターTX2である法線マップnmのレンダリング時の適用強度を、クリアインクClに基づいて取得される法線スケールn_sにより調整しているので、印刷媒体に依存する質感を一層細かく調整できる。
図14に、レンダリングされた印刷媒体の表示の一例を示す。図示するように、黒インクKが吐出された部位BKでは、光源LGの反射によるハイライト部の幅は、グレイインクGyが吐出され部位BGyより広い。また、画像が形成されておらず、クリアインクClが吐出された部位BClでは、法線スケールn_sが低いため、法線マップnmで規定される印刷媒体表面の凹凸による光源LGからの光の反射により生じる陰影、つまり凹凸模様が見えにくくなっている。デバイスカラー画像データDCDの色数より、吐出されるインクの種類が多く、例えばクリアインクClなどが用いられている場合でも、こうした特殊インクによる見え方への影響を考慮でき、レンダリング処理され、画像表示部151に表示される画像に、その影響を反映させることができる。他の特殊インク、例えばメタリックインクや白インクなどのインク量のように、画素の色彩値から直接導けないインク量による質感への影響も同様に考慮できる。
【0084】
(B3)変形例:
以上説明した第2実施形態では、印刷条件PCCとして特定した印刷装置が用いるインクセットは、CMYKのカラーインクであり、印刷媒体それ自体の質感パラメーターの一つとして法線マップnmを扱った。法線マップnmは、第2実施形態で用いたインクセットでは、画像を記録するインクの吐出量によっては影響を受けず、画像形成には関わらないクリアインクClの吐出量により設定される法線スケールn_sによりレンダリング時の適用強度を調整するものとした。これに対して、変形例では、印刷条件PCCとして特定した印刷装置が用いるインクセットは、画像形成用のCMYKインクとして、光硬化、具体的には紫外線硬化のインクを用いる。
【0085】
光硬化インクの場合、印刷媒体に吐出後、光硬化インクは紫外線の照射を受け、インクに含まれる光硬化樹脂が硬化する。このため、印刷媒体の表面の細かな凹凸は光硬化インクにより埋められ、光硬化インクの表面は、かなり平坦度高い状態となる。そこで、法線マップnmを第1質感パラメーターTX1として扱うものとし、
図13に例示したインク量依存質感テーブルIDTの法線スケールn_sに代えて、法線マップnmを規定する。この場合、CMYKの光硬化インクのインク量に応じて、法線マップnmにおける凹凸の程度が小さくなるように法線マップnmを指定するようすればよい。光硬化インクのインク量としては、CMYKのインク量の総和でもよいし、CMYKのインクのうち、最も多く吐出されるインクのインク量でもよい。もとより、インク量依存質感テーブルIDTにおいて、各色の光硬化インクのインク量の組み合わせごとに、用いる法線マップnmを指定するようにしてもよい。
【0086】
このように、同じパラメーターでも、印刷条件PCCによっては、第1質感パラメーターTX1として扱うことが好ましい場合と、第2質感パラメーターTX2として扱うことが好ましい場合が存在する。したがって、一つのパラメーターを第1質感パラメーターTX1として扱うか、第2質感パラメーターTX2として扱うかを、印刷条件PCCによって設定してもよい。こうすることで、印刷条件PCCに合わせた第1,第2質感パラメーターの設定が可能となり、印刷媒体の質感を考量したレンダリングによって、所定の印刷条件PCCにより画像が印刷された印刷媒体の見え方を、一層精度よく再現できる。
【0087】
C.第3実施形態:
第3実施形態は、印刷システム400としての形態である。この印刷システム400は、
図15に示すように、第1、第2実施形態で示した画像処理装置100と、印刷条件入力部415を備える画像準備装置410と、印刷装置420とを備える。画像準備装置410は、本実施形態では、利用者が使用するコンピューターであり、印刷しようとする画像データORGを用意する装置である。この画像準備装置410は、画像を作成する機能を有してもよいし、単に画像データを記憶しておき、必要に応じて、画像処理装置100に提供するものであってもよい。画像準備装置410は、画像処理装置100が画像データORGを取得できるように、ネットワークNWを介して接続されているが、有線または無線で画像処理装置100に直接接続されていてもよい。
【0088】
印刷装置420は、本実施形態では、画像準備装置410にネットワークNWを介して接続されており、画像準備装置410からの指示を受け、画像準備装置410が出力する画像データORGを印刷媒体PRMに印刷する。印刷システム400の利用者は、印刷装置420による印刷に先立って、画像データORGを画像処理装置100に取得させ、第1、第2実施形態において説明した様に、印刷媒体PRMを3Dオブジェクトとして扱い、かつ第1,第2質感パラメーターを用いたライティング処理を行なって、印刷媒体PRMを、その上に印刷された画像データを含めてレンダリングする。
【0089】
画像準備装置410に備えられた印刷条件入力部415は、印刷媒体に印刷される画像の印刷媒体上の見え方に影響する印刷条件、例えば印刷装置の種類、使用するインクセット、印刷媒体の種類などを設定する。印刷条件入力部415は、画像処理装置100に設けてもよい。印刷条件入力部415は、印刷条件、例えば所定の印刷媒体が収容された用紙トレイの選択、印刷媒体の種類、使用する印刷装置420の種類、印刷装置420が利用するインクセットの選択、印刷解像度、印刷の品質などの印刷条件から色変換に必要なブロファイルを設定したりする。画像処理装置100に備えられた質感設定部は、こうした印刷条件に基づいて、第1,第2質感パラメーターTX1,TX2を定め、画像処理装置100に設けられたレンダリング実行部に出力する。これらの処理は、第1,第2実施形態で説明したものと同様である。画像処理装置100は、第1,第2質感パラメーターTX1,TX2を用いてレンダリングを行なうので、画像が印刷される印刷媒体の見え方を印刷条件の違いを反映させて容易に確認できる。レンダリング条件データRCDは、
図15では、画像処理装置100に直接入力するものとして記載したが、印刷条件入力部415が、仮想空間における画像が印刷された印刷媒体の観察状態、仮想空間における印刷媒体に対する照明の情報である照明情報、仮想空間における3Dオブジェクトを特定するオブジェクト特定情報、仮想空間における背景を特定する背景情報などのオブジェクト条件データRCDを設定するものとしてもよい。
【0090】
第1,第2質感パラメーターTX1,TX2は、第1、第2実施形態のいずれの手法で設定するものとしてもよいが、
図15では、各種テーブルTTBを用いた手法、具体的には、第2実施形態として説明した手法で設定するものとして図示している。この手法では、印刷条件から第1質感パラメーターTX1を求めるためのインク量テーブルIATやインク量依存質感テーブルIDT、第2質感パラメーターTX2を求めるためのメディア依存質感テーブルMDTなどの各種テープルTTBが必要となる。図では、各種テーブルTTBは、ネットワークNWを介して接続された外部サイト200に記憶されている。画像準備装置410の印刷条件入力部415が印刷条件を入力すると、これを受けた画像処理装置100の質感設定部が、ネットワークNWを介して、外部サイト200に記憶された各種テーブルTTBを参照して、第1,第2質感パラメーターTX1,TX2を設定する。これら第1,第2質感パラメーターTX1,TX2は、画像処理装置100の図示しないレンダリング実行部のピクセルパイプラインに出力され、レンダリング処理に用いられる。
【0091】
利用者は、画像処理装置100によるレンダリング結果を画像表示部151上で確認し、必要があれば、視点や光源の位置、あるいは光源の強さやホワイトバランスなどを変更して、印刷媒体PRMの見え方を確認し、その後、画像データORGをネットワークNWを介して、画像準備装置410から印刷装置420に出力して、印刷媒体PRMに画像データORGを印刷する。利用者は、印刷に先立って、印刷媒体PRMにおける画像の見え方を、第1,第2質感パラメーターTX1,TX2を考量した画像処理装置100による物理ベースのレンダリングにより確認できる。この結果、印刷媒体PRMの表面に画像を形成するインクの影響を受けた滑らかさ(粗さ)などを含めた質感の違いや、印刷媒体PRMの種類による質感の違いを確認してから印刷できる。画像表示部151に表示されたレンダリング結果を見て、所望の印刷結果が得られるように、画像データORGの色彩を変更したり、用いる印刷媒体PRMの種類を変えたり、印刷に利用する印刷装置420を変更したり、あるいはそのインクセットや印刷媒体、更には印刷品質や解像度等を変更したりすることも可能である。
【0092】
印刷装置420が印刷する印刷媒体は、用紙以外のものであってもよい。例えば生地に印刷する捺染プリンターや缶や瓶などの固形物に印刷する印刷装置であってもよい。また、対象物に直接印刷する構成の他、転写紙のような転写用媒体に印刷を行ない、転写用媒体上に形成されたインクを印刷媒体である生地や固形物に転写する印刷装置の構成も採用可能である。こうした転写型の印刷装置としては、昇華型の印刷装置がある。こうした転写型の構成では、印刷媒体は、転写された最終印刷物である。こうした場合には、印刷媒体である生地や金属、ガラスやプラスチックなどの表面の構造や質感に関与する質感パラメーター等を、印刷媒体の性質に合わせて用意し、画像処理装置100で物理ベースレンダリングを行なえばよい。転写型の印刷装置においても、質感パラメーターは、転写用媒体ではなく、最終印刷物の質感を表わすものを用いる。こうした生地や缶に印刷した場合の画像表示部151での表示例を、
図16に示した。図では理解の便を図って、Tシャツに印刷したオブジェクトOBJtと、缶に印刷したオブジェクトOBJcとを併せて示したが、通常は1つの印刷媒体ずつ表示される。もとよりレンダリング実行部を複数用意し、物理ベースレンダリングの結果を、複数同時に表示するようにしてもよい。
【0093】
D.他の実施形態:
(1)本開示は以下の形態でも実施可能である。その実施形態の1つは、画像処理装置としての形態である。この画像処理装置は、印刷媒体上に形成される印刷画像の画素値を含む印刷画像データを入力する画像入力部と、前記印刷画像データにより、前記印刷媒体上に形成される前記印刷画像に用いられる印刷記録材の量である印刷記録材量を求める印刷記録材量決定部と、前記印刷記録材量に従って、前記印刷記録材の存在による前記印刷媒体表面の質感を表わす第1質感パラメーターを設定する第1質感設定部と、前記印刷媒体それ自体の質感を表わす第2質感パラメーターを設定する第2質感設定部と、前記印刷画像データと、前記第1質感パラメーターと、前記第2質感パラメーターとを用いたレンダリング処理により、前記印刷画像が形成された前記印刷媒体のレンダリング画像を生成するレンダリング実行部とものとしてよい。
【0094】
こうすれば、画像データに基づいて印刷された印刷媒体がどのように見えるかを、印刷媒体に形成される画像の画素値を考慮した第1質感パラメーターと、印刷媒体それ自体の質感を表わす第2質感パラメーターとを用いたレンダリング処理により、再現できる。この画像処理装置では、印刷媒体を、画像が印刷されるものとして、レンダリングして、印刷画像が形成された印刷媒体のレンダリング画像を生成するので、画像が印刷される印刷媒体の見え方を、高精度に再現できる。特に、画像が形成される領域と非形成領域とで異なる質感が現れる現象を、再現することができるだけでなく、印刷媒体それ自体の質感の違いも再現でき、一層リアルなレンダリング画像を見せることができる。従って、印刷媒体において生じ得る様々な質感を、実際に印刷することなく、利用者に見せ、確認させることができる。また、こうしたレンダリング画像の形成は、元の画像を編集するのではなく、レンダリング処理における第1質感パラメーターや第2質感パラメーターを用いて行なうので、光源や視点の影響をリアルタイムに反映、確認することも可能である。これにより色味を含めて印刷に先立って、画像が形成される印刷媒体の見え方を確認でき、印刷しようとする画像と印刷媒体とを組み合わせた際の印象に齟齬が生じることが抑制され、元の画像や印刷条件を調整してトライ&エラーを繰り返すといったことが減り、印刷を試行する費用と時間を削減することも可能となる。
【0095】
印刷記録材量を考量した第1質感パラメーターの設定とは、例えば印刷記録材により画像が形成される部分と画像が形成されない部分で第1質感パラメーターの値を異ならせる場合などを含む。また、画素毎の印刷記録材量に応じて第1質感パラメーターを変更するものに限らず、各画素における印刷記録材量の所定の範囲での平均値や中央値などの統計的指標を用いて、第1質感パラメーターを設定するといった構成を採用してもよい。第1質感パラメーターの設定は、印刷記録材によって様々な手法で行なうことができる。例えば、第1質感パラメーターが金属性の場合は、特定の色の印刷記録材量に応じて金属性の値を定めることがある。また、印刷記録材がインクである場合でも、熱昇華型のインクにより画像形成する場合と染料や顔料を溶媒と共に吐出するインクジェットプリンター等の場合とでは、インク量によって第1質感パラメーターの設定の内容は相違する。レーザープリンターなどのように、印刷記録材であるトナーを熱溶着する場合も、トナーに対する第1質感パラメーターの設定の態様は異なる。それぞれの印刷記録材の性質に合わせて、設定の態様を決定すればよい。
【0096】
こうした画像処理装置は、上記の画像処理だけを行なう装置として構成してもよいし、印刷しようとする画像を保存する機能を含む装置として構成してもよい。あるいは、印刷しようとする画像を作成する機能を含む装置や、画像を印刷する装置として構成してもよい。画像処理装置は、GPUを備えたコンピューターにより実現してもよいし、必要な機能を複数のサイトに置き、連携可能とした分散システムとして構成してもよい。分散型のシステムとして構成した場合、端末の処理負荷が軽減されるので、タブレットなどの携帯端末でも上記の画像処理を実行しやすくなり、利用者の利便性がさらに向上する。
【0097】
こうした画像処理装置におけるレンダリング実行部は、既存の各種構成が採用可能である。一般にレンダリングは、3次元のワールド座標を視点から見た座標系に変換する視点変換、3Dオブジェクトからレンダリングに不要な頂点を除くカリング、不可視の座標を除くクリッピング、ラスタライズ、といった複数の要素に分けて実施されてもよい。これらの処理は、専用のGPUでの処理に適した構成とし、3Dオブジェクトの頂点に関する処理を行なう頂点パイプラインやラスタライズされた各ピクセルについての処理を行なうピクセルパイプラインを備えたパイプライン構成により実現してもよい。
【0098】
第1質感パラメーターとしては、印刷媒体の表面の滑らかや粗さ、金属性、鏡面反射色(specularColor)、などが設定可能である。また、第2質感パラメーターとしては、法線マップ(Normal Map)、印刷媒体表面のクリアコート層の有無、その厚さ、あるいは透明度などを示すクリアコート層パラメーター、などがある。第2質感パラメーターは、印刷媒体それ自体の質感を表わすものであるが、画像を形成するのに用いられる記録材以外に印刷媒体の表面に塗布される材による、影響を受けることがある。例えば、法線マップとして表わされ得る印刷媒体表面の凹凸は、印刷媒体表面に塗布されるクリアインクの存在により、低下する場合があり、影響を受ける。従って、こうした記録材以外の材の有無や塗布量に基づいて、第2質感パラメーターTX2を修正するようにしてもよい。法線マップであれば、その適用強度を修正する法線スケールなどを、クリアインク量により設定するものとし、法線マップの値を修正するようにしてもよい。この他、印刷媒体の見え方に影響を与える要素であれば、第1または第2質感パラメーターとして扱ってよい。
【0099】
こうした各種の第1,第2質感パラメーターを扱う場合、印刷条件が特定された印刷媒体の質感を、印刷画像の形成箇所における印刷画像データの画素値を考慮して設定する際の考慮の態様は、画像を形成する際の記録方式や画像を形成する記録材などの違いにより、それぞれ異なる。画像の記録方式としては、インクジェットブリンターのみならず、レーザープリンター、染料昇華型のプリンター(ダイレクトタイブ、転写タイプ)、などがあり、記録材としては、溶剤と共に吐出される染料や顔料、染料インクや顔料インク、熱熱溶着されるトナー、固体染料など、種々のものがある。従って、質感パラメーターを設定する際には、こうした違いに応じて画素値を考慮すればよい。
【0100】
画像処理装置が扱う画素値や印刷記録材量は、8ビット整数であれば、0~255までの値を取るが、8ビットに限らず、12ビットなどの表現形式であってもよい。あるいは、0~100%や0~1.0の範囲をとる値として扱うことも差し支えない。
【0101】
(2)上記の(1)の構成において、前記印刷記録材量決定部は、前記印刷媒体に画像を形成する際に用いる印刷記録材の量に影響を与える印刷条件を考慮して、前記印刷記録材量を求めるものとしてよい。こうすれば、印刷媒体に画像を形成する際に用いる印刷記録材の量に影響を与える印刷条件、例えば画像を印刷する際の解像度、設定された印字品質、記録材量が相違する記録媒体の種類等を考慮して印刷記録材量を求めることができる。従って、第1質感パラメーターを用いた質感の再現を、一層精度よく行なうことができる。
【0102】
(3)上記の(1)または(2)の構成において 前記第1質感設定部は、前記印刷記録材量に従う前記第1質感パラメーターを、前記印刷条件に応じて設定するものとしてよい。こうすれば、第1質感パラメーターの設定が容易となる。印刷条件に応じた第1質感パラメーターの設定は、ルックアップテーブル(LUT)などを用いてもよいし、条件毎に演算するものとしてもよい。また、印刷条件によらず一定の第1質感パラメーターが存在してもよい。
【0103】
(4)上記の(1)から(3)の構成において、前記第1質感設定部は、前記印刷条件に従って、第1質感パラメーターを決定するための基準値を取得し、前記基準値を、前記印刷記録材量により補正することで、前記第1質感パラメーターを設定するものとしてよい。こうすれば、簡単な演算で、第1質感パラメーターを印刷記録材量に応じて設定できる。なお、本明細書における「補正」とは、パラメーターを本来の値にする処理のみならず、パラメーターを本来の値に一定程度近づける処理であるパラメーターの修正処理を含む。
【0104】
(5)上記の(1)から(4)の構成において、前記印刷条件は、前記印刷画像の形成を行なう印刷装置の機種、前記印刷媒体の種類、前記印刷画像を形成する際の解像度、前記印刷画像を形成する際の印刷品質のうちの少なくとも一つを含むものとしてよい。こうすれば、印刷記録材量を実際に近い値に決定しやすい。もとより、これら以外の条件を考慮することも差し支えない。
【0105】
(6)上記の(1)から(5)の構成において、前記第1質感設定部は、前記印刷記録材量と前記第1質感パラメーターとを対応付けた質感設定テーブルを用いて前記第1質感パラメーターを設定するものとしてよい。こうすれば、予め質感設定テーブルを用意するだけで、容易に第1質感パラメーターを設定でき、また印刷条件が多岐に亘る場合でも、容易に対応できる。印刷記録材量と第1質感パラメーターとの間に複数の対応関係が存在しても、テーブルを選択するだけで対応できる。基本的な関係を示すテーブルを、一つまたは複数記憶しておき、複数の印刷条件や印刷記録材量の違いを、テーブルに記憶した値から補正により求めるといった構成とすることも可能である。
【0106】
(7)上記の(1)から(6)の構成において、前記印刷記録材は、前記第1質感パラメーターに対する影響が予め定めた閾値より大きな第1印刷記録材と、前記閾値未満の第2印刷記録材とを含み、前記質感設定テーブルは、前記第1印刷記録材と対応付けられているものとしてよい。こうすれば、第1質感パラメーターへの影響が大きい印刷記録材の量に基づいて第1質感パラメーターを設定できるので、処理の簡便さと、第1質感パラメーターの設定の精度とを両立させやすい。もとより、全ての第1印刷記録材と第2印刷記録材など全ての印刷記録材の量を考慮しても良く、影響が閾値より大きい複数の印刷記録材の量を考慮するものとしてもよい。
【0107】
(8)上記の(1)から(7)の構成において、前記第1質感設定部は、前記印刷記録材量から第1質感パラメーターを求める関数を用いて前記第1質感パラメーターを設定するものとしてよい。こうすれば、関数を用いた演算により、容易に第1質感パラメーターを設定できる。もとより、関数とテーブル参照とを組み合わせてもよい。第2実施形態に即して言えば、インク量テーブルIATとインク量依存質感テーブルIDTの一方を関数により結果を求めるものとしてもよい。関数は、複数の簡易な関数を組み合わせるものとしてもよく、単一の関数であってもよい。印刷条件に応じた複数の関数を用意して、印刷条件により切り換える様にしてもよい。
【0108】
上述した第1質感設定部や第2質感設定部は、レンダリング実行部とは別に設けてもよいが、レンダリング実行部内に設けてもよい。例えば、第1質感設定部や第2質感設定部の少なくとも一方を、レンダリング実行部内で質感を扱う構成、例えばピクセルシェーダー内部に設けてもよい。この場合、設定した第1,第2質感パラメーターは、ピクセルシェーダー内での質感表現の演算処理に直接用いることができる。第1,第2質感設定部の少なくとも一方をピクセルシェーダーの内部に備えるこの構成によれば、レダリングする画像の読み込みからレンダリング結果の最初の表示までの時間を短縮できる。
【0109】
(9)上記の(1)から(8)の構成において、前記第2質感設定部は、前記第2質感パラメーターを前記印刷記録材とは異なる材であって、前記印刷媒体に付与される付与材を考量して前記第2質感パラメーターを補正するものとしてよい。こうすれば、例えばクリアインクのように、印刷媒体上の画像の形成には関わらない付与材により、印刷媒体それ自体の質感、例えば法線マップの影響を補正するといった対応が可能となり、印刷媒体の見え方を一層精度よく再現できる。もとより、こうした付与材による補正は行なわなくてもよく、付与材の量が予め定めた閾値より大きい場合にのみ補正を行なうようにしてもよい。
【0110】
(10)上記の(1)から(9)の構成において、前記第1質感設定部は、前記第1質感パラメーターを、前記印刷画像を構成する画素毎に、前記画素の前記画素値に従って設定するものとしてよい。画素値は、画像が形成される画素において有意の値を持つので、画像の記録を行なう印刷記録材の量を参照して第1質感パラメーターを設定する代わりに、画素値を用いて第1質感パラメーターを設定しても、同様の作用効果を得られる。
【0111】
(11)上記の(1)から(10)の構成において、前記付与材は、透明インク、前記印刷媒体の表面をコートするコート材、漂白増感剤のうちの少なくとも一つを含むものとしてよい。こうすれば、画像を形成する印刷記録材とは異なる透明インク(クリアインク)やコート材、漂白増感剤などの影響を反映した質感の表現が可能となる。
【0112】
(12)本開示は、上記の(1)から(11)のいずれかの画像処理装置と、前記画像処理装置が生成した前記レンダリング画像を表示する表示部と、前記印刷画像データを前記印刷媒体に印刷する印刷装置とを備える印刷システムとして実施する実施形態を含む。こうすれば、印刷記録材によって影響を受ける質感や印刷媒体それ自体の質感を再現する印刷システムを容易に実現できる。
【0113】
(13)本開示は、画像が印刷された印刷媒体のレンダリング画像を生成する画像処理プログラムとしても実施できる。この画像処理プログラムは、前記印刷媒体上に形成される印刷画像の各画素の画素値を含む印刷画像データを入力する第1機能と、前記印刷画像データにより、前記印刷媒体上に形成される前記印刷画像に用いられる印刷記録材の量である印刷記録材量を求める第2機能と、前記印刷記録材量に従って、前記印刷記録材の存在による前記印刷媒体表面の質感を表わす第1質感パラメーターを設定する第3機能と、前記印刷媒体それ自体の質感を表わす第2質感パラメーターを設定する第4機能と、前記印刷画像データと、前記第1質感パラメーターと、前記第2質感パラメーターとを用いたレンダリング処理により、前記印刷画像が形成された前記印刷媒体のレンダリング画像を生成する第5機能と、をコンピューターにより実現する。こうすれば、上述した各画像処理装置と同様に、印刷記録材により画像が形成される印刷媒体の見え方を精度よく再現できなどの作用効果を奏する。
【0114】
(14)上記各実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよい。あるいは、ソフトウェアによって実現されていた構成の少なくとも一部は、ハードウェアによる構成として、例えばディスクリートな回路構成により実現してもよい。また、本開示の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータープログラム)は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやCD-ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。すなわち、「コンピューター読み取り可能な記録媒体」とは、データパケットを一時的ではなく固定可能な任意の記録媒体を含む広い意味を有している。
【0115】
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【0116】
100…画像処理装置、111…カラーマネージメントシステム、121…レンダリング実行部、125…レンダリング条件設定部、130,130A…質感設定部、131,131A…第1質感設定部、132,132A…第2質感設定部、139…画像メモリー、151…画像表示部、171…記憶部、200…サイト、301…テーブル記憶部、302…テーブル取得部、311…インク量算出部、312…インク量依存パラメーター算出部、322…メディア依存パラメーター算出部、400…印刷システム、410…画像準備装置、415…印刷条件入力部、420…印刷装置