知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024025926
(43)【公開日】2024-02-28
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20240220BHJP
G06T 7/90 20170101ALI20240220BHJP
【ＦＩ】
G06T1/00 510
G06T7/90 A
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022129310
(22)【出願日】2022-08-15
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(72)【発明者】
【氏名】針貝 潤吾
(72)【発明者】
【氏名】宇野 美穂
(72)【発明者】
【氏名】桑田 良隆
【テーマコード（参考）】
5B057
5L096
【Ｆターム（参考）】
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE17
5B057DB02
5B057DB06
5B057DB09
5B057DC08
5L096AA02
5L096AA06
5L096CA02
(57)【要約】
【課題】実空間で撮像された画像をそのまま使用して物体の見え方をシミュレーションする場合に比して、シミュレーションの結果を実際の見え方に近づける。
【解決手段】プロセッサが、実空間を撮像した画像の照度分布から主要な照明の情報を取得し、主要な照明の情報により補正した照度分布を使用して物品の表現を制御する、情報処理装置を提供する。
【選択図】図３
【解決手段】プロセッサが、実空間を撮像した画像の照度分布から主要な照明の情報を取得し、主要な照明の情報により補正した照度分布を使用して物品の表現を制御する、情報処理装置を提供する。
【選択図】図３
【特許請求の範囲】
【請求項1】
プロセッサを有し、
前記プロセッサは、
実空間を撮像した画像の照度分布から主要な照明の情報を取得し、
前記主要な照明の情報により補正した照度分布を使用して物品の表現を制御する、
情報処理装置。
前記プロセッサは、
実空間を撮像した画像の照度分布から主要な照明の情報を取得し、
前記主要な照明の情報により補正した照度分布を使用して物品の表現を制御する、
情報処理装置。
【請求項2】
前記プロセッサは、
前記照度分布から主要な照明の色を推定し、前記主要な照明の情報として使用する、
請求項１に記載の情報処理装置。
前記照度分布から主要な照明の色を推定し、前記主要な照明の情報として使用する、
請求項１に記載の情報処理装置。
【請求項3】
前記プロセッサは、
前記照度分布から主要な照明の強度を推定し、前記主要な照明の情報として使用する、
請求項１又は２に記載の情報処理装置。
前記照度分布から主要な照明の強度を推定し、前記主要な照明の情報として使用する、
請求項１又は２に記載の情報処理装置。
【請求項4】
前記プロセッサは、
前記照度分布を表す第１関数に対する、前記主要な照明の情報を表す第２関数の加算により、当該照度分布を補正した第３関数を算出し、前記補正した照度分布とする、
請求項１に記載の情報処理装置。
前記照度分布を表す第１関数に対する、前記主要な照明の情報を表す第２関数の加算により、当該照度分布を補正した第３関数を算出し、前記補正した照度分布とする、
請求項１に記載の情報処理装置。
【請求項5】
前記プロセッサは、
前記第２関数を固定値として前記第１関数に加算する、
請求項４に記載の情報処理装置。
前記第２関数を固定値として前記第１関数に加算する、
請求項４に記載の情報処理装置。
【請求項6】
前記プロセッサは、
前記第１関数と前記第２関数の加重平均として前記第３関数を算出する、
請求項４に記載の情報処理装置。
前記第１関数と前記第２関数の加重平均として前記第３関数を算出する、
請求項４に記載の情報処理装置。
【請求項7】
前記プロセッサは、
前記主要な照明の位置と前記照度分布上の各画素との位置関係により光沢の度合いを与える指標を算出し、
算出された前記指標で補正した前記第２関数を前記第１関数に加算して前記第３関数を算出する、
請求項４に記載の情報処理装置。
前記主要な照明の位置と前記照度分布上の各画素との位置関係により光沢の度合いを与える指標を算出し、
算出された前記指標で補正した前記第２関数を前記第１関数に加算して前記第３関数を算出する、
請求項４に記載の情報処理装置。
【請求項8】
前記プロセッサは、
前記主要な照明の位置との距離が小さい画素に対する前記指標の値を、
前記主要な照明の位置との距離が大きい画素に対する前記指標の値よりも大きい値に設定する、
請求項７に記載の情報処理装置。
前記主要な照明の位置との距離が小さい画素に対する前記指標の値を、
前記主要な照明の位置との距離が大きい画素に対する前記指標の値よりも大きい値に設定する、
請求項７に記載の情報処理装置。
【請求項9】
前記プロセッサは、
前記主要な照明の位置に対する角度差が小さい画素に対する前記指標の値を、
前記主要な照明の位置に対する角度差が大きい画素に対する前記指標の値よりも大きい値に設定する、
請求項７に記載の情報処理装置。
前記主要な照明の位置に対する角度差が小さい画素に対する前記指標の値を、
前記主要な照明の位置に対する角度差が大きい画素に対する前記指標の値よりも大きい値に設定する、
請求項７に記載の情報処理装置。
【請求項10】
前記プロセッサは、
前記指標を重み係数で補正した前記第２関数を前記第１関数に加算して前記第３関数を算出する、
請求項７に記載の情報処理装置。
前記指標を重み係数で補正した前記第２関数を前記第１関数に加算して前記第３関数を算出する、
請求項７に記載の情報処理装置。
【請求項11】
前記プロセッサは、
前記指標で補正した前記第２関数と前記第１関数の加重平均として前記第３関数を算出する、
請求項７に記載の情報処理装置。
前記指標で補正した前記第２関数と前記第１関数の加重平均として前記第３関数を算出する、
請求項７に記載の情報処理装置。
【請求項12】
コンピュータに、
実空間を撮像した画像の照度分布から主要な照明の情報を取得する機能と、
前記主要な照明の情報により補正した前記照度分布を使用して物品の表現を制御する機能と、
を実現させるためのプログラム。
実空間を撮像した画像の照度分布から主要な照明の情報を取得する機能と、
前記主要な照明の情報により補正した前記照度分布を使用して物品の表現を制御する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
物体の色味や光沢の見え方をコンピュータ技術により再現する技術の１つに、物理ベースレンダリングがある。ただし、物理ベースレンダリングは計算量が大きく、リアルタイムでのシミュレーションに難がある。そこで、照度分布を物体の全ての法線方向について予め算出することにより、照度の分布の再現に必要な算出コストを低減する手法も使用されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００２－２３６９３８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
今日、撮像地点の全方位を一度に撮像可能なカメラが実用化されている。この種のカメラは、全天球カメラとも呼ばれ、全天球カメラで撮像された画像は３６０度パノラマ画像（以下、「全天球画像」ともいう。）とも呼ばれる。全天球画像には、撮像地点における環境光の情報（以下、「輝度情報」ともいう。）が含まれている。この全天球画像の活用により、任意の地点における物体の色味や光沢の見え方をシミュレーションすることが可能になる。なお、全天球画像は、実空間を撮像した画像（以下、「環境光画像」という。）の一例である。
一方で、全天球画像から得られる輝度情報は、実空間での主要な照明光の色や照度と異なることがある。例えば快晴の空の下に白色の紙を設置する場合の見え方をシミュレーションする場合、太陽の方向と紙の法線との関係により紙面が青みを帯びたり、照度が低く再現されることがある。
一方で、全天球画像から得られる輝度情報は、実空間での主要な照明光の色や照度と異なることがある。例えば快晴の空の下に白色の紙を設置する場合の見え方をシミュレーションする場合、太陽の方向と紙の法線との関係により紙面が青みを帯びたり、照度が低く再現されることがある。
【0005】
本発明は、実空間で撮像された画像をそのまま使用して物体の見え方をシミュレーションする場合に比して、シミュレーションの結果を実際の見え方に近づけることを目的とする。
【課題を解決するための手段】
【0006】
請求項１に記載の発明は、プロセッサを有し、前記プロセッサは、実空間を撮像した画像の照度分布から主要な照明の情報を取得し、前記主要な照明の情報により補正した照度分布を使用して物品の表現を制御する、情報処理装置である。
請求項２に記載の発明は、前記プロセッサは、前記照度分布から主要な照明の色を推定し、前記主要な照明の情報として使用する、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記プロセッサは、前記照度分布から主要な照明の強度を推定し、前記主要な照明の情報として使用する、請求項１又は２に記載の情報処理装置である。
請求項４に記載の発明は、前記プロセッサは、前記照度分布を表す第１関数に対する、前記主要な照明の情報を表す第２関数の加算により、当該照度分布を補正した第３関数を算出し、前記補正した照度分布とする、請求項１に記載の情報処理装置である。
請求項５に記載の発明は、前記プロセッサは、前記第２関数を固定値として前記第１関数に加算する、請求項４に記載の情報処理装置である。
請求項６に記載の発明は、前記プロセッサは、前記第１関数と前記第２関数の加重平均として前記第３関数を算出する、請求項４に記載の情報処理装置である。
請求項７に記載の発明は、前記プロセッサは、前記主要な照明の位置と前記照度分布上の各画素との位置関係により光沢の度合いを与える指標を算出し、算出された前記指標で補正した前記第２関数を前記第１関数に加算して前記第３関数を算出する、請求項４に記載の情報処理装置である。
請求項８に記載の発明は、前記プロセッサは、前記主要な照明の位置との距離が小さい画素に対する前記指標の値を、前記主要な照明の位置との距離が大きい画素に対する前記指標の値よりも大きい値に設定する、請求項７に記載の情報処理装置である。
請求項９に記載の発明は、前記プロセッサは、前記主要な照明の位置に対する角度差が小さい画素に対する前記指標の値を、前記主要な照明の位置に対する角度差が大きい画素に対する前記指標の値よりも大きい値に設定する、請求項７に記載の情報処理装置である。
請求項１０に記載の発明は、前記プロセッサは、前記指標を重み係数で補正した前記第２関数を前記第１関数に加算して前記第３関数を算出する、請求項７に記載の情報処理装置である。
請求項１１に記載の発明は、前記プロセッサは、前記指標で補正した前記第２関数と前記第１関数の加重平均として前記第３関数を算出する、請求項７に記載の情報処理装置である。
請求項１２に記載の発明は、コンピュータに、実空間を撮像した画像の照度分布から主要な照明の情報を取得する機能と、前記主要な照明の情報により補正した前記照度分布を使用して物品の表現を制御する機能と、を実現させるためのプログラムである。
請求項２に記載の発明は、前記プロセッサは、前記照度分布から主要な照明の色を推定し、前記主要な照明の情報として使用する、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記プロセッサは、前記照度分布から主要な照明の強度を推定し、前記主要な照明の情報として使用する、請求項１又は２に記載の情報処理装置である。
請求項４に記載の発明は、前記プロセッサは、前記照度分布を表す第１関数に対する、前記主要な照明の情報を表す第２関数の加算により、当該照度分布を補正した第３関数を算出し、前記補正した照度分布とする、請求項１に記載の情報処理装置である。
請求項５に記載の発明は、前記プロセッサは、前記第２関数を固定値として前記第１関数に加算する、請求項４に記載の情報処理装置である。
請求項６に記載の発明は、前記プロセッサは、前記第１関数と前記第２関数の加重平均として前記第３関数を算出する、請求項４に記載の情報処理装置である。
請求項７に記載の発明は、前記プロセッサは、前記主要な照明の位置と前記照度分布上の各画素との位置関係により光沢の度合いを与える指標を算出し、算出された前記指標で補正した前記第２関数を前記第１関数に加算して前記第３関数を算出する、請求項４に記載の情報処理装置である。
請求項８に記載の発明は、前記プロセッサは、前記主要な照明の位置との距離が小さい画素に対する前記指標の値を、前記主要な照明の位置との距離が大きい画素に対する前記指標の値よりも大きい値に設定する、請求項７に記載の情報処理装置である。
請求項９に記載の発明は、前記プロセッサは、前記主要な照明の位置に対する角度差が小さい画素に対する前記指標の値を、前記主要な照明の位置に対する角度差が大きい画素に対する前記指標の値よりも大きい値に設定する、請求項７に記載の情報処理装置である。
請求項１０に記載の発明は、前記プロセッサは、前記指標を重み係数で補正した前記第２関数を前記第１関数に加算して前記第３関数を算出する、請求項７に記載の情報処理装置である。
請求項１１に記載の発明は、前記プロセッサは、前記指標で補正した前記第２関数と前記第１関数の加重平均として前記第３関数を算出する、請求項７に記載の情報処理装置である。
請求項１２に記載の発明は、コンピュータに、実空間を撮像した画像の照度分布から主要な照明の情報を取得する機能と、前記主要な照明の情報により補正した前記照度分布を使用して物品の表現を制御する機能と、を実現させるためのプログラムである。
【発明の効果】
【0007】
請求項１記載の発明によれば、実空間で撮像された画像をそのまま使用して物体の見え方をシミュレーションする場合に比して、シミュレーションの結果を実際の見え方に近づけることができる。
請求項２記載の発明によれば、実空間における主要な照明の色をシミュレーションの結果に反映できる。
請求項３記載の発明によれば、実空間における主要な照明の強度をシミュレーションの結果に反映できる。
請求項４記載の発明によれば、実空間における主要な照明の影響をシミュレーションの結果に反映できる。
請求項５記載の発明によれば、物体の見え方の再現性を高めることができる。
請求項６記載の発明によれば、物体の見え方の再現性を高めることができる。
請求項７記載の発明によれば、光沢の再現性を高めることができる。
請求項８記載の発明によれば、光沢の再現性を高めることができる。
請求項９記載の発明によれば、光沢の再現性を高めることができる。
請求項１０記載の発明によれば、光沢の再現性の精度を一段と高めることができる。
請求項１１記載の発明によれば、光沢の再現性の精度を一段と高めることができる。
請求項１２記載の発明によれば、実空間で撮像された画像をそのまま使用して物体の見え方をシミュレーションする場合に比して、シミュレーションの結果を実際の見え方に近づけることができる。
請求項２記載の発明によれば、実空間における主要な照明の色をシミュレーションの結果に反映できる。
請求項３記載の発明によれば、実空間における主要な照明の強度をシミュレーションの結果に反映できる。
請求項４記載の発明によれば、実空間における主要な照明の影響をシミュレーションの結果に反映できる。
請求項５記載の発明によれば、物体の見え方の再現性を高めることができる。
請求項６記載の発明によれば、物体の見え方の再現性を高めることができる。
請求項７記載の発明によれば、光沢の再現性を高めることができる。
請求項８記載の発明によれば、光沢の再現性を高めることができる。
請求項９記載の発明によれば、光沢の再現性を高めることができる。
請求項１０記載の発明によれば、光沢の再現性の精度を一段と高めることができる。
請求項１１記載の発明によれば、光沢の再現性の精度を一段と高めることができる。
請求項１２記載の発明によれば、実空間で撮像された画像をそのまま使用して物体の見え方をシミュレーションする場合に比して、シミュレーションの結果を実際の見え方に近づけることができる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１で使用する印刷システムの構成例を示す図である。
【図2】情報処理装置のハードウェア構成を説明する図である。
【図3】プロセッサによるシミュレーション例１を説明する図である。
【図4】ディスプレイに表示されるシミュレーション結果の一例を説明する図である。
【図5】ディスプレイに表示されるシミュレーション結果の他の例を説明する図である。
【図6】プロセッサによるシミュレーション例２を説明する図である。
【図7】プロセッサによるシミュレーション例３を説明する図である。
【図8】光沢感係数を主要な照明と各画素との距離で定義する例を説明する図である。
【図9】光沢感係数を主要な照明と各画素との角度差で定義する例を説明する図である。
【図10】ディスプレイに表示されるシミュレーション結果の他の例を説明する図である。
【図11】ディスプレイに表示されるシミュレーション結果の他の例を説明する図である。
【図12】プロセッサによるシミュレーション例４を説明する図である。
【図13】重み付け光沢感係数の例を説明する図である。（Ａ）は光沢感係数が距離の関数で与えられる場合における重み付け光沢感係数を示し、（Ｂ）は光沢感係数が角度差の関数で与えられる場合における重み付け光沢感係数を示す。
【図14】プロセッサによるシミュレーション例５を説明する図である。
【図15】実施の形態２で使用する情報処理システムの構成例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜システム構成＞
図１は、実施の形態１で使用する印刷システム１の構成例を示す図である。
図１に示す印刷システム１は、クライアント端末１０と、画像形成装置２０と、印刷サーバ３０とで構成されている。これらの端末は、ネットワークＮ経由で通信可能に接続されている。
なお、クライアント端末１０と印刷サーバ３０は、情報処理装置の一例である。
＜実施の形態１＞
＜システム構成＞
図１は、実施の形態１で使用する印刷システム１の構成例を示す図である。
図１に示す印刷システム１は、クライアント端末１０と、画像形成装置２０と、印刷サーバ３０とで構成されている。これらの端末は、ネットワークＮ経由で通信可能に接続されている。
なお、クライアント端末１０と印刷サーバ３０は、情報処理装置の一例である。
【0010】
クライアント端末１０と印刷サーバ３０は、コンピュータを基本構成とする。なお、画像形成装置２０と印刷サーバ３０は、専用線で接続されてもよい。
画像形成装置２０は、記録媒体である用紙等に画像を形成する装置をいう。画像の形成に使用する記録材には、トナーやインクが用いられる。記録材の色には、基本色と呼ばれるＹ（イエロー）、Ｍ（マゼンタ）、Ｃ（シアン）、Ｋ（ブラック）の他、特色と呼ばれる金属色や蛍光色がある。
画像形成装置２０は、記録媒体である用紙等に画像を形成する装置をいう。画像の形成に使用する記録材には、トナーやインクが用いられる。記録材の色には、基本色と呼ばれるＹ（イエロー）、Ｍ（マゼンタ）、Ｃ（シアン）、Ｋ（ブラック）の他、特色と呼ばれる金属色や蛍光色がある。
【0011】
クライアント端末１０には、例えばデスクトップ型のコンピュータ、ノート型のコンピュータ、タブレット型のコンピュータ、スマートフォン、ウェアラブルコンピュータが用いられる。本実施の形態の場合、クライアント端末１０は、専ら入出力装置として使用される。
本実施の形態における画像形成装置２０は、例えばプロダクションプリンタでも、オフィスで使用されるプリンタでも、家庭で使用されるプリンタでもよい。画像形成装置２０には、プリント機能に加え、スキャナ機能が設けられてもよい。
本実施の形態における画像形成装置２０は、例えばプロダクションプリンタでも、オフィスで使用されるプリンタでも、家庭で使用されるプリンタでもよい。画像形成装置２０には、プリント機能に加え、スキャナ機能が設けられてもよい。
【0012】
本実施の形態における印刷サーバ３０には、クライアント端末１０から印刷ジョブを受け付けて画像形成装置２０に出力する機能と、物体の質感をシミュレーションする機能が用意されている。
ここでの「質感」は、物体の色味や光沢が人に与える印象をいう。色味や光沢は、物体表面の凹凸構造、物体表面の法線方向と照明光の入射方向、照明光の強度、照明光の色等の影響を受ける。
本実施の形態における印刷サーバ３０は、実空間を撮像した画像（すなわち環境光画像）と、シミュレーションの対象である物体の情報とをクライアント端末１０から受け付け、ユーザが指定する姿勢での物体の見え方をコンピュータ技術により再現する。
ここでの「質感」は、物体の色味や光沢が人に与える印象をいう。色味や光沢は、物体表面の凹凸構造、物体表面の法線方向と照明光の入射方向、照明光の強度、照明光の色等の影響を受ける。
本実施の形態における印刷サーバ３０は、実空間を撮像した画像（すなわち環境光画像）と、シミュレーションの対象である物体の情報とをクライアント端末１０から受け付け、ユーザが指定する姿勢での物体の見え方をコンピュータ技術により再現する。
【0013】
シミュレーションに使用する環境光画像は、例えばクライアント端末１０から印刷サーバ３０にアップロードされる。なお、印刷サーバ３０は、クライアント端末１０から指示された環境光画像をインターネット上等からダウンロードしたり、読み出したりしてもよい。
図１では、地点Ａで撮像された環境光画像を「環境光画像Ａ」、地点Ｂで撮像された環境光画像を「環境光画像Ｂ」という。
図１では、地点Ａで撮像された環境光画像を「環境光画像Ａ」、地点Ｂで撮像された環境光画像を「環境光画像Ｂ」という。
【0014】
本実施の形態における環境光画像は、例えば全天球画像、上半球画像、平面画像を含む。
上半球画像は、全天球画像の赤道から上半分をいう。もっとも、上半球画像は、厳密に赤道から天頂までを撮像した画像である必要はなく、ある緯度から天頂までを撮像した画像でもよい。
平面画像は、スマートフォン等のカメラにより撮像された特定の画角の画像をいう。
上半球画像は、全天球画像の赤道から上半分をいう。もっとも、上半球画像は、厳密に赤道から天頂までを撮像した画像である必要はなく、ある緯度から天頂までを撮像した画像でもよい。
平面画像は、スマートフォン等のカメラにより撮像された特定の画角の画像をいう。
【0015】
なお、環境光画像が撮像される地点とは、物体が観察される場所のことであり、例えば展示会場の特定のブース、展示室、会議室等を想定する。ブースは、パーテーション等で区切られた空間である。もっとも、物体が観察される場所は室内環境に限らず、屋外環境でもよい。
同じ物体でも、照明光の強度や色が異なれば、観察される質感が異なることがある。また、照明光の強度や色が同じでも、照明光の入射方向と物体表面の法線方向が異なれば、観察される質感が異なることがある。
同じ物体でも、照明光の強度や色が異なれば、観察される質感が異なることがある。また、照明光の強度や色が同じでも、照明光の入射方向と物体表面の法線方向が異なれば、観察される質感が異なることがある。
【0016】
図１におけるネットワークＮは、ＬＡＮ（＝Local Area Network）を想定する。ネットワークＮは、有線ネットワークでも無線ネットワークでもよい。有線ネットワークには、例えばイーサネット（登録商標）を使用する。無線ネットワークには、例えばＷｉ－Ｆｉ（登録商標）を使用する。
なお、図１に示す印刷システム１のネットワークＮには、各１台のクライアント端末１０と、画像形成装置２０と、印刷サーバ３０が接続されているが、いずれも複数台であってもよい。
なお、図１に示す印刷システム１のネットワークＮには、各１台のクライアント端末１０と、画像形成装置２０と、印刷サーバ３０が接続されているが、いずれも複数台であってもよい。
【0017】
＜情報処理装置の構成＞
図２は、情報処理装置のハードウェア構成を説明する図である。図２においては、情報処理装置の一例である印刷サーバ３０について表している。なお、クライアント端末１０も、図２に示すハードウェア構成を採用する。
図２に示す印刷サーバ３０は、プロセッサ３１と、ＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）３２と、プロセッサ３１のワークエリアとして用いられるＲＡＭ（＝Random Access Memory）３３と、補助記憶装置３４と、ユーザインタフェース３５と、通信インタフェース３６とを有している。
各デバイスは、バスその他の信号線３７を通じて接続されている。
図２は、情報処理装置のハードウェア構成を説明する図である。図２においては、情報処理装置の一例である印刷サーバ３０について表している。なお、クライアント端末１０も、図２に示すハードウェア構成を採用する。
図２に示す印刷サーバ３０は、プロセッサ３１と、ＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）３２と、プロセッサ３１のワークエリアとして用いられるＲＡＭ（＝Random Access Memory）３３と、補助記憶装置３４と、ユーザインタフェース３５と、通信インタフェース３６とを有している。
各デバイスは、バスその他の信号線３７を通じて接続されている。
【0018】
プロセッサ３１は、プログラムの実行を通じて各種の機能を実現するデバイスである。
プロセッサ３１、ＲＯＭ３２、ＲＡＭ３３は、コンピュータとして機能する。
補助記憶装置３４は、例えばハードディスク装置や半導体ストレージで構成される。補助記憶装置３４には、プログラムや各種のデータが記憶される。ここでのプログラムは、ＯＳ（＝Operating System）やアプリケーションプログラムの総称として使用する。アプリケーションプログラムの１つに物体の質感をシミュレーションするプログラムがある。
図２の場合、補助記憶装置３４が印刷サーバ３０に内蔵されているが、補助記憶装置３４は印刷サーバ３０に対して外付けされてもよいし、ネットワークＮ（図１参照）上に存在してもよい。
プロセッサ３１、ＲＯＭ３２、ＲＡＭ３３は、コンピュータとして機能する。
補助記憶装置３４は、例えばハードディスク装置や半導体ストレージで構成される。補助記憶装置３４には、プログラムや各種のデータが記憶される。ここでのプログラムは、ＯＳ（＝Operating System）やアプリケーションプログラムの総称として使用する。アプリケーションプログラムの１つに物体の質感をシミュレーションするプログラムがある。
図２の場合、補助記憶装置３４が印刷サーバ３０に内蔵されているが、補助記憶装置３４は印刷サーバ３０に対して外付けされてもよいし、ネットワークＮ（図１参照）上に存在してもよい。
【0019】
ユーザインタフェース３５は、出力装置と入力受付装置で構成される。
出力装置には、例えばディスプレイ、スピーカがある。ディスプレイには、例えば液晶ディスプレイや有機ＥＬ（＝ElectroLuminescent）ディスプレイが用いられる。
入力受付装置には、例えば電源ボタン、キーボード、マウス、タッチセンサがある。タッチセンサには、例えば静電容量式センサがある。なお、タッチセンサとディスプレイを組み合わせたモジュールは、タッチパネルと呼ばれる。
出力装置には、例えばディスプレイ、スピーカがある。ディスプレイには、例えば液晶ディスプレイや有機ＥＬ（＝ElectroLuminescent）ディスプレイが用いられる。
入力受付装置には、例えば電源ボタン、キーボード、マウス、タッチセンサがある。タッチセンサには、例えば静電容量式センサがある。なお、タッチセンサとディスプレイを組み合わせたモジュールは、タッチパネルと呼ばれる。
【0020】
通信インタフェース３６は、ネットワークＮを通じてクライアント端末１０（図１参照）や画像形成装置２０との通信を実現するインタフェースである。通信インタフェース３６は、既存の各種の通信規格に対応している。ここでの通信規格には、例えばイーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）がある。
【0021】
＜質感のシミュレーション処理＞
以下では、プロセッサ３１（図２参照）がプログラムの実行を通じて実現する質感のシミュレーション処理について説明する。
本実施の形態における質感のシミュレーションは、クライアント端末１０から印刷サーバ３０に対し、シミュレーションの対象とする物品と環境光画像が与えられることで開始される。
本実施の形態では、物品として白色の用紙を想定する。なお、用紙には、カラーチャートが印刷されている。カラーチャートは、複数の色見本の集合体である。
また、環境光画像として屋外で撮像された全天球画像を想定する。ここでの全天球画像には、青い空と太陽が写り込んでいる。
以下では、プロセッサ３１（図２参照）がプログラムの実行を通じて実現する質感のシミュレーション処理について説明する。
本実施の形態における質感のシミュレーションは、クライアント端末１０から印刷サーバ３０に対し、シミュレーションの対象とする物品と環境光画像が与えられることで開始される。
本実施の形態では、物品として白色の用紙を想定する。なお、用紙には、カラーチャートが印刷されている。カラーチャートは、複数の色見本の集合体である。
また、環境光画像として屋外で撮像された全天球画像を想定する。ここでの全天球画像には、青い空と太陽が写り込んでいる。
【0022】
＜シミュレーション例１＞
図３は、プロセッサ３１によるシミュレーション例１を説明する図である。なお、図中における記号のＳはステップを意味する。
・ステップ１
プロセッサ３１は、環境光画像をクライアント端末１０から取得する。環境光画像は、撮像地点における環境光の情報を与える。
図３は、プロセッサ３１によるシミュレーション例１を説明する図である。なお、図中における記号のＳはステップを意味する。
・ステップ１
プロセッサ３１は、環境光画像をクライアント端末１０から取得する。環境光画像は、撮像地点における環境光の情報を与える。
【0023】
・ステップ２
プロセッサ３１は、取得した環境光画像から拡散反射（diffuse）照度マップＥ（以下、「照度マップＥ」という。）を生成する。照度マップＥは、環境光画像の照度分布又は輝度分布を表現したマップである。照度分布と輝度分布は、いずれも単位面積あたりの明るさの分布を表す情報である。このため、本実施の形態では、２つの分布を「照度分布」と総称する。
照度マップＥは、既知の生成方法により作成が可能である。例えばプロセッサ３１は、環境光画像を仮想の立方体の表面に張り付けた環境マップを生成し、作成された環境マップから照度マップＥを生成する。環境マップも照度マップＥもキューブマップである。
プロセッサ３１は、取得した環境光画像から拡散反射（diffuse）照度マップＥ（以下、「照度マップＥ」という。）を生成する。照度マップＥは、環境光画像の照度分布又は輝度分布を表現したマップである。照度分布と輝度分布は、いずれも単位面積あたりの明るさの分布を表す情報である。このため、本実施の形態では、２つの分布を「照度分布」と総称する。
照度マップＥは、既知の生成方法により作成が可能である。例えばプロセッサ３１は、環境光画像を仮想の立方体の表面に張り付けた環境マップを生成し、作成された環境マップから照度マップＥを生成する。環境マップも照度マップＥもキューブマップである。
【0024】
・ステップ３
プロセッサ３１は、照度マップＥを解析して主要な照明の情報ｅを取得する。
本実施の形態では、主要な照明を、単位エリア内の平均照度値が最大となる位置と定義する。この他、主要な照明は、例えば単位エリア内の照度の最大値、パーセンタイル値、輝度分散等の値に基づいて特定してもよい。本実施の形態では、ノイズの影響を除くため、平均照度値が出現する位置を主要な照明の位置とする。
また、プロセッサ３１は、主要な照明の情報ｅとして、主要な照明の色と強度を推定する。もっとも、色だけを推定してもよいし、強度だけを推定することも可能である。なお、主要な照明の情報ｅは、照明光の色と強度に限らない。
プロセッサ３１は、照度マップＥを解析して主要な照明の情報ｅを取得する。
本実施の形態では、主要な照明を、単位エリア内の平均照度値が最大となる位置と定義する。この他、主要な照明は、例えば単位エリア内の照度の最大値、パーセンタイル値、輝度分散等の値に基づいて特定してもよい。本実施の形態では、ノイズの影響を除くため、平均照度値が出現する位置を主要な照明の位置とする。
また、プロセッサ３１は、主要な照明の情報ｅとして、主要な照明の色と強度を推定する。もっとも、色だけを推定してもよいし、強度だけを推定することも可能である。なお、主要な照明の情報ｅは、照明光の色と強度に限らない。
【0025】
・ステップ４
プロセッサ３１は、照度マップＥを主要な照明の情報ｅで補正し、補正照度マップＥ’を生成する。
図３の場合、プロセッサ３１は、次式により補正照度マップＥ’を算出する。
Ｅ’（ｉ）＝ｅ＋Ｅ（ｉ）
なお、ｉは、照度マップＥ及び補正照度マップＥ’の各画素を表す。
プロセッサ３１は、照度マップＥを主要な照明の情報ｅで補正し、補正照度マップＥ’を生成する。
図３の場合、プロセッサ３１は、次式により補正照度マップＥ’を算出する。
Ｅ’（ｉ）＝ｅ＋Ｅ（ｉ）
なお、ｉは、照度マップＥ及び補正照度マップＥ’の各画素を表す。
【0026】
ステップ４における補正照度マップＥ’は、主要な照明の情報ｅを、照度マップＥの全ての画素に加算することにより算出される。ここでの主要な照明の情報ｅは、定数（すなわち固定値）である。
因みに、照度マップＥは、照度分布を表す第１の関数の一例である。また、主要な情報ｅは、第２関数の一例である。さらに、補正照度マップＥ’は、第３関数の一例である。
因みに、照度マップＥは、照度分布を表す第１の関数の一例である。また、主要な情報ｅは、第２関数の一例である。さらに、補正照度マップＥ’は、第３関数の一例である。
【0027】
・ステップ５
プロセッサ３１は、サンプル画像をクライアント端末１０から取得する。
ここでのサンプル画像は、カラーチャートが印刷された白色の用紙である。サンプル画像は、画像ファイルとして、クライアント端末１０から印刷サーバ３０にアップロードされる。
なお、サンプル画像と環境光画像のアップロードは同時に実行してもよい。
プロセッサ３１は、サンプル画像をクライアント端末１０から取得する。
ここでのサンプル画像は、カラーチャートが印刷された白色の用紙である。サンプル画像は、画像ファイルとして、クライアント端末１０から印刷サーバ３０にアップロードされる。
なお、サンプル画像と環境光画像のアップロードは同時に実行してもよい。
【0028】
・ステップ６
プロセッサ３１は、環境光画像内でのサンプル画像の設置場所と姿勢をクライアント端末１０から受け付ける。
ここでの姿勢は、例えば用紙の法線の向きにより規定される。シミュレーションでは、主要な照明に対するサンプル画像の姿勢が重要となる。
プロセッサ３１は、環境光画像内でのサンプル画像の設置場所と姿勢をクライアント端末１０から受け付ける。
ここでの姿勢は、例えば用紙の法線の向きにより規定される。シミュレーションでは、主要な照明に対するサンプル画像の姿勢が重要となる。
【0029】
・ステップ７
プロセッサ３１は、姿勢に応じたサンプル画像の見え方を、補正照度マップＥ’を用いてシミュレーションする。照度マップを用いたサンプル画像の見え方をシミュレーション方法は既知である。
・ステップ８
プロセッサ３１は、シミュレーション結果をクライアント端末１０のディスプレイに表示する。
プロセッサ３１は、姿勢に応じたサンプル画像の見え方を、補正照度マップＥ’を用いてシミュレーションする。照度マップを用いたサンプル画像の見え方をシミュレーション方法は既知である。
・ステップ８
プロセッサ３１は、シミュレーション結果をクライアント端末１０のディスプレイに表示する。
【0030】
図４は、ディスプレイに表示されるシミュレーション結果の一例を説明する図である。
サンプル画像１０１は主要な照明の情報ｅによる補正前の見え方を示し、サンプル画像１０２は主要な照明の情報ｅによる補正後の見え方を示している。図４では、補正前の状態を「補正なし」と表記し、補正後の状態を「補正あり」と表記している。
サンプル画像１０１もサンプル画像１０２も、用紙の法線方向は環境光画像内の主要な照明である太陽の方向を向いている。
サンプル画像１０１は主要な照明の情報ｅによる補正前の見え方を示し、サンプル画像１０２は主要な照明の情報ｅによる補正後の見え方を示している。図４では、補正前の状態を「補正なし」と表記し、補正後の状態を「補正あり」と表記している。
サンプル画像１０１もサンプル画像１０２も、用紙の法線方向は環境光画像内の主要な照明である太陽の方向を向いている。
【0031】
サンプル画像１０１のシミュレーションでは、空の色が照明光の色として使用される。その結果、白色の用紙は青みがかった色で再現される。しかし、このシミュレーション結果は、現実とは異なる不自然な見え方である。
一方、サンプル画像１０２のシミュレーションでは、照明光の色として照度マップＥの主要な照明である太陽光の色（白色系）が支配的になる。その結果、白色の用紙は白色のまま再現される。
つまり、補正照度マップＥ’を用いてシミュレーションすることにより、シミュレーション結果を実際の見え方に近づけることが可能になる。
一方、サンプル画像１０２のシミュレーションでは、照明光の色として照度マップＥの主要な照明である太陽光の色（白色系）が支配的になる。その結果、白色の用紙は白色のまま再現される。
つまり、補正照度マップＥ’を用いてシミュレーションすることにより、シミュレーション結果を実際の見え方に近づけることが可能になる。
【0032】
図５は、ディスプレイに表示されるシミュレーション結果の他の例を説明する図である。
サンプル画像１０１は主要な照明の情報ｅによる補正前の見え方を示し、サンプル画像１０２は主要な照明の情報ｅによる補正後の見え方を示している。図５の場合も、補正前の状態を「補正なし」と表記し、補正後の状態を「補正あり」と表記している。
図５の場合、サンプル画像１０１とサンプル画像１０２は、いずれも用紙の法線方向が環境光画像内の主要な照明である太陽と対面する方向から外れている。
サンプル画像１０１は主要な照明の情報ｅによる補正前の見え方を示し、サンプル画像１０２は主要な照明の情報ｅによる補正後の見え方を示している。図５の場合も、補正前の状態を「補正なし」と表記し、補正後の状態を「補正あり」と表記している。
図５の場合、サンプル画像１０１とサンプル画像１０２は、いずれも用紙の法線方向が環境光画像内の主要な照明である太陽と対面する方向から外れている。
【0033】
このため、図５におけるサンプル画像１０１では紙面が暗く再現されている。しかし、このシミュレーション結果は、現実とは異なる不自然な見え方である。
図５におけるサンプル画像１０２のシミュレーションで使用する補正照度マップＥ’の強度は、照度マップＥよりも高い値に補正されている。このため、用紙の法線方向が太陽の方向から外れても、サンプル画像１０２の紙面の明るさは、サンプル画像１０１よりも明るく再現されている。このように、補正照度マップＥ’を用いてシミュレーションすることにより、シミュレーション結果を実際の見え方に近づけることが可能になる。
図５におけるサンプル画像１０２のシミュレーションで使用する補正照度マップＥ’の強度は、照度マップＥよりも高い値に補正されている。このため、用紙の法線方向が太陽の方向から外れても、サンプル画像１０２の紙面の明るさは、サンプル画像１０１よりも明るく再現されている。このように、補正照度マップＥ’を用いてシミュレーションすることにより、シミュレーション結果を実際の見え方に近づけることが可能になる。
【0034】
＜シミュレーション例２＞
図６は、プロセッサ３１によるシミュレーション例２を説明する図である。なお、図６には、図３との対応部分に対応する符号を付して示している。
シミュレーション例２では、ステップ４に代えてステップ４Ａが実行される。シミュレーション例２の他の処理動作は、シミュレーション例１と同じである。
図６は、プロセッサ３１によるシミュレーション例２を説明する図である。なお、図６には、図３との対応部分に対応する符号を付して示している。
シミュレーション例２では、ステップ４に代えてステップ４Ａが実行される。シミュレーション例２の他の処理動作は、シミュレーション例１と同じである。
【0035】
・ステップ４Ａ
ここでのプロセッサ３１は、照度マップＥを主要な照明の情報ｅとの加重平均（すなわち重み付き平均）で補正し、補正照度マップＥ’を生成する。
図６の場合、プロセッサ３１は、次式により照度マップＥを補正する。
Ｅ’（ｉ）＝ｅ＊ｃ＋Ｅ（ｉ）＊（１－ｃ）
なお、ｉは、照度マップＥ及び補正照度マップＥ’の各画素を表し、ｃは補正係数を表している。ここでの補正係数ｃは、０＜ｃ＜１を満たす。
ここでのプロセッサ３１は、照度マップＥを主要な照明の情報ｅとの加重平均（すなわち重み付き平均）で補正し、補正照度マップＥ’を生成する。
図６の場合、プロセッサ３１は、次式により照度マップＥを補正する。
Ｅ’（ｉ）＝ｅ＊ｃ＋Ｅ（ｉ）＊（１－ｃ）
なお、ｉは、照度マップＥ及び補正照度マップＥ’の各画素を表し、ｃは補正係数を表している。ここでの補正係数ｃは、０＜ｃ＜１を満たす。
【0036】
シミュレーション例２の場合も、主要な照明の色と強度が照度マップＥの全ての画素に加算される。
ただし、シミュレーション例２における補正照度マップＥ’における各画素に対する主要な照明の色と強度の影響は、補正係数ｃの値により、シミュレーション例１よりも小さくなる。
シミュレーション例２の場合には、クライアント端末１０のディスプレイ上で補正係数ｃの値を指定可能としてもよい。もっとも、補正係数ｃの設定は、ベンダー側の設定としてもよい。
シミュレーション例２の場合には、環境光画像が撮像された地点の環境や撮像の時刻等に応じて補正係数ｃを変更することにより、シミュレーション結果を現実の見え方に一層近づけることが可能になる。
ただし、シミュレーション例２における補正照度マップＥ’における各画素に対する主要な照明の色と強度の影響は、補正係数ｃの値により、シミュレーション例１よりも小さくなる。
シミュレーション例２の場合には、クライアント端末１０のディスプレイ上で補正係数ｃの値を指定可能としてもよい。もっとも、補正係数ｃの設定は、ベンダー側の設定としてもよい。
シミュレーション例２の場合には、環境光画像が撮像された地点の環境や撮像の時刻等に応じて補正係数ｃを変更することにより、シミュレーション結果を現実の見え方に一層近づけることが可能になる。
【0037】
＜シミュレーション例３＞
図７は、プロセッサ３１によるシミュレーション例３を説明する図である。なお、図７には、図３との対応部分に対応する符号を付して示している。
シミュレーション例３では、ステップ４に代えてステップ４Ｂが実行される。シミュレーション例３の他の処理動作は、シミュレーション例１と同じである。
前述したシミュレーション例１及び２の場合、照度マップＥの全ての画素に同じ値が加算される。すなわち、全ての画素で照度が照度マップＥよりも高い値に補正されるが、補正後の照度には上限がある。その結果、照度分布が補正前よりも平坦になり、光沢感が減少したシミュレーション結果が得られることがある。
図７は、プロセッサ３１によるシミュレーション例３を説明する図である。なお、図７には、図３との対応部分に対応する符号を付して示している。
シミュレーション例３では、ステップ４に代えてステップ４Ｂが実行される。シミュレーション例３の他の処理動作は、シミュレーション例１と同じである。
前述したシミュレーション例１及び２の場合、照度マップＥの全ての画素に同じ値が加算される。すなわち、全ての画素で照度が照度マップＥよりも高い値に補正されるが、補正後の照度には上限がある。その結果、照度分布が補正前よりも平坦になり、光沢感が減少したシミュレーション結果が得られることがある。
【0038】
・ステップ４Ｂ
そこで、プロセッサ３１は、主要な照明の情報ｅを、主要な照明の位置と照度マップ上の各画素との位置関係によって光沢の度合いを与える指標で補正する。ここでの指標を光沢感係数ｗとする。
図７の場合、プロセッサ３１は、次式により補正照度マップＥ’を算出する。
Ｅ’（ｉ）＝ｅ＊ｗ（ｉ）＋Ｅ（ｉ）
なお、ｉは、照度マップＥ及び補正照度マップＥ’の各画素を表す。
そこで、プロセッサ３１は、主要な照明の情報ｅを、主要な照明の位置と照度マップ上の各画素との位置関係によって光沢の度合いを与える指標で補正する。ここでの指標を光沢感係数ｗとする。
図７の場合、プロセッサ３１は、次式により補正照度マップＥ’を算出する。
Ｅ’（ｉ）＝ｅ＊ｗ（ｉ）＋Ｅ（ｉ）
なお、ｉは、照度マップＥ及び補正照度マップＥ’の各画素を表す。
【0039】
図８は、光沢感係数ｗを主要な照明と各画素ｉとの距離ｄで定義する例を説明する図である。
図８の場合、光沢感係数ｗは、距離ｄを変数とする関数ｆ（ｄ）により表されている。なお、光沢感係数ｗの最大値は１より大きいものとする。
本実施の形態の場合、距離ｄは、主要な照明の位置と各画素ｉとのキューブマップ上の距離として計算する。
図８に示す関数ｆ（ｄ）は、距離ｄが小さい画素ｉには大きな値の光沢感係数ｗを使用し、距離ｄが大きい画素ｉには小さい値の光沢感係数ｗを使用する。すなわち、距離ｄが近いほど光沢感係数ｗの値を大きくする。
なお、図８の場合、関数は非線形関数であり、主要な照明との距離ｄが基準値を超えると急激に減少している。因みに、線形に減少する関係や階段状に減少する関係を排除するものではない。
図８の場合、光沢感係数ｗは、距離ｄを変数とする関数ｆ（ｄ）により表されている。なお、光沢感係数ｗの最大値は１より大きいものとする。
本実施の形態の場合、距離ｄは、主要な照明の位置と各画素ｉとのキューブマップ上の距離として計算する。
図８に示す関数ｆ（ｄ）は、距離ｄが小さい画素ｉには大きな値の光沢感係数ｗを使用し、距離ｄが大きい画素ｉには小さい値の光沢感係数ｗを使用する。すなわち、距離ｄが近いほど光沢感係数ｗの値を大きくする。
なお、図８の場合、関数は非線形関数であり、主要な照明との距離ｄが基準値を超えると急激に減少している。因みに、線形に減少する関係や階段状に減少する関係を排除するものではない。
【0040】
図９は、光沢感係数ｗを主要な照明と各画素ｉとの角度差Δωで定義する例を説明する図である。ここでの角度差Δωは、キューブマップの中心と主要な照明の位置とを結ぶ直線と、キューブマップの中心と各画素ｉの位置を結ぶ直線とがなす角とする。
なお、図９では、キューブマップの中心と主要な照明の位置とを結ぶ直線は、主要な照明の位置を通る法線の方向を表している。また、キューブマップの中心と各画素ｉの位置を結ぶ直線は、各画素ｉの法線方向を表している。
このため、角度差Δωが０°であることは、画素ｉの法線方向に主要な照明が位置することを意味する。また、角度差Δωが９０°に近づくことは、画素ｉの法線方向が主要な照明の方向から９０°の向きにあることを意味する。
なお、図９では、キューブマップの中心と主要な照明の位置とを結ぶ直線は、主要な照明の位置を通る法線の方向を表している。また、キューブマップの中心と各画素ｉの位置を結ぶ直線は、各画素ｉの法線方向を表している。
このため、角度差Δωが０°であることは、画素ｉの法線方向に主要な照明が位置することを意味する。また、角度差Δωが９０°に近づくことは、画素ｉの法線方向が主要な照明の方向から９０°の向きにあることを意味する。
【0041】
当然ながら、角度差Δωが０°の場合、該当画素ｉの法線方向に反射する反射光の成分は最大となる。
一方、角度差Δωが９０°の場合、該当画素ｉの法線方向に反射する反射光の成分は最小となる。
このため、図９に示す関数ｆ（Δω）は、角度差Δωが小さい画素ｉには大きな値の光沢感係数ｗを使用し、角度差Δωが大きい画素ｉには小さい値の光沢感係数ｗを使用する。すなわち、近いほど光沢感係数ｗの値を大きくする。
図９の場合も、関数は非線形関数であり、主要な照明との角度差Δωが基準値を超えると急激に減少している。因みに、線形に減少する関係や階段状に減少する関係を排除するものではない。
一方、角度差Δωが９０°の場合、該当画素ｉの法線方向に反射する反射光の成分は最小となる。
このため、図９に示す関数ｆ（Δω）は、角度差Δωが小さい画素ｉには大きな値の光沢感係数ｗを使用し、角度差Δωが大きい画素ｉには小さい値の光沢感係数ｗを使用する。すなわち、近いほど光沢感係数ｗの値を大きくする。
図９の場合も、関数は非線形関数であり、主要な照明との角度差Δωが基準値を超えると急激に減少している。因みに、線形に減少する関係や階段状に減少する関係を排除するものではない。
【0042】
図１０は、ディスプレイに表示されるシミュレーション結果の他の例を説明する図である。図１０では、図４との対応部分に対応する符号を付して示している。
図１０には、用紙の法線が主要な照明の方向とほぼ一致する場合、すなわち角度差Δωがほぼ０°の場合におけるシミュレーション結果を表している。
なお、用紙の法線が主要な照明の方向とほぼ一致することは、主要な照明の位置とサンプル画像の画素ｉとの距離ｄが近いことを意味する。
図１０には、用紙の法線が主要な照明の方向とほぼ一致する場合、すなわち角度差Δωがほぼ０°の場合におけるシミュレーション結果を表している。
なお、用紙の法線が主要な照明の方向とほぼ一致することは、主要な照明の位置とサンプル画像の画素ｉとの距離ｄが近いことを意味する。
【0043】
図１０の場合も、サンプル画像１０２は、シミュレーション例１や例２に対応する。
サンプル画像１０２における主要な照明の情報ｅによる補正は、サンプル画像の全体に対して一律である。このため、サンプル画像１０２では、カラーチャートの見え方は、照度が低い場合とあまり変わらない。
サンプル画像１０２における主要な照明の情報ｅによる補正は、サンプル画像の全体に対して一律である。このため、サンプル画像１０２では、カラーチャートの見え方は、照度が低い場合とあまり変わらない。
【0044】
一方、サンプル画像１０３は、光沢感係数ｗによる補正を加えたシミュレーション結果を表している。図１０では、光沢感係数ｗ（ｉ）による補正を加えた状態を「光沢感の補正あり」と表記している。
図１０におけるサンプル画像１０３では、用紙全体の画素ｉで、主要な照明の情報ｅを光沢感係数ｗで増幅した値が、元の照度マップＥに加算されている。この結果、サンプル画像１０３における用紙全体の照度はサンプル画像１０２よりも高くなり、カラーチャートは白っぽく表現されている。
このように、補正照度マップＥ’を用いてシミュレーションすることにより、シミュレーション結果を実際の見え方に近づけることが可能になる。
図１０におけるサンプル画像１０３では、用紙全体の画素ｉで、主要な照明の情報ｅを光沢感係数ｗで増幅した値が、元の照度マップＥに加算されている。この結果、サンプル画像１０３における用紙全体の照度はサンプル画像１０２よりも高くなり、カラーチャートは白っぽく表現されている。
このように、補正照度マップＥ’を用いてシミュレーションすることにより、シミュレーション結果を実際の見え方に近づけることが可能になる。
【0045】
図１１は、ディスプレイに表示されるシミュレーション結果の他の例を説明する図である。図１１には、図５との対応部分に対応する符号を付して示している。
図１１では、用紙の法線を主要な照明である太陽と対面する方向から外れる方向に傾けた場合、すなわち角度差Δωを大きくする場合のシミュレーション結果を表している。なお、用紙の法線を主要な照明の方向から外れる方向に傾けるということは、主要な照明の位置とサンプル画像の画素ｉとの距離ｄが遠ざかることを意味する。
図１１では、用紙の法線を主要な照明である太陽と対面する方向から外れる方向に傾けた場合、すなわち角度差Δωを大きくする場合のシミュレーション結果を表している。なお、用紙の法線を主要な照明の方向から外れる方向に傾けるということは、主要な照明の位置とサンプル画像の画素ｉとの距離ｄが遠ざかることを意味する。
【0046】
図１１に示すサンプル画像１０２の場合も、主要な照明の情報ｅによる補正は、サンプル画像の全体に対して一律である。このため、サンプル画像１０２では、カラーチャートの見え方は照度が低い場合とあまり変わらない。
一方、サンプル画像１０３では、用紙全体の画素ｉで、主要な照明の情報ｅを光沢感係数ｗで増幅した値が、元の照度マップＥに加算されている。
一方、サンプル画像１０３では、用紙全体の画素ｉで、主要な照明の情報ｅを光沢感係数ｗで増幅した値が、元の照度マップＥに加算されている。
【0047】
この結果、サンプル画像１０３における用紙全体の照度はサンプル画像１０２より高くなり、カラーチャートを構成する各色もやや白っぽく表現されている。もっとも、図１０のように用紙の法線の方向に主要な照度が存在しないので、図１０のサンプル画像１０３に比べると、図１１のサンプル画像１０３のカラーチャートの見え方はサンプル画像１０２にやや近い。
このように、補正照度マップＥ’を用いてシミュレーションすることにより、シミュレーション結果を実際の見え方に近づけることが可能になる。
このように、補正照度マップＥ’を用いてシミュレーションすることにより、シミュレーション結果を実際の見え方に近づけることが可能になる。
【0048】
＜シミュレーション例４＞
図１２は、プロセッサ３１によるシミュレーション例４を説明する図である。なお、図１２には、図７との対応部分に対応する符号を付して示している。
シミュレーション例４では、ステップ４Ｂに代えてステップ４Ｃが実行される。シミュレーション例４の他の処理動作は、シミュレーション例３と同じである。
図１２は、プロセッサ３１によるシミュレーション例４を説明する図である。なお、図１２には、図７との対応部分に対応する符号を付して示している。
シミュレーション例４では、ステップ４Ｂに代えてステップ４Ｃが実行される。シミュレーション例４の他の処理動作は、シミュレーション例３と同じである。
【0049】
・ステップ４Ｄ
ここでのプロセッサ３１は、主要な照明の位置と照度マップ上の各画素との位置関係により光沢の度合いを与える指標として、光沢感係数ｗに重み係数Ｔｒを乗算した値ｗ＊Ｔｒを使用する。
図１２の場合、プロセッサ３１は、次式により補正照度マップＥ’を算出する。
Ｅ’（ｉ）＝ｅ＊ｗ（ｉ）＊Ｔｒ＋Ｅ（ｉ）
なお、ｉは、照度マップＥ及び補正照度マップＥ’の各画素を表す。
ここでのプロセッサ３１は、主要な照明の位置と照度マップ上の各画素との位置関係により光沢の度合いを与える指標として、光沢感係数ｗに重み係数Ｔｒを乗算した値ｗ＊Ｔｒを使用する。
図１２の場合、プロセッサ３１は、次式により補正照度マップＥ’を算出する。
Ｅ’（ｉ）＝ｅ＊ｗ（ｉ）＊Ｔｒ＋Ｅ（ｉ）
なお、ｉは、照度マップＥ及び補正照度マップＥ’の各画素を表す。
【0050】
図１３は、重み付け光沢感係数ｗ＊Ｔｒの例を説明する図である。（Ａ）は光沢感係数ｗが距離ｄの関数ｆ（ｄ）で与えられる場合における重み付け光沢感係数を示し、（Ｂ）は光沢感係数ｗが角度差Δωの関数ｆ（Δω）で与えられる場合における重み付け光沢感係数を示す。
図１３における重み係数Ｔｒは、０＜Ｔｒ＜１を満たす固定値である。このため、図１３（Ａ）の場合も図１３（Ｂ）の場合も、距離ｄや角度差Δωに対応する各値は、図８に示す関数ｆ（ｄ）や図９に示す関数ｆ（Δω）よりも小さくなっている。
図１３における重み係数Ｔｒは、０＜Ｔｒ＜１を満たす固定値である。このため、図１３（Ａ）の場合も図１３（Ｂ）の場合も、距離ｄや角度差Δωに対応する各値は、図８に示す関数ｆ（ｄ）や図９に示す関数ｆ（Δω）よりも小さくなっている。
【0051】
シミュレーション例４の場合には、重み係数Ｔｒの値により、光沢感係数ｗの影響度の調整が可能になる。
因みに、重み係数Ｔｒの値は、クライアント端末１０のディスプレイ上で指定可能としてもよい。もっとも、重み係数Ｔｒの設定は、ベンダー側の設定としてもよい。
シミュレーション例４の場合も、環境光画像が撮像された地点の環境や撮像の時刻等に応じて重み係数Ｔｒを変更することにより、シミュレーション結果を現実の見え方に一層近づけることが可能になる。
因みに、重み係数Ｔｒの値は、クライアント端末１０のディスプレイ上で指定可能としてもよい。もっとも、重み係数Ｔｒの設定は、ベンダー側の設定としてもよい。
シミュレーション例４の場合も、環境光画像が撮像された地点の環境や撮像の時刻等に応じて重み係数Ｔｒを変更することにより、シミュレーション結果を現実の見え方に一層近づけることが可能になる。
【0052】
＜シミュレーション例５＞
図１４は、プロセッサ３１によるシミュレーション例５を説明する図である。なお、図１４には、図１２との対応部分に対応する符号を付して示している。
シミュレーション例５では、ステップ４Ｃに代えてステップ４Ｄが実行される。シミュレーション例５の他の処理動作は、シミュレーション例４と同じである。
図１４は、プロセッサ３１によるシミュレーション例５を説明する図である。なお、図１４には、図１２との対応部分に対応する符号を付して示している。
シミュレーション例５では、ステップ４Ｃに代えてステップ４Ｄが実行される。シミュレーション例５の他の処理動作は、シミュレーション例４と同じである。
【0053】
・ステップ４Ｄ
ここでのプロセッサ３１は、照度マップＥを光沢感係数ｗで補正した主要な照明の情報ｅとの加重平均（すなわち重み付き平均）で補正し、補正照度マップＥ’を生成する。
図１４の場合、プロセッサ３１は、次式により補正照度マップＥ’を算出する。
Ｅ’（ｉ）＝ｅ＊ｗ（ｉ）＊Ｔｒ＋Ｅ（ｉ）＊（１．０－Ｔｒ）
なお、ｉは、照度マップＥ及び補正照度マップＥ’の各画素を表し、ｗ（ｉ）は光沢感係数であり、Ｔｒは重み係数を表している。ここでの重み係数Ｔｒは、０＜Ｔｒ＜１を満たす。
ここでのプロセッサ３１は、照度マップＥを光沢感係数ｗで補正した主要な照明の情報ｅとの加重平均（すなわち重み付き平均）で補正し、補正照度マップＥ’を生成する。
図１４の場合、プロセッサ３１は、次式により補正照度マップＥ’を算出する。
Ｅ’（ｉ）＝ｅ＊ｗ（ｉ）＊Ｔｒ＋Ｅ（ｉ）＊（１．０－Ｔｒ）
なお、ｉは、照度マップＥ及び補正照度マップＥ’の各画素を表し、ｗ（ｉ）は光沢感係数であり、Ｔｒは重み係数を表している。ここでの重み係数Ｔｒは、０＜Ｔｒ＜１を満たす。
【0054】
シミュレーション例５の場合も、主要な照明の色と強度を光沢感係数ｗで補正した値が照度マップＥの全ての画素に加算される。
ただし、シミュレーション例２における補正照度マップＥ’における各画素に対する主要な照明の色と強度を光沢感係数ｗで補正した値の影響は、重み係数Ｔｒの値により、シミュレーション例４よりも小さくなる。
シミュレーション例５の場合も、クライアント端末１０のディスプレイ上で重み係数Ｔｒの値を指定可能としてもよい。もっとも、重み係数Ｔｒの設定は、ベンダー側の設定としてもよい。
シミュレーション例５の場合も、環境光画像が撮像された地点の環境や撮像の時刻等に応じて重み係数Ｔｒを変更することにより、シミュレーション結果を現実の見え方に一層近づけることが可能になる。
ただし、シミュレーション例２における補正照度マップＥ’における各画素に対する主要な照明の色と強度を光沢感係数ｗで補正した値の影響は、重み係数Ｔｒの値により、シミュレーション例４よりも小さくなる。
シミュレーション例５の場合も、クライアント端末１０のディスプレイ上で重み係数Ｔｒの値を指定可能としてもよい。もっとも、重み係数Ｔｒの設定は、ベンダー側の設定としてもよい。
シミュレーション例５の場合も、環境光画像が撮像された地点の環境や撮像の時刻等に応じて重み係数Ｔｒを変更することにより、シミュレーション結果を現実の見え方に一層近づけることが可能になる。
【0055】
＜実施の形態２＞
図１５は、実施の形態２で使用する情報処理システム１Ａの構成例を示す図である。図１５には、図１との対応部分に対応する符号を付して示している。
図１５に示す情報処理システム１Ａは、クライアント端末１０と、クラウドサーバ４０とで構成されている。これらは、クラウドネットワークＣＮ経由で通信可能に接続されている。
ここでのクラウドサーバ４０も、情報処理装置の一例である。クラウドサーバ４０のハードウェア構成は、図２に示すハードウェア構成と同じである。
図１５は、実施の形態２で使用する情報処理システム１Ａの構成例を示す図である。図１５には、図１との対応部分に対応する符号を付して示している。
図１５に示す情報処理システム１Ａは、クライアント端末１０と、クラウドサーバ４０とで構成されている。これらは、クラウドネットワークＣＮ経由で通信可能に接続されている。
ここでのクラウドサーバ４０も、情報処理装置の一例である。クラウドサーバ４０のハードウェア構成は、図２に示すハードウェア構成と同じである。
【0056】
図１５に示す情報処理システム１Ａは、画像形成装置２０（図１参照）による画像の形成を前提としない点で、図１に示す印刷システム１と相違する。
本実施の形態の場合、クラウドサーバ４０におけるプログラムの実行を通じ、前述した質感のシミュレーション例１～５が実現される。
なお、図１５の場合には、質感のシミュレーション専用のクラウドサーバ４０を用意しているが、クライアント端末１０単独での質感のシミュレーション例１～５が可能でもよい。
本実施の形態の場合、クラウドサーバ４０におけるプログラムの実行を通じ、前述した質感のシミュレーション例１～５が実現される。
なお、図１５の場合には、質感のシミュレーション専用のクラウドサーバ４０を用意しているが、クライアント端末１０単独での質感のシミュレーション例１～５が可能でもよい。
【0057】
＜他の実施の形態＞
（１）以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
（１）以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0058】
（２）前述の実施の形態では、シミュレーションの対象として用紙に代表される二次元の物体を想定したが、３次元の物体でもよい。３次元の物体をシミュレーションの対象とする場合には、３次元の物体の形状や表面を規定する情報を使用して観察地での質感の見え方をシミュレーションする。
【0059】
（３）前述の実施の形態におけるシミュレーション例２及び５においては、加重平均に使用する重みの和が１の場合について説明したが、重みの和は１でなくてもよい。
【0060】
（４）前述の実施の形態におけるシミュレーション例３においては、光沢感係数ｗの計算に、主要な照明の位置と各画素ｉとのキューブマップ上の距離ｄを使用したが、全天球画像での距離として計算してもよい。ただし、全天球画像での距離を計算する場合には、球の大きさを例えば単位球等に正規化して計算する。光沢感係数ｗの計算に必要な距離ｄは、相対的な距離でよいので正規化しても問題ない。
【0061】
（５）前述の実施の形態におけるシミュレーション例３においては、光沢感係数ｗの計算に、キューブマップの中心と主要な照明の位置とを結ぶ直線と、キューブマップの中心と各画素ｉの位置を結ぶ直線とがなす角（角度差）Δωを使用したが、全天球画像での角度差として計算してもよい。ただし、全天球画像での角度差を計算する場合には、球の大きさを例えば単位球等に正規化して計算する。光沢感係数ｗの計算に必要な角度差Δωは、相対的な距離でよいので正規化しても問題ない。
【0062】
（６）前述した実施の形態におけるプロセッサは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ等）の他、専用的なプロセッサ（例えばＧＰＵ（＝Graphical Processing Unit）、ＡＳＩＣ（＝Application Specific Integrated Circuit）、ＦＰＧＡ（＝Field Programmable Gate Array）、プログラム論理デバイス等）を含む。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順番は、前述した各実施の形態に記載した順番のみに限定されるものでなく、個別に変更してもよい。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順番は、前述した各実施の形態に記載した順番のみに限定されるものでなく、個別に変更してもよい。
【0063】
＜付記＞
(((1)))
プロセッサを有し、前記プロセッサは、実空間を撮像した画像の照度分布から主要な照明の情報を取得し、前記主要な照明の情報により補正した照度分布を使用して物品の表現を制御する、情報処理装置。
(((2)))
前記プロセッサは、前記照度分布から主要な照明の色を推定し、前記主要な照明の情報として使用する、(((1)))に記載の情報処理装置。
(((3)))
前記プロセッサは、前記照度分布から主要な照明の強度を推定し、前記主要な照明の情報として使用する、(((1)))又は(((2)))に記載の情報処理装置。
(((4)))
前記プロセッサは、前記照度分布を表す第１関数に対する、前記主要な照明の情報を表す第２関数の加算により、当該照度分布を補正した第３関数を算出し、前記補正した照度分布とする、(((1)))～(((3)))のいずれか１つに記載の情報処理装置。
(((5)))
前記プロセッサは、前記第２関数を固定値として前記第１関数に加算する、(((4)))に記載の情報処理装置。
(((6)))
前記プロセッサは、前記第１関数と前記第２関数の加重平均として前記第３関数を算出する、(((4)))に記載の情報処理装置。
(((7)))
前記プロセッサは、前記主要な照明の位置と前記照度分布上の各画素との位置関係により光沢の度合いを与える指標を算出し、算出された前記指標で補正した前記第２関数を前記第１関数に加算して前記第３関数を算出する、(((4)))に記載の情報処理装置。
(((8)))
前記プロセッサは、前記主要な照明の位置との距離が小さい画素に対する前記指標の値を、前記主要な照明の位置との距離が大きい画素に対する前記指標の値よりも大きい値に設定する、(((7)))に記載の情報処理装置。
(((9)))
前記プロセッサは、前記主要な照明の位置に対する角度差が小さい画素に対する前記指標の値を、前記主要な照明の位置に対する角度差が大きい画素に対する前記指標の値よりも大きい値に設定する、(((7)))に記載の情報処理装置。
(((10)))
前記プロセッサは、前記指標を重み係数で補正した前記第２関数を前記第１関数に加算して前記第３関数を算出する、(((7)))に記載の情報処理装置。
(((11)))
前記プロセッサは、前記指標で補正した前記第２関数と前記第１関数の加重平均として前記第３関数を算出する、(((7)))に記載の情報処理装置。
(((12)))
コンピュータに、実空間を撮像した画像の照度分布から主要な照明の情報を取得する機能と、前記主要な照明の情報により補正した前記照度分布を使用して物品の表現を制御する機能と、を実現させるためのプログラム。
(((1)))
プロセッサを有し、前記プロセッサは、実空間を撮像した画像の照度分布から主要な照明の情報を取得し、前記主要な照明の情報により補正した照度分布を使用して物品の表現を制御する、情報処理装置。
(((2)))
前記プロセッサは、前記照度分布から主要な照明の色を推定し、前記主要な照明の情報として使用する、(((1)))に記載の情報処理装置。
(((3)))
前記プロセッサは、前記照度分布から主要な照明の強度を推定し、前記主要な照明の情報として使用する、(((1)))又は(((2)))に記載の情報処理装置。
(((4)))
前記プロセッサは、前記照度分布を表す第１関数に対する、前記主要な照明の情報を表す第２関数の加算により、当該照度分布を補正した第３関数を算出し、前記補正した照度分布とする、(((1)))～(((3)))のいずれか１つに記載の情報処理装置。
(((5)))
前記プロセッサは、前記第２関数を固定値として前記第１関数に加算する、(((4)))に記載の情報処理装置。
(((6)))
前記プロセッサは、前記第１関数と前記第２関数の加重平均として前記第３関数を算出する、(((4)))に記載の情報処理装置。
(((7)))
前記プロセッサは、前記主要な照明の位置と前記照度分布上の各画素との位置関係により光沢の度合いを与える指標を算出し、算出された前記指標で補正した前記第２関数を前記第１関数に加算して前記第３関数を算出する、(((4)))に記載の情報処理装置。
(((8)))
前記プロセッサは、前記主要な照明の位置との距離が小さい画素に対する前記指標の値を、前記主要な照明の位置との距離が大きい画素に対する前記指標の値よりも大きい値に設定する、(((7)))に記載の情報処理装置。
(((9)))
前記プロセッサは、前記主要な照明の位置に対する角度差が小さい画素に対する前記指標の値を、前記主要な照明の位置に対する角度差が大きい画素に対する前記指標の値よりも大きい値に設定する、(((7)))に記載の情報処理装置。
(((10)))
前記プロセッサは、前記指標を重み係数で補正した前記第２関数を前記第１関数に加算して前記第３関数を算出する、(((7)))に記載の情報処理装置。
(((11)))
前記プロセッサは、前記指標で補正した前記第２関数と前記第１関数の加重平均として前記第３関数を算出する、(((7)))に記載の情報処理装置。
(((12)))
コンピュータに、実空間を撮像した画像の照度分布から主要な照明の情報を取得する機能と、前記主要な照明の情報により補正した前記照度分布を使用して物品の表現を制御する機能と、を実現させるためのプログラム。
【0064】
(((1)))に係る情報処理装置によれば、実空間で撮像された画像をそのまま使用して物体の見え方をシミュレーションする場合に比して、シミュレーションの結果を実際の見え方に近づけることができる。
(((2)))に係る情報処理装置によれば、実空間における主要な照明の色をシミュレーションの結果に反映できる。
(((3)))に係る情報処理装置によれば、実空間における主要な照明の強度をシミュレーションの結果に反映できる。
(((4)))に係る情報処理装置によれば、実空間における主要な照明の影響をシミュレーションの結果に反映できる。
(((5)))に係る情報処理装置によれば、物体の見え方の再現性を高めることができる。
(((6)))に係る情報処理装置によれば、物体の見え方の再現性を高めることができる。
(((7)))に係る情報処理装置によれば、光沢の再現性を高めることができる。
(((8)))に係る情報処理装置によれば、光沢の再現性を高めることができる。
(((9)))に係る情報処理装置によれば、光沢の再現性を高めることができる。
(((10)))に係る情報処理装置によれば、光沢の再現性の精度を一段と高めることができる。
(((11)))に係る情報処理装置によれば、光沢の再現性の精度を一段と高めることができる。
(((12)))に係る情報処理装置によれば、実空間で撮像された画像をそのまま使用して物体の見え方をシミュレーションする場合に比して、シミュレーションの結果を実際の見え方に近づけることができる。
(((2)))に係る情報処理装置によれば、実空間における主要な照明の色をシミュレーションの結果に反映できる。
(((3)))に係る情報処理装置によれば、実空間における主要な照明の強度をシミュレーションの結果に反映できる。
(((4)))に係る情報処理装置によれば、実空間における主要な照明の影響をシミュレーションの結果に反映できる。
(((5)))に係る情報処理装置によれば、物体の見え方の再現性を高めることができる。
(((6)))に係る情報処理装置によれば、物体の見え方の再現性を高めることができる。
(((7)))に係る情報処理装置によれば、光沢の再現性を高めることができる。
(((8)))に係る情報処理装置によれば、光沢の再現性を高めることができる。
(((9)))に係る情報処理装置によれば、光沢の再現性を高めることができる。
(((10)))に係る情報処理装置によれば、光沢の再現性の精度を一段と高めることができる。
(((11)))に係る情報処理装置によれば、光沢の再現性の精度を一段と高めることができる。
(((12)))に係る情報処理装置によれば、実空間で撮像された画像をそのまま使用して物体の見え方をシミュレーションする場合に比して、シミュレーションの結果を実際の見え方に近づけることができる。
【符号の説明】
【0065】
１…印刷システム、１Ａ…情報処理システム、１０…クライアント端末、２０…画像形成装置、３０…印刷サーバ、３１…プロセッサ、３２…ＲＯＭ、３３…ＲＡＭ、３４…補助記憶装置、３５…ユーザインタフェース、３６…通信インタフェース、３７…信号線、４０…クラウドサーバ、１０１、１０２、１０３…サンプル画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
