(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-25
(45)【発行日】2024-01-09
(54)【発明の名称】表示装置
(51)【国際特許分類】
G06T 19/00 20110101AFI20231226BHJP
G06T 15/80 20110101ALI20231226BHJP
【FI】
G06T19/00 A
G06T15/80
(21)【出願番号】P 2019198852
(22)【出願日】2019-10-31
【審査請求日】2022-09-22
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100137752
【氏名又は名称】亀井 岳行
(74)【代理人】
【識別番号】100085040
【氏名又は名称】小泉 雅裕
(74)【代理人】
【識別番号】100108925
【氏名又は名称】青谷 一雄
(74)【代理人】
【識別番号】100087343
【氏名又は名称】中村 智廣
(72)【発明者】
【氏名】堀川 和彦
(72)【発明者】
【氏名】奥津 優
【審査官】村松 貴士
(56)【参考文献】
【文献】特開2003-216973(JP,A)
【文献】特開2018-124806(JP,A)
【文献】特開2015-045958(JP,A)
【文献】特開2015-233240(JP,A)
【文献】特表2019-527355(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 15/00 - 19/20
(57)【特許請求の範囲】
【請求項1】
ある物体の画像に基づいて仮想光源に対する前記物体の角度が変更されるよう前記物体を複数の角度から見たときの生成画像を生成する生成部と、
前記生成画像のうち前記物体を第1の角度から見た第1画像を選択画像として選択する選択部と、
前記第1画像での前記仮想光源と前記物体との位置関係を保持したまま前記第1の角度と異なる第2の角度から前記物体を見た変換画像に変換する変換部と、
前記変換画像を表示する表示部と、
を備える表示装置。
【請求項2】
前記第2の角度を指定する指定部を備える請求項1に記載の表示装置。
【請求項3】
前記指定部で指定された前記第2の角度に対して予め定められた角度範囲に属する前記物体の画像を前記第2の角度から見た前記物体の画像とする請求項2に記載の表示装置。
【請求項4】
前記指定部は、前記物体の画像の面積が最大の画像を前記第2の角度から見た前記物体の画像として自動的に指定する請求項2に記載の表示装置。
【請求項5】
前記第2の角度から見た前記物体の画像は、前記物体の平面画像である請求項3に記載の表示装置。
【請求項6】
前記表示部は前記生成画像も表示する表示部であって、前記生成画像及び前記変換画像を表示している際に、
前記仮想光源の位置及び照明強度を調節する調節部を備える請求項1に記載の表示装置。
【請求項7】
前記仮想光源は、点光源及び平行光の光源を含む請求項6に記載の表示装置。
【請求項8】
前記表示部は、前記選択画像を併せて表示する請求項1に記載の表示装置。
【請求項9】
前記表示部は、前記複数の角度から見た前記生成画像を表示する請求項1に記載の表示装置。
【請求項10】
前記表示部は、前記複数の角度から見た前記生成画像を指定された指定順に表示する請求項9に記載の表示装置。
【請求項11】
前記表示部は、前記複数の角度から見た前記生成画像を変化量がなだらかになるよう並べ替えて表示する請求項9に記載の表示装置。
【請求項12】
前記生成部は、前記仮想光源に対する前記物体の角度が変更されるよう前記物体を複数の角度から見たときの前記物体の画像を生成する際に、前記物体表面の領域に応じて勾配を付けた係数を乗算した光沢成分を付加した画像を生成する請求項1に記載の表示装置。
【請求項13】
前記物体表面の領域に応じた勾配は、面光源に対応した平行線状の勾配及び点光源に対応した同心円状の勾配からなる請求項12に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、表示装置に関する。
【背景技術】
【0002】
従来、表示装置に関する技術としては、例えば、特許文献1等に開示されたものが既に提案されている。
【0003】
特許文献1は、物体表面の拡散反射画像を取得する拡散反射画像取得部と、前記物体表面の鏡面反射画像を取得する鏡面反射画像取得部と、前記拡散反射画像と前記鏡面反射画像の差分画像を取得する差分画像取得部と、前記拡散反射画像と前記差分画像を用いて物体表面の反射率分布関数を算出する反射率分布関数算出部と、前記反射率分布関数を用いて前記物体表面の向きの変化に応じた前記物体表面の反射色を表示する表示部と、を備えるように構成したものである。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
この発明の目的は、仮想光源と物体との位置関係を保持したまま物体を他の角度から見た画像を表示可能とすることにある。
【課題を解決するための手段】
【0006】
請求項1に記載された発明は、ある物体の画像に基づいて仮想光源に対する前記物体の角度が変更されるよう前記物体を複数の角度から見たときの生成画像を生成する生成部と、
前記生成画像のうち前記物体を第1の角度から見た第1画像を選択画像として選択する選択部と、
前記第1画像での前記仮想光源と前記物体との位置関係を保持したまま前記第1の角度と異なる第2の角度から前記物体を見た変換画像に変換する変換部と、
前記変換画像を表示する表示部と、
を備える表示装置である。
【0007】
請求項2に記載された発明は、前記第2の角度を指定する指定部を備える請求項1に記載の表示装置である。
【0008】
請求項3に記載された発明は、前記指定部で指定された前記第2の角度に対して予め定められた角度範囲に属する前記物体の画像を前記第2の角度から見た前記物体の画像とする請求項2に記載の表示装置である。
【0009】
請求項4に記載された発明は、前記指定部は、前記物体の画像の面積が最大の画像を前記第2の角度から見た前記物体の画像として自動的に指定する請求項2に記載の表示装置である。
【0010】
請求項5に記載された発明は、前記第2の角度から見た前記物体の画像は、前記物体の平面画像である請求項3に記載の表示装置である。
【0011】
請求項6に記載された発明は、前記表示部は前記生成画像も表示する表示部であって、前記生成画像及び前記変換画像を表示している際に、
前記仮想光源の位置及び照明強度を調節する調節部を備える請求項1に記載の表示装置である。
【0012】
請求項7に記載された発明は、前記仮想光源は、点光源及び平行光の光源を含む請求項6に記載の表示装置である。
【0013】
請求項8に記載された発明は、前記表示部は、前記選択画像を併せて表示する請求項1に記載の表示装置である。
【0014】
請求項9に記載された発明は、前記表示部は、前記複数の角度から見た前記生成画像を表示する請求項1に記載の表示装置である。
【0015】
請求項10に記載された発明は、前記表示部は、前記複数の角度から見た前記生成画像を指定された指定順に表示する請求項9に記載の表示装置である。
【0016】
請求項11に記載された発明は、前記表示部は、前記複数の角度から見た前記生成画像を変化量がなだらかになるよう並べ替えて表示する請求項9に記載の表示装置である。
【0017】
請求項12に記載された発明は、前記生成部は、前記仮想光源に対する前記物体の角度が変更されるよう前記物体を複数の角度から見たときの前記物体の画像を生成する際に、前記物体表面の領域に応じて勾配を付けた係数を乗算した光沢成分を付加した画像を生成する請求項1に記載の表示装置である。
【0018】
請求項13に記載された発明は、前記物体表面の領域に応じた勾配は、面光源に対応した平行線状の勾配及び点光源に対応した同心円状の勾配からなる請求項12に記載の表示装置である。
【発明の効果】
【0019】
請求項1に記載された発明によれば、仮想光源と物体との位置関係を保持したまま物体を他の角度から見た画像を表示することができる。
【0020】
請求項2に記載された発明によれば、第2の角度を指定する指定部を備えない場合に比べ、指定された角度から見た画像を表示することが可能となる。
【0021】
請求項3に記載された発明によれば、指定時に詳細な指定をしなくても、意図した角度を指定することができる。
【0022】
請求項4に記載された発明によれば、ユーザが選択する手間を省くことができる。
【0023】
請求項5に記載された発明によれば、物体の平面画像を自動的に表示することができる。
【0024】
請求項6に記載された発明によれば、仮想光源の位置及び照明強度を調節する調節部を備えない場合に比べ、物体の画像のバリュエーションが向上する。
【0025】
請求項7に記載された発明によれば、仮想光源は、点光源及び平行光の光源を含まない場合に比べ、物体の画像の表現の幅が広くなる。
【0026】
請求項8に記載された発明によれば、表示部は、生成部で生成された物体の画像を併せて表示しない場合に比べ、物体の画像の選択が容易となる。
【0027】
請求項9に記載された発明によれば、表示部は、生成部で生成された複数の角度から見た物体の画像を表示しない場合に比べ、複数の角度から見た物体の画像から任意の画像を選択することができる。
【0028】
請求項10に記載された発明によれば、表示部は、生成部で生成された複数の角度から見た物体の画像を単に表示する場合に比べ、画像の選択が容易となる。
【0029】
請求項11に記載された発明によれば、表示部は、生成部で生成された複数の角度から見た物体の画像をランダムに表示する場合に比べ、物体の画像の変化を容易に識別することができる。
【0030】
請求項12に記載された発明によれば、生成部は、仮想光源に対する物体の角度が変更されるよう物体を複数の角度から見たときの物体の画像を生成する際に、物体表面の領域に応じて勾配を付けた係数を乗算した光沢成分を付加した画像を生成しない場合に比べ、より実際に近い光沢等を表示することができる。
【0031】
請求項13に記載された発明によれば、物体表面の領域に応じた勾配は、面光源に対応した平行線状の勾配及び点光源に対応した同心円状の勾配から構成しない場合に比べ、勾配の設定が容易となる。
【図面の簡単な説明】
【0032】
【
図1】この発明の実施の形態1に係る表示装置を適用した画像表示システムを示す概略構成図である。
【
図4】この発明の実施の形態1に係る表示装置の要部を示すブロック図である。
【
図5】タブレット端末装置を示す斜視構成図である。
【
図7】Lambertの仮想モデルを適用する幾何学的条件を示す説明図である。
【
図8】実際に測定されたBRDFを示すグラフである。
【
図10】Phongの仮想モデルを適用する幾何学的条件を示す説明図である。
【
図12】反射モデルでのパラメータ推定の例で、
図8に示す低カバレッジの場合の実測BRDFにフィッティングした予測BRDFを示すグラフである。
【
図13】この発明の実施の形態1に係る表示装置の要部を示すブロック図である。
【
図14】物体の三次元的な配置を示す斜視構成図である。
【
図15】物体の三次元的な配置を示す斜視構成図である。
【
図17】物体の三次元的な配置を示す斜視構成図である。
【
図22】物体の三次元的な配置を示す斜視構成図である。
【
図23】この発明の実施の形態2に係る表示装置の要部を示すブロック図である。
【
図24】この発明の実施の形態2に係る表示装置で表示される物体の画像を示す説明図である。
【発明を実施するための形態】
【0033】
以下に、この発明の実施の形態について図面を参照して説明する。
【0034】
[実施の形態1]
図1は、実施の形態1に係る表示装置を適用した画像表示システムを示すものである。
【0035】
<表示装置を用いた画像表示システムの全体構成>
オンデマンド印刷の可能性を新たな次元に引き上げるため、オンデマンドプリンタなどにおいては、貝殻、蝶やトンボの羽、あるいは金糸や銀糸などを織り込んだ帯、更には金箔や銀箔などで描いた日本画のように、光の変化や見る角度、視点によって変化する多様な色彩による画像などもプリント可能となってきている。
【0036】
これに伴い、画像を表示する表示装置においても、光沢感や凹凸感など物体表面の質感を表示可能とすることが求められている。
【0037】
この実施の形態1に係る表示装置を適用した画像表示システム1としては、
図1に示されるように、3DCG(Three-Dimensional Computer Graphics)などを用いて光沢感や凹凸感などを有する物体を表示可能とする表示装置の一例としてのユーザ用端末装置2と、図示しない無線LANを介して通信可能であり、同じく3DCGなどを用いて光沢感や凹凸感などを有する物体を表示可能とする表示装置の一例としてのタブレット型端末装置7と、ユーザ用端末装置2やタブレット型端末装置7がネットワーク3を介して接続されるサーバ装置4と、光沢感や凹凸感などを有する物体の画像を読み取る画像読取装置の一例としての質感スキャナ6と、必要に応じて画像情報をプリントする画像形成装置5とを備えたものが挙げられる。
【0038】
ユーザ用端末装置2は、例えば、パーソナルコンピュータとして構成される。ただし、ユーザ用端末装置2は、パーソナルコンピュータに限定されるものではなく、1または複数のプロセッサ、メモリ、入出力インターフェイス、通信インターフェイス及び表示部を備えるコンピュータであっても良い。
【0039】
図2はこの実施の形態1に係る画像表示システム1を適用したサーバ装置4を示すブロック図である。
【0040】
サーバ装置4は、
図2に示されるように、制御手段の一例としての制御部401と、記憶部402と、操作部403と、通信部404とを備えている。
【0041】
制御部401は、CPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)を有している。制御部401は、ハードディスク等からなる記憶部402に記憶された3DCGのプログラムによって作成された複数の3DCGのデータからなるデータベースなどの読み出しや読み込みなどを実行する。制御部401は、記憶部402や操作部403、あるいは通信部404を制御するとともに、通信部404及びネットワーク3を介してユーザ用端末装置2、タブレット型端末装置7、質感スキャナ6や画像形成装置5と接続されている。
【0042】
図3はこの実施の形態1に係る画像表示システム1における表示装置の一例としてのユーザ用端末装置を示すブロック図である。なお、タブレット型端末装置7も基本的に
図3に示されるユーザ用端末装置2と同様に構成されている。
【0043】
ユーザ用端末装置2は、
図3に示されるように、制御手段の一例としての制御部201と、記憶部202と、操作部203と、通信部204と、表示部205を備えている。
【0044】
制御部201は、CPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)を有している。制御部201は、サーバ装置4から読み出されるか又は予めハードディスク等からなる記憶部202に記憶された3DCGのプログラムなどを実行するとともに、表示装置としての種々の機能を実行する。制御部201は、記憶部202や操作部203、通信部204あるいは表示部205を制御するとともに、通信部204を介してサーバ装置4及び画像形成装置5とデータの送受信などを行う。
【0045】
また、制御部201は、
図4に示されるように、物体の画像情報を取得する取得部206と、本実施形態における生成画像にあたる、物体の画像に基づいて仮想光源に対する物体の角度が変更されるよう物体を複数の角度から見たときの物体の画像を生成する生成部207と、生成部207で生成された物体の画像のうち本実施形態における選択画像である、第1の角度から見た物体の画像を選択する選択部208と、本実施の形態における生成画像である、選択部208で選択された物体の画像を仮想光源と物体との位置関係を保持したまま第1の角度と異なる第2の角度から見た物体の画像に変換する変換部209として機能する。変換部209で変換された物体の画像は、表示部205によって表示される。また、本実施形態の表示部205は、変換画像だけでなく、生成画像も表示部205に表示されており、選択画像を表示する際にも表示部205を見ながら選択するようになっている。
【0046】
選択部208は、例えば、ユーザ用端末装置2の操作部203の一例としてのキーボードやマウス等で構成される。また、表示部205は、ユーザ用端末装置2の液晶ディスプレイや有機ELディスプレイで構成される。なお、タブレット型端末装置7は、
図5に示されるように、ユーザ用端末装置2の表示部205と同様に液晶ディスプレイや有機ELディスプレイで構成される表示部71を備えているが、表示部71の表面には、操作部の一例としてユーザが指でタッチすることにより操作するタッチパネル72が設けられている。
【0047】
表示装置の一例としてのユーザ用端末装置2の構成については、後に詳述する。
【0048】
図6は平面物体の画像を取得するための画像読取装置の一例としての質感スキャナを示す構成図である。
【0049】
質感スキャナ6は、
図6に示されるように、物体の一例としての平面物体10の表面特性を光学的に読み取り、その読取結果として画像信号(画像データ)を出力するものである。質感スキャナ6が出力する画像信号には、平面物体10のカラー画像信号に加えて、拡散反射光に基づく拡散反射画像信号と鏡面反射光に基づく鏡面反射画像信号が含まれる。
【0050】
質感スキャナ6は、その上端部に平面物体10を載置する透明なガラス板等からなるプラテンガラス11を備えている。質感スキャナ6は、プラテンガラス11上に載置された平面物体10を覆うことにより、外光を遮断する図示しないプラテンカバーを備えていてもよい。プラテンガラス11の下方には、プラテンガラス11の表面に沿って矢印Aで示す方向に移動可能なキャリッジ12が配置されている。キャリッジ12には、カラー画像及び拡散反射画像を読み取るための第1の光源13,14と、鏡面反射画像を読み取るための第2の光源15と、結像レンズや図示しないミラー等からなる結像光学系16と、センサ17等が搭載されている。
【0051】
質感スキャナ6には、第1及び第2の光源13,14,15、センサ17及びキャリッジ12等の部材が、図面に垂直な方向に沿って予め定められた幅で設けられている。この図面に垂直な方向は、質感スキャナ6の主走査方向である。また、図中矢印Aが示す方向は、キャリッジ12の移動方向である質感スキャナ6の副走査方向である。
【0052】
キャリッジ12は、平面物体10の画像を読み取るとき、予め定められた読取速度で副走査方向Aに沿って移動するよう構成されている。第1の光源13は、フロント側光源であり、平面物体10の読取位置における法線方向に対して第1の入射角度である例えば45°の入射角度で光を照射することで、平面物体10からの拡散反射光をセンサ17で読み取るための光を照射する。第1の光源14は、リア側光源であり、平面物体10の法線方向に対して例えば45°の入射角度で光を照射することで、平面物体10からの拡散反射光を読み取るための光を照射する。また、第2の光源15は、リア側光源であり、平面物体10の読取位置における法線方向に対して第2の入射角度である例えば10°の入射角度で光を照射することで、平面物体10からの鏡面反射光を読み取るための光を照射する。
【0053】
第2の光源15は、その反射光の主光線を遮ることがない位置に設けられる。第2の光源15が照射する光の入射角度は、この実施の形態1では10°に設定されている。これに限らず、第2の光源15が照射する光の入射角度は、5°~10°程度と小さい角度に設定しても良い。第2の光源15により照射された光の反射光は、平面物体10の読取位置における法線方向に進行するものが結像レンズ等の結像光学系16を介してセンサ17によって読み取られる。
【0054】
また、第2の光源15は、照射する光の角度が狭いことが望ましい。第2の光源15が照射する光の角度が比較的大きい場合には、第2の光源15が照射する光の角度を制限するカバー等を設けてもよい。さらに、第2の光源15は、平面物体10の鏡面反射による光沢情報を読み取るためのものであるため、第1の光源13,14に比べ、主走査方向についての輝度がなるべく一様かつ連続であることが望ましい。
【0055】
第2の光源15の要件を満たすものとしては、例えば、蛍光ランプや希ガス蛍光ランプ(キセノン蛍光ランプ等)が用いられる。また、第2の光源15は、白色のLEDを主走査方向に複数配列し、拡散板などを用いて主走査方向の輝度分布を均一化したものであってもよい。
【0056】
キャリッジ12は、さらに結像光学系16及びセンサ17を内部に備える。結像光学系16は、反射ミラーや結像レンズで構成され、平面物体10からの拡散反射光及び鏡面反射光成分をセンサ17に結像させる。センサ17は、結像光学系16により結像された拡散反射光及び鏡面反射光成分を受け、受けた光に応じた画像信号を生成する。センサ17は、CCDリニアイメージセンサやCMOSイメージセンサ等の受光素子で構成され、受光した光をその強弱を表す信号に変換する。また、センサ17は、選択的に着脱可能なRGBからなるカラーフィルタを備え、平面物体10の色を表すカラー画像信号を生成する。センサ17は、カラー画像信号以外に、拡散反射光を受光して得られた拡散反射画像信号及び鏡面反射光を受光して得られた鏡面反射画像信号をネットワーク3を介してユーザ用端末装置2、タブレット型端末装置7やサーバ装置4等の外部装置に出力する。
【0057】
質感スキャナ6は、例えば、プラテンガラス11上に載置された平面物体10を3回走査することにより、カラー画像信号と、拡散反射画像信号と、鏡面反射画像信号を個別に出力する。カラー画像信号の出力は、センサ17にカラーフィルタを装着し、プラテンガラス11上に載置された平面物体10を第1の光源13,14により照明することで行う。拡散反射画像信号の出力は、センサ17からカラーフィルタを取り外し、プラテンガラス11上に載置された平面物体10を第1の光源13,14により照明することで行う。鏡面反射画像信号の出力は、センサ17からカラーフィルタを取り外し、プラテンガラス11上に載置された平面物体10を第2の光源15により照明することで行う。
【0058】
なお、拡散反射の条件(光源入射角45°)と鏡面反射の条件(光源入射角10°)は、同一の白色校正板でキャリブレーションが行われている。そのため、プラテンガラス11上に載置された平面物体10から拡散反射光のみが生じて鏡面反射光が生じない場合は、センサ17からの出力信号が等しくなり、簡易な差分演算で光沢情報を抽出することができる。
【0059】
ところで、質感スキャナ6で読み取られる平面物体10の画像としては、通常の文字や写真、イラスト等の画像にとどまらず、表面に光沢や凹凸を有する物体の画像が挙げられる。
【0060】
シルバーやゴールドのメタリックカラーとYMCK(イエロー、マゼンタ、シアン及びブラック)のカラートナーを用いて光沢を有する画像を形成することが可能なプリンターや、カラートナーの上に透明トナーを載せて光沢を付けたり、トナーを定着させた後のアイロンのような冷却装置によって光沢を上げた表現をする等のプリントが可能なプリンターがある。
【0061】
表面に光沢や凹凸を有する物体の画像情報は、
図6に示されるように、質感スキャナ6を用いて平面物体10のカラー画像に加えて拡散反射画像及び鏡面反射画像の画像データを取得することにより得られる。
【0062】
表面に光沢や凹凸を有する物体の画像情報は、BRDF(Bidirectional Reflectance Distribution Function)と呼ばれる双方向反射率分布関数を用いて表現される。光が物体の表面に照射されると、物体の表面で鏡面反射されたり、物体の内部を透過して吸収されたり、散乱して表面から出射される。
図7は、BRDF(双方向反射率分布関数)の幾何学的な条件を示したものである。BRDFは、反射表面上のある地点xにおいて、光源方向Lの微小立体角から入射する光の放射照度dEに対する視線方向Vの微小立体角への反射光の放射輝度dL
0の割合を表す関数である。一般的にはゴニオフォトメータ等の入射角や受光角を変更できる計測器で測定される。この測定値は、実測BRDFと呼ばれる。
【0063】
図7において、θ
iは入射光が反射表面の地点xにおける法線ベクトルNとなす角度、θ
oは反射光が反射表面の地点xにおける法線ベクトルNとなす角度、φ
iは入射光が反射表面の地点xにおける接線ベクトルtとなす角度、φ
oは反射光が反射表面の地点xにおける接線ベクトルtとなす角度である。
【0064】
【0065】
図8は、シルバートナーを用いてカバレッジを変化させて電子写真方式で出力した印刷物の実測BRDFの例を示すものである。
図8において、光源方向ベクトルLと視線方向ベクトルVが同一平面上にあり(φ成分はなし)、入射角θ
iが45°で、横軸は受光角θ
0を示している。入射角が45°の場合の鏡面反射角度は45°である。
【0066】
この
図8から明らかなように、シルバートナーのカバレッジ(金属光沢)が高いほど、鏡面反射光の輝度が高くなることが判る。
【0067】
物体表面の光の反射の仕方を近似するモデルとしては、Phongの反射モデルが使用される。Phongの反射モデルでは、物体表面の反射を環境光と、直接光の拡散反射光と、直接光の鏡面反射光の3つの要素で近似する。
【0068】
なお、光源としては、
図9に示されるように、点光源と、平行光源に分けることができる。点光源は、空間中の有る位置から光がすべての方向に広がる光源である。平行光源は、空間中のあらゆる位置で同じ方向の光源である。
【0069】
物体からの反射光の強度は、環境光と、直接光の拡散反射光と、直接光の鏡面反射光を加算したものとなる。
Ir=Ia+Id+Is
ここで、Ia,Id,Isはそれぞれ環境光、拡散反射光、鏡面反射光の輝度を示している。なお、環境光Iaは定数として扱うことができる。
【0070】
物体からの拡散反射光の強度は、Lambertの余弦則に従うことが知られている。Lambertの余弦則とは、微小面から反射する放射強度は、次の式で示されるように、面法線と光線の入射角θ
iの余弦に比例するというものである。なお、
図10はLambertの余弦則と次に述べるPhongの反射モデルにおける幾何学的条件を示した図である。
I=I
i・(ρ
d ・cosθ
i)
ここで、I
iは入射光の強度、ρ
dは拡散反射率、θ
iは入射角である。
【0071】
物体からの鏡面反射光の強度は、金属やプラスチックなどの滑らかな表面で起こる反射である。完全な鏡面では、光は入射角の正反射方向にのみ反射するが、実際の物体では、
図11に示されるように、正反射方向を中心とした範囲に広がりを持っている。
【0072】
Phongの反射モデルでは、鏡面反射光の放射強度Iは次のように近似される。
I=Ii・(ρs ・cosnγ)
ここで、ρsは鏡面反射率、nは鏡面反射指数(n≧1)、γは鏡面反射方向と視線方向のなす角度である。
【0073】
したがって、物体からの反射光の強度は、直接光の拡散反射光と、直接光の鏡面反射光を加算したものとなり、次の式で表される。
I=Ii・(ρd ・cosθi)+Ii・(ρs ・cosnγ)
この式では角度γ が小さくなるほど大きな値となる。また、nの値が大きいほど角度γに対する値が急激に減少する。
【0074】
この反射モデルにおいては、質感スキャナ6から出力される拡散反射画像及び鏡面反射画像の画像データに基づいて拡散反射率ρd、鏡面反射率ρs及び鏡面反射指数nの各パラメータが求められる。
【0075】
図12は、反射モデルでのパラメータ推定の例で、
図8に示す低カバレッジの場合の実測BRDFにフィッティングした予測BRDFを示す。この
図12から明らかなように、反射モデルにおいてパラメータを質感センサ6の出力に基づいて適宜推定して決定することにより、実測された低カバレッジのBRDFに適合することが判る。
【0076】
ところで、この実施の形態1に係る表示装置20は、次のように構成されている。
【0077】
表示装置20は、表面に光沢や凹凸を有する物体の画像を3DCGなどを用いて立体的に表示することが可能となっている。
【0078】
表示装置20は、表面に光沢や凹凸を有する物体の画像の表示に先立って、質感スキャナ6を用いて読み取られた平面物体10の拡散反射画像及び鏡面反射画像の画像データに基づいて、平面物体10の反射率分布関数を算出する。
【0079】
図13は質感スキャナ6を用いて読み取られた平面物体10の拡散反射画像及び鏡面反射画像の画像データに基づいて、平面物体10の反射率分布関数を算出する処理を示すブロック図である。
【0080】
反射率分布関数の算出処理は、
図13に示されるように、拡散反射画像取得部21と、鏡面反射画像取得部22と、差分画像取得部23と、拡散反射率分布関数算出部24と、鏡面反射率分布関数算出部25と、パラメータ調整部26と、反射率分布関数算出部27と、光源情報取得部28と、カメラ情報取得部29とを備えている。
【0081】
拡散反射画像取得部21及び鏡面反射画像取得部22は、それぞれ質感スキャナ6で得られた拡散反射画像及び鏡面反射画像を取得する。拡散反射画像取得部21及び鏡面反射画像取得部22は、それぞれ質感スキャナ6に接続され、質感スキャナ6からこれらの画像を取得してもよく、あるいは質感スキャナ6にネットワーク3を介して接続されたサーバ装置4からこれらの画像を取得してもよい。
【0082】
差分画像取得部23は、拡散反射画像と鏡面反射画像の差分を演算して差分画像を取得する。差分画像取得部23は、(鏡面反射画像-拡散反射画像)である差分画像を演算する。
【0083】
拡散反射率分布関数算出部24は、拡散反射画像を用いて平面物体10の拡散反射率分布関数を算出する。例えば、拡散反射率分布関数算出部24は、Lambertの余弦則に従い、ρdを入射光に対する拡散反射率、θiを入射角として、拡散反射率分布関数をρd・cosθiとし、拡散反射画像からパラメータとしての拡散反射率ρdを算出する。
【0084】
鏡面反射率分布関数算出部25は、差分画像を用いて平面物体10の鏡面反射率分布関数を算出する。例えば、鏡面反射率分布関数算出部25は、Phongの反射モデルに従い、ρsを鏡面反射率、γを鏡面反射方向と視線方向のなす角、nを鏡面反射指数として、鏡面反射率分布関数をρs・cosnγとし、差分画像からパラメータとしての鏡面反射率ρs,nを算出する。
【0085】
反射率分布関数算出部27は、拡散反射率分布関数算出部24で算出された拡散反射率分布関数と、鏡面反射率分布関数算出部25で算出された鏡面反射率分布関数を用いて平面物体10の画素毎の反射率分布関数を算出する。例えば、反射率分布関数算出部27は、Lambertの余弦則とPhongの反射モデルに従い、反射率分布関数=拡散反射率分布関数+鏡面反射率分布関数により反射率分布関数を算出する。
【0086】
パラメータ調整部26は、 反射率分布関数算出部27で反射率分布関数を算出する際の各種のパラメータを調整する。光源情報取得部28は、平面物体10を照明する光源情報(光源方向)を取得する。また、カメラ情報取得部29は、カメラ情報(視線方向)を取得する。
【0087】
これらの各種パラメータや光源情報(光源方向)、あるいはカメラ情報(視線方向)は、ユーザ用端末装置2の操作部203などから適宜設定される。
【0088】
この実施の形態1に係る表示装置20は、
図4に示されるように、物体の表面反射成分を含む画像を取得する取得部206と、取得部206で取得された物体の画像に基づいて仮想光源に対する物体の角度が変更されるよう物体を複数の角度から見たときの物体の画像を生成する生成部207と、生成部207で生成された物体の画像のうち第1の角度から見た物体の画像を選択する選択部208と、選択部208で選択された物体の画像を仮想光源と物体との位置関係を保持したまま第1の角度と異なる第2の角度から見た物体の画像に変換する変換部209と、変換部209で変換された物体の画像を表示する表示部205と、種々の画像データを記憶する記憶部202とを備えるように構成されている。
【0089】
取得部206は、質感スキャナ6で得られた拡散反射画像及び鏡面反射画像、更にはカラー画像を取得する。また、取得部206は、質感スキャナ6で得られた拡散反射画像及び鏡面反射画像に基づいて、上述したように反射率分布関数の算出処理を行う。取得部206が取得した拡散反射画像及び鏡面反射画像、更にはカラー画像の情報は、記憶部202に一時的に記憶される。
【0090】
生成部207は、取得部206で取得された物体の画像に基づいて仮想光源に対する物体の角度が変更されるよう物体を複数の角度から見たときの物体の画像を生成する。
【0091】
更に説明すると、生成部207は、
図14に示されるように、3DCGのプログラムを用いて、ワールド座標系に配置された直方体の表面(上端面)に取得部で取得された物体100の画像を貼り付けた画像を生成する。
【0092】
取得部206で取得された物体の画像は、二次元の画像をそのまま用いても良いが、ここでは、二次元の画像が傾斜した状態を判り易く表示するため、二次元の画像を直方体の表面(上端面)に貼り付けた画像として生成している。
【0093】
ワールド座標系において、上述した光源情報取得部28で取得された平面物体10を照明する光源情報(光源方向)として、点光源を座標(XYZ)に配置している。また、カメラ情報取得部29は、カメラ情報(視線方向)として、Z軸方向から直方体を見た画像を取得している。
【0094】
生成部207は、
図15に示されるように、3DCGのプログラムを用いて、ワールド座標系に配置された直方体状の物体100の画像を、ユーザ用端末装置2の操作部203としてのマウスで指定された方向に任意の角度だけ傾斜させたり回転させた画像情報を生成する。
【0095】
生成部207で生成された画像情報は、
図16に示されるように、3DCGのプログラムを用いてレンダリング処理され、ユーザ用端末装置2の表示部205に三次元の画像として表示される。
【0096】
選択部208は、生成部207で生成された物体100の画像のうち第1の角度から見た物体の画像を選択するものである。ここで、第1の角度は、ユーザが任意に選択可能な角度である。選択部208は、ユーザ用端末装置2の操作部203としてのマウス等から構成される。選択部208の一例としてのユーザ用端末装置2の操作部203であるマウスは、ユーザ用端末装置2の表示部に表示される物体100の画像を見て左クリックする動作を行うことにより、生成部207で生成された物体の画像のうち第1の角度から見た物体の画像を選択する処理が実行される。
【0097】
変換部209は、
図17に示されるように、選択部208で選択された物体100の画像を仮想光源と物体との位置関係を保持したまま第1の角度と異なる第2の角度から見た物体の画像に変換するものである。
【0098】
表示装置20は、第2の角度を指定する指定部を備えている。指定部は、例えば、ユーザ用端末装置2の操作部203としてのマウス等から構成される。指定部の一例としてのユーザ用端末装置2の操作部203であるマウスは、ユーザ用端末装置2の表示部に表示される物体の画像を見て左クリックする動作を行いつつ、ユーザが希望する第2の角度から見た前記物体の画像が表示部に表示されるようにマウスを移動させる処理である。
【0099】
指定部で指定された第2の角度に対して予め定められた角度範囲(例えば、±5度)に属する物体の画像を、第2の角度から見た物体の画像とするよう構成される。より具体的には、例えば表示装置の解像度の関係で、水平より2.57888°傾いたような角度で表示しようとすると、シャープに表示できない場合で2.5°で表示する方が綺麗に表示できる場合は、2.5°にして表示される。又例えば、物体の平面に対し、ほぼ垂直な角度が選ばれた場合には、ユーザは垂直に指示したかったのだろう、と推定される平面に対し垂直な角度を第2の角度として表示しても良い。
【0100】
また、選択部208は、物体の画像の面積が最大の画像を第2の角度から見た物体の画像として自動的に選択するよう構成しても良い。第2の角度から見た物体の画像は、例えば、物体の平面画像である。
【0101】
変換部209は、選択部208で選択された物体100の画像を仮想光源と物体との位置関係を保持したまま第1の角度と異なる第2の角度から見た物体の画像に変換する処理を行う。
【0102】
この変換部209が行う処理は、
図19に示されるように、座標系を回転させる回転処理であり、4×4の回転行列を(XYZ)座標に乗算することにより実行される。
【0103】
表示部205は、変換部209で変換された物体の画像を含めて途中の物体の画像を表示する。
【0104】
このとき、表示部205は、生成部207で生成された物体の画像を併せて表示するよう構成しても良い。また、表示部205は、生成部207で生成された生成画像のうち、物体を第1の角度から見た第1画像を選択画像として併せて表示するのが望ましい。
【0105】
また、表示部205は、生成部207で生成された複数の角度から見た物体の画像をそれぞれ表示するように構成しても良い。このように、表示部205は、生成部207で生成された複数の角度から見た物体の画像をそれぞれ表示することにより、ユーザは、最も輝度の高い画像に限らず、自分の好みに合った物体の画像を選択することが容易に可能となる。
【0106】
さらに、表示部205は、生成部207で生成された複数の角度から見た物体の画像を指定された指定順に表示するよう構成しても良い。ここで、指定された指定順とは、ユーザがマウス等によって順次指定した順序であっても良いし、物体の画像の輝度を自動的に演算により求め、予め輝度の高い順を指定することにより、指定された輝度の高い順に物体の画像を表示するように構成しても良い。
【0107】
また、表示部205は、生成部207で生成された複数の角度から見た物体の画像を変化量がなだらかになるよう並べ替えて表示するよう構成することもできる。このように、生成部207で生成された複数の角度から見た物体の画像を変化量がなだらかになるよう並べ替えて表示することにより、ユーザは、物体の画像の変化量を認識し易くなるとともに、自分の好みに合った画像を選択することが容易となる。
【0108】
<表示装置の動作>
この実施の形態にかかる表示装置20では、次のようにして、仮想光源と物体との位置関係を保持したまま物体を他の角度から見た画像を表示することが可能となっている。
【0109】
いま、
図14に示されるように、ワールド座標系(XYZ空間)において直方体状の物体100が、その表面(上端面)101の中心O1の座標が(X1,Y1,Z1)であり、各側面102~105及び底面106がXY平面、YZ平面、ZX平面に対してそれぞれ平行となるよう配置されている場合を考える。
【0110】
物体100の表面101には、
図20に示されるように、その中央部に対角線の方向に沿って斜めに傾斜した状態では楕円形状に光ってみえる画像107が形成されている。画像107は、斜めに傾斜していない状態では光ってみえないが、表面がコーティングされていたり、シルバートナーのような乱反射せず強い指向性があるトナーで画像が形成されているなど、光沢がある部分である。
【0111】
周りも同じように光沢があるが、仮想光源との関係で画像107のみが楕円に光って見える状態や、周りとは異なる画像で形成されていて、ある仮想光源の角度でそれが顕著に目立つなどの場合に、表示された部分がこのように光って見え、今回がそれが楕円状に光った画像107となっている。
【0112】
物体100の表面101の画像は、
図1に示されるように、例えば、質感スキャナ6によって読み取られた画像が貼り付けられたものである。
【0113】
この実施の形態1に係る表示装置20は、質感スキャナ6によって読み取られた物体100の表面101のカラー画像情報、拡散反射光に基づく拡散反射画像情報と鏡面反射光に基づく鏡面反射画像情報に基づいて、物体100の画像をユーザ用端末装置2の表示部205に表示する。
【0114】
表示装置20では、
図13に示されるように、拡散反射率分布関数算出部24によって、質感スキャナ6によって読み取られた物体100の表面101の拡散反射光に基づく拡散反射画像情報と鏡面反射光に基づく鏡面反射画像情報に基づいて、平面物体10の拡散反射率分布関数が算出される。
【0115】
拡散反射率分布関数算出部24は、Lambertの反射モデルに従い、ρdを入射光に対する拡散反射率、θiを入射角として、拡散反射率分布関数をρd・cosθiとし、拡散反射画像からパラメータとしての拡散反射率ρdを算出する。
【0116】
鏡面反射率分布関数算出部25は、差分画像を用いて平面物体10の鏡面反射率分布関数を算出する。例えば、鏡面反射率分布関数算出部25は、Phongの反射モデルに従い、ρsを鏡面反射率、γを鏡面反射方向と視線方向のなす角、nを鏡面反射指数として、鏡面反射率分布関数をρs・cosnγとし、差分画像からパラメータとしての鏡面反射率ρs,nを算出する。
【0117】
そして、反射率分布関数算出部27は、反射率分布関数=拡散反射率分布関数+鏡面反射率分布関数により反射率分布関数を算出する。
I=Ii・(ρd ・cosθi)+Ii・(ρs ・cosnγ)
【0118】
表示装置20は、
図4に示されるように、取得部206によって、上述したように反射率分布関数の算出処理を行う。
【0119】
取得部206によって取得された反射率分布関数は、
図21に示されるように、カラー画像情報とともに、ユーザ用端末装置2の記憶部202に画素毎に一時的に記憶される。
【0120】
次に、生成部207は、ユーザ用端末装置2の記憶部202に一時的に記憶された物体100の画像情報に基づいて、
図15に示されるように、仮想光源に対する物体100の角度が変更されるよう物体100を複数の角度から見たときの物体の画像を生成する。ここで、複数の角度には、初期的に物体100を見た角度も含まれる。
【0121】
生成部207は、
図15に示されるように、3DCGのプログラムを用いて、ワールド座標系に配置された直方体の画像を、ユーザ用端末装置2の操作部203としてのマウスで指定された方向に任意の角度だけ傾斜させたり回転させた画像情報を生成する。
【0122】
生成部207で生成された画像情報は、
図16に示されるように、3DCGのプログラムを用いてレンダリング処理され、ユーザ用端末装置2の操作部203に三次元の画像として表示される。この表示された画像が本実施形態における生成画像に相当する。
【0123】
次に、ユーザは、ユーザ用端末装置2の選択部208の一例としてのマウスを操作することによって、生成部207で生成された物体100の画像のうち、第1の角度から見た物体100の画像を選択する。
【0124】
このとき、ユーザは、ユーザ用端末装置2の選択部の一例としてのマウスを操作することによって、物体100の画像を傾斜させたり回転させることで、固定された仮想光源400により照明される物体100の表面からの反射画像をユーザ用端末装置2の表示部205に表示される画像として目視することができる。
【0125】
いま、ユーザが物体100の画像を傾斜させ、物体の表面の楕円形状部分が仮想光源からの光を鏡面反射し、鏡面反射された光がカメラに入射される。
【0126】
更に説明すると、ユーザが物体100の画像を傾斜させることにより、次に示す反射率分布関数のうち、角度θi及び角度γが主に変化する。
I=Ii・(ρd ・cosθi)+Ii・(ρs ・cosnγ)
【0127】
すると、
図22において、入射角と反射角が等しくなるように物体を傾斜させたときに、楕円形状の部分から鏡面反射光の輝度が最も高くなる。本実施形態では、輝度が最も高くなる位置を第1の角度とし、この角度から見た物体100の画像を選択している。
【0128】
ユーザは、ユーザ用端末装置2の操作部203としてのマウスによって第2の角度を指定する。
【0129】
次に、変換部209は、選択部208で選択された物体100の画像を仮想光源400と物体100との位置関係を保持したまま第1の角度と異なる第2の角度から見た物体100の画像に変換する。
【0130】
そして、ユーザ用端末装置2の表示部205には、
図18に示されるように、変換部209で変換された物体100の画像が表示される。
【0131】
このように、上記実施の形態1に係る表示装置20によれば、仮想光源400と物体100との位置関係を保持したまま物体を他の角度から見た画像を表示することが可能となる。
【0132】
なお、本実施形態では、輝度が最も高くなる位置を第1の角度として指定したが、あまりギラギラ感を出したくない場合などは、輝度があまり高くない位置を第1の角度として指定しても良い。
【0133】
また、第2の角度の指定は、第1の角度の選択や、そもそも物体を複数の角度で表示する前に、指定しても良い。
【0134】
たとえば、複数の物体が各々ある角度で表示されていて、その中の1つの物体を選んで、表示される物体の光っぷりを変更したいという場合は、他の物体と一緒に表示されていた場合の角度を第2の角度として予め指定されているとしても良い。
【0135】
また、今回はマウスによって、複数の角度を変化させたりしたが、手で持てるタイプの表示装置の場合には、表示装置自体を傾けることで、生成画像を変化させても良い。
【0136】
表示装置で変換画像と生成画像を併せて表示している場合に、生成画像の方は、マウスや表示装置の傾き検出により表示角度が変わるように変化させ、変換画像の方は変化させないという風にしても良い。
【0137】
[実施の形態2]
図23及び
図24は、実施の形態2に係る表示装置を示すものである。この実施の形態2に係る表示装置では、生成部は、仮想光源に対する物体の角度が変更されるよう物体を複数の角度から見たときの物体の画像を生成する際に、物体表面の領域に応じて勾配を付けた係数αを乗算した光沢成分を付加した画像を生成するように構成されている。
【0138】
また、この実施の形態2に係る表示装置では、物体表面の領域に応じた勾配は、面光源に対応した平行線状の勾配及び点光源に対応した同心円状の勾配からなるよう構成されている。
【0139】
すなわち、この実施の形態2に係る表示装置20では、
図23に示されるように、質感スキャナ6によって読み取られた物体の画像のうち、光沢成分を示す拡散反射画像及び鏡面反射画像に対して仮想光源の種類に応じて乗算する係数(勾配)αを指定するよう構成されている。係数(勾配)αの指定は、パラメータ調整部26によって行なわれる。
【0140】
図24(a)に示されるように、仮想光源400としての点光源が平面状の物体100の斜め上方においてある程度離れた距離に存在する場合は、同図(b)に示されるように、平面状の物体100の仮想光源400に近い側の端部は相対的に光沢度が高く、仮想光源400から離れた側の端部は相対的に光沢度が低くなるように、仮想光源400からの光線に対して直交する方向に互いに平行な等高線を複数本設け、複数本の等高線に応じて徐々に光沢度が低くなるよう係数(勾配)αを指定する。
【0141】
図24(c)に示されるように、仮想光源400としての点光源が平面状の物体100の中央部の上方においてある程度離れた距離に存在する場合は、仮想光源400から平面状の物体100に下した垂線を中心にして同心円状の等高線を複数本設け、複数本の等高線に応じて中心から外周へ行くにしたがって徐々に光沢度が低くなるよう係数(勾配)αを指定する。
【0142】
こうすることにより、仮想光源400の種類に応じたより自然な光沢等を表示することが可能となる。
【0143】
その他の構成及び作用は、前記実施の形態1と同様であるので、その説明を省略する。
【符号の説明】
【0144】
1…画像表示システム
20…表示装置
205…表示部
206…取得部
207…生成部
208…選択部
209…変換部