(58)【調査した分野】(Int.Cl.,DB名)
質感を設定する質感設定パラメータを調整して、コンピュータグラフィックスにより質感が実物体に近い仮想体を生成する際、前記質感設定パラメータの調整を支援する質感調整支援システムであり、
外部からの光を遮断する内部空間を有する容器であり、内部の所定の位置に前記実物体を固定し、任意の位置に前記実物体を照明する光源が配置された撮像ボックスと、
前記撮像ボックスにおける所定の位置に配置され、前記実物体の撮像画像を撮像する撮像装置と、
前記撮像ボックスにおける前記光源の位置である光源位置と、前記撮像装置の位置である視点位置との各々を取得する撮像環境取得部と、
前記視点位置からの前記実物体を撮像した撮像画像を表示する撮像画像表示部と、
前記光源位置と前記視点位置とに対応した環境における前記仮想体の再現画像を生成する再現画像生成部と、
前記再現画像を表示する再現画像表示制御部と
を備えることを特徴とする質感調整支援システム。
前記撮像ボックスにおいて、前記撮像装置の撮像方向に対し、前記実物体の背部に既知の絵柄が描かれた参照体が配置され、前記実物体の透過特性を示す撮像画像を取得する
ことを特徴とする請求項1から請求項7のいずれか一項に記載の質感調整支援システム。
質感を設定する質感設定パラメータを調整して、コンピュータグラフィックスにより質感が実物体に近い仮想体を生成する際、前記質感設定パラメータの調整を支援する質感調整支援方法であり、
外部からの光を遮断する内部空間を有する容器であり、内部の所定の位置に前記実物体を固定し、任意の位置に前記実物体を照明する光源が配置され、前記実物体を撮像する撮像装置が配置された撮像ボックスを用い、前記実物体の撮像画像を前記撮像装置により撮像する撮像過程と、
前記光源の位置である光源位置と、前記撮像装置の位置である視点位置との各々を取得する撮像環境取得過程と、
前記視点位置からの前記実物体を撮像した撮像画像を表示する撮像画像表示過程と、
前記光源位置と前記視点位置とに対応した環境における前記仮想体の再現画像を生成する再現画像生成過程と、
前記再現画像を表示する再現画像表示過程と
を有することを特徴とする質感調整支援方法。
【発明を実施するための形態】
【0023】
<第1の実施形態>
以下、本発明の第1の実施形態について、図面を参照して説明する。
図1は、本発明の第1の実施形態による質感調整支援システムの構成の一例を示すブロック図である。
図1において、質感調整支援システム1は、携帯端末装置10、撮像ボックス20、再現画像生成装置30及び画像表示装置31の各々を備えている。
携帯端末装置10は、スマートフォンなどの画像撮像機能(カメラ機能)、及び撮像画像などのデータを送受信する通信機能などを有する携帯可能な端末装置である。
【0024】
撮像ボックス20は、外部からの光を遮光(遮断)する素材から形成された容器である筐体20Kにより構成され、内面全てに対して、内部に設けられた光源の反射を防止するための黒塗り塗装が施されている。筐体20Kの底面20Bには、位置合わせ治具24が設けられている。位置合わせ治具24は、筐体20Kの底面20Bにおける、建装材などの実物体(現実の物体)100の配置位置の位置合わせに用いる。開閉扉23は、筐体20Kの側壁20Sに設けられており、実物体100を筐体20K内に挿入する際に開け、実物体100の撮像画像を撮像する際に外部からの環境光を遮断するために閉じる。
【0025】
また、筐体20Kの上面20Tには、携帯端末装置10を筐体20Kに対して固定して配置するため、携帯端末装置10を嵌め込む配置凹部22が形成されている。撮像用開口部21に対し、携帯端末装置10の撮像を行なうレンズ部分が平面視で含まれるように、携帯端末装置10を配置凹部22に対して嵌め込んで配置する。
【0026】
図2は、第1の実施形態で用いる携帯端末装置10の一例を説明する図である。
図2(a)は、携帯端末装置10の表面10Sを示している。表面10Sには、表示画面12及び撮像する際に押すボタン10Iが設けられている。この表示画面には、実物体を撮像した撮像画像が表示される。
図2(b)は、携帯端末装置10の裏面10Bを示している。裏面10Bには、撮像を行なうレンズ部11が設けられている。このレンズ部11と
図1における撮像用開口部21とが平面視で重なるように、携帯端末装置10の裏面10Bと配置凹部22の底面とを対向させて、携帯端末装置10を配置凹部22に嵌め込む。
【0027】
図1に戻り、光源L1、光源L2及び光源L3の各々は、それぞれ点光源であり、筐体20Kの上面20Tの所定の位置に備えられている。撮像用開口部21が後述する視点位置であり、光源L1、光源L2及び光源L3の各々の位置が後述する光源位置となる。
本実施形態においては、光源を光源L1、光源L2及び光源L3の3個として説明するが、光源の数は限定されておらず、1個あるいは2個以上の複数個のそれぞれ単体、あるいは組合わせにより実物体100を照明しても良い。また、撮像用開口部21の個数も限定されておらず、複数個設けておき、いずれの位置における撮像用開口部21を用いて撮像画像を撮像しても良い。
【0028】
再現画像生成装置30は、例えば、3D(three dimensions)CG(以下、単にCGと示す)における三次元座標系において三次元形状として形成された板状の建装材などの仮想体の質感設定パラメータを、ユーザの調整に対応して変更する。そして、再現画像生成装置30は、質感設定パラメータが変更された三次元形状の仮想体から、上述した視点位置に対応した、画像表示装置31の表示画面に表示する再現画像を生成する。すなわち、再現画像生成装置30は、撮像ボックス20における視点位置に対応した、CGにおける三次元座標系の対応する座標値(視点位置)からの視線方向(撮像方向)に対して垂直な面に、仮想体を投影して再現画像を生成する。
【0029】
本実施形態においては、視点位置から実物体を撮像する視線方向を、撮像ボックス20の底面20Bに対して垂直方向に固定されているが、配置凹部22の底面を所定の角度とする機構を設ける構成とすることにより、視線方向を任意に変更することができる。
また、光源L1、光源L2及び光源L3の各々を点光源としているが、線光源、面光源あるいは照射光が指向性を有する光源を用いても良い。ただし、三次元形状を生成するアプリケーションにおいても、線光源及び面光源などの照明をCGとして再現する必要が有るため、使用する光源の配向分布を持っておくことで、実際の照明に対して高い精度により同様な照明を行なうことができる。
【0030】
図3は、第1の実施形態における再現画像生成装置30の構成例を示すブロック図である。再現画像生成装置30は、撮像環境取得部301、質感設定パラメータ取得部302、仮想体調整部303、再現画像生成部304、再現画像表示制御部305及び記憶部306の各々を備えている。
【0031】
撮像環境取得部301は、光源の配置されている光源位置及び携帯端末装置10の視点位置(撮像位置)の各々を含む撮像環境データを取得する。
図4は、携帯端末装置10により撮像された撮像画像と、光源位置及び視点位置の各々との対応を示す撮像画像テーブルの構成例を示す図である。この
図4の撮像画像テーブルは、記憶部306に書き込まれて記憶されており、撮像画像番号の欄に対応して、光源位置及び視点位置の各々の欄がレコード毎に設けられている。撮像画像番号は、撮像画像の各々を識別するために付与される識別情報である。光源位置は、対応する撮像画像番号の撮像画像が撮像された際の、撮像ボックス20における光源の位置を示している。視点位置は、対応する撮像画像番号の撮像画像が撮像された際の、撮像ボックス20における撮像の位置を示している。
【0032】
図5は、
図4における撮像画像テーブルにおける光源位置と、この光源位置に対応するCGにおける三次元座標系における座標値を示す光源位置テーブルの構成例を示す図である。この
図5の光源位置テーブルは、記憶部306に書き込まれて記憶されており、撮像ボックス20における光源位置の欄に対応した、CGにおける三次元座標系における座標値を示すx座標値(x
L)、y座標値(y
L)及びz座標値(z
L)の各々の欄がレコード毎に設けられている。
【0033】
図6は、
図4における撮像画像テーブルにおける視点位置と、この視点位置に対応するCGにおける三次元座標系における座標値を示す視点位置テーブルの構成例を示す図である。この
図6の視点位置テーブルは、記憶部306に書き込まれて記憶されており、撮像ボックス20における視点位置(撮像用開口部21の位置)の欄に対応した、CGにおける三次元座標系における座標値を示すx座標値(x
C)、y座標値(y
C)及びz座標値(z
C)の各々の欄がレコード毎に設けられている。
【0034】
図3に戻り、撮像環境取得部301は、記憶部306の撮像画像テーブルを参照し、撮像画像に対応した光源位置及び視点位置の各々を取得する。そして、撮像環境取得部301は、記憶部306の光源位置テーブルを参照し、撮像ボックス20に取り付けられた光源位置に対応したCGの三次元座標系における光源(仮想光源)の座標値を読み出す。また、撮像環境取得部301は、記憶部306の光源位置テーブルを参照し、視点位置に対応したCGの三次元座標系における視点の座標値を読み出す。
【0035】
質感設定パラメータ取得部302は、CGデザイナーなどのコンピュータグラフィックシステムの操作者が調整する質感設定パラメータを入力する。本実施形態においては、拡散色、拡散率、反射光、光沢、鏡面反射率、透明度、屈折率、不透明度、バンプマップ(バンプマップ深さ)などを、仮想体の質感を調整する質感設定パラメータとしている。操作者は、これらの質感設定パラメータを調整することにより、仮想体の質感を実物体の質感に近づけることができる。
【0036】
図7は、三次元形状識別情報と、この三次元形状識別情報が示す仮想体の三次元形状データインデックス及び質感設定パラメータとの対応を示す仮想体テーブルの構成例を示す図である。この
図7の仮想体テーブルは、記憶部306に書き込まれて記憶されており、三次元形状識別情報の欄に対応して、三次元形状データインデックス及び質感設定パラメータの各々の欄がレコード毎に設けられている。三次元形状識別情報は、三次元形状である仮想体を識別する識別情報である。三次元形状データインデックスは、仮想体の三次元形状データが記憶されている、記憶部306における領域のアドレスである。質感設定パラメータは、仮想体の質感を調整する上述したパラメータのデータである。本実施形態において、実物体及び仮想体の各々は、例えば建装材であり、三次元形状データが絵柄、エンボスの形状情報の各々の情報から構成されている。
【0037】
図3に戻り、仮想体調整部303は、操作者の指定した仮想体を選択した三次元形状識別情報に対応した仮想体の三次元形状データインデックスと、質感設定パラメータとの各々を、記憶部306における仮想体テーブルから読み出す。仮想体調整部303は、記憶部306における三次元形状データインデックスの示す領域から、仮想体の三次元形状データを読み出す。そして、仮想体調整部303は、CGの三次元座標系における仮想体の質感設定パラメータを調整し、仮想体の質感を変更する。
【0038】
再現画像生成部304は、操作者の指定した仮想体と質感を比較する撮像画像の撮像画像番号に対応し、この撮像画像を撮像した際の光源位置と視点位置との各々を、記憶部306の撮像画像テーブルから読み出す。そして、再現画像生成部304は、撮像画像を撮像した際の光源位置に対応する、CGの三次元座標系における座標値P
L(x
L,y
L,z
L)を、記憶部306の光源位置テーブルから読み出す。また、再現画像生成部304は、撮像画像を撮像した際の視点位置に対応する、CGの三次元座標系における座標値P
C(x
C,y
C,z
C)を、記憶部306の視点位置テーブルから読み出す。
【0039】
再現画像生成部304は、三次元座標系において、仮想体に対して照明光を照射する座標値を上記光源位置に対応する座標値P
Lとし、かつ仮想体を撮像する座標値を上記視点位置に対応する座標値P
Cとし、画像表示装置31の表示画面31Sに表示する再現画像を生成する。すなわち、再現画像生成部304は、実物体の撮像時における照明光と同様の環境の照明光を仮想体に対して照射した状態において、実物体の撮像時における視点位置及び視線方向の各々と同様の視点、方向それぞれから観察される、CGにおける三次元座標系の対応する座標値P
Cを含む、視線方向に垂直な面(画像表示装置31の表示画面に対応する面)に、仮想体を投影して再現画像を生成する。
【0040】
再現画像表示制御部305は、再現画像生成部304の生成した再現画像を、画像表示装置31の表示画面に対して表示する。
図8は、第1の実施形態における画像表示装置31の表示画面の一例を示す図である。この
図8においては、画像表示装置31の表示画面31Sが示されている。表示画面31Sには、再現画像が表示される再現画像表示領域32と、光源位置及び視点位置の各々を設定する撮像環境設定領域33と、質感設定パラメータ設定領域34とが設けられている。撮像環境設定領域33には、光沢調整用モード、点光源の位置の選択ボタン、光源位置と実物体100(物体)との距離、撮像ボックス20の上面20Tにおける光源位置(平面座標)、照明の強度などの調整手段が設けられている。
【0041】
ここで、点光源の位置の選択ボタンをクリックした後、それぞれの点光源が撮像ボックス20における配置における物体との距離、平面座標及び強度を入力することにより、撮像環境取得部301が撮像環境設定領域33に入力された撮像画像を撮像した際の撮像環境のデータを、記憶部306における撮像画像テーブル、光源位置テーブル及び視点位置テーブルの各々に対し、それぞれ光源位置、視点位置それぞれを示すデータとして書き込んで記憶させる。また、
図8の撮像環境設定領域33には示されていないが、視点位置も同様に、撮像用開口部21と実物体100(物体)との距離、撮像ボックス20の上面20Tにおける視点位置としての撮像用開口部21平面座標値それぞれが入力される構成となっている。このとき、撮像環境取得部301は、撮像環境設定領域33に入力されたデータから、CGの三次元座標系(実空間と同一スケールの座標系)における、光源位置に対応する座標値P
L及び視点位置に対応する座標値P
Cの各々を算出する。
【0042】
また、質感設定パラメータ設定領域34において、操作者は、所定の質感設定パラメータの調整を任意に行なうことができる。ここで、質感設定パラメータは、少なくとも拡散色、拡散率、反射光、光沢、鏡面反射率、透明度、屈折率、不透明度、バンプマップを含むパラメータのいずれか、あるいはこれらの組合わせである。質感設定パラメータ取得部302は、質感設定パラメータ設定領域34に入力された撮像画像を撮像した際の質感設定パラメータのデータを、記憶部306における撮像画像テーブル、光源位置テーブル及び視点位置テーブルの各々に対して書き込んで記憶させる。
【0043】
図9は、光源から照射される照射光と物体の表面における反射光との対応関係を示す物体の表面(物体表面、例えば
図1の実物体100の表面)における反射モデルを説明する図である。この
図9において、物体表面50に対して光源51から照射光51Lが照射された際、物体表面50の反射特性(反射モデル)に対応した反射光が出射される。すなわち、物体表面50における反射光は、拡散反射成分53と鏡面反射成分54に分類でき、CGによる仮想体を生成する際にも、拡散反射及び鏡面反射それぞれの反射モデルの係数は別々に設定される。
【0044】
拡散反射成分53は、
図9に示すように、観察者の視点52の位置及び視線方向(法線NMとなす角度θr)によらず、いずれの視点位置からも同様に観測される。この拡散反射成分53は、照射された照射光51Lが、物体表面50の物体内の浅い部分で多重散乱した後に、物体表面50から放射された反射成分である。
【0045】
一方、鏡面反射成分54は、物体表面50における直接反射によって生じる反射成分である。例えば、光沢のあるプラスチックの表面や金属表面においては、照射される照射光51Lが鏡面反射されることによるハイライトが生じる。すなわち、鏡面反射は、正反射方向に光が強く反射される性質がある。ここで、正反射方向とは、照射光51Lの照射方向及び法線NMの成す角度と、鏡面反射成分54の放射方向の中心線51R及び法線NMの成す角度との各々が角度θiと等しい場合の反射を示している。
【0046】
また、鏡面反射成分54は、光源51から照射される照射光51Lの照射方向と、視点52の位置及び視線方向の各々に依存して、観察される光の強度が変化する。そのため、ハイライトの発生する位置や方向における強度は、視点52の位置及び視線方向、あるいは光源51の位置及び照射光の照射方向によって変化する。
【0047】
したがって、本実施形態においては、鏡面反射成分54の強度の調整を際、撮像画像と再現画像との各々のハイライトを見比べることにより、ハイライトの強さ(反射光強度)、ボケ具合(光沢の状態、すなわち拡散反射及び鏡面反射それぞれの反射モデルの係数の数値)を調整し、実物体の物体表面に対応した仮想体の物体表面を再現することができる。
また、光源51(光源L1、光源L2及び光源L3)の位置、および視点52(撮像用開口部21)の位置の各々が異なる撮像画像と、これら撮像画像と同一の撮像環境に設定した再現画像とのハイライトを、それぞれ更に比較して鏡面反射の反射モデルの係数を調整することにより、高い精度で鏡面反射成分が実物体の物体表面に対応した仮想体の物体表面を再現することができる。
【0048】
拡散反射成分53は、上述した鏡面反射成分54によるハイライト以外の色を示すため、撮像画像と再現画像とにおいて、ハイライト以外の部分の色を比較して、RGB(Red・Green・Blue )それぞれの色成分の拡散率を調整する。
また、拡散反射成分53の輝度は、光源51の位置によって異なるため、異なる位置に光源51を配置して撮像された撮像画像と再現画像との比較を行い、拡散反射の反射モデルの係数(拡散率)を調整することにより、高い精度で拡散反射成分が実物体の物体表面に対応した仮想体の物体表面を再現することができる。
【0049】
図10は、本実施形態の質感調整支援システムを用いた実物体の質感に対応した仮想体を生成する処理の動作例を示すフローチャートである。本実施形態においては、実物体100を建装材とし、建装材における絵柄、エンボス加工における凹凸形状及びコーティング材による光沢を再現する仮想体の質感調整を行なう処理として、以下のフローチャートを説明する。
【0050】
ステップS1:
CGデザイナー(以下、操作者)は、CGにおける仮想体の生成において、実物体100の質感と同様の質感を有する仮想体を再現する際、再現したい対象物である実物体100の撮像を、すでに述べた撮像ボックス20(
図1)を用いて行なう。
操作者は、実物体100の照明用の光源L1、L2及びL3の各々を、実物体100を照明させたい位置に設置し固定する。
そして、操作者は、撮像ボックス20の開閉扉23を開け、位置合わせ治具24により所定の位置に固定させて実物体100を配置する。操作者は、実物体100を配置が終了した後、撮像ボックス20の開閉扉23を閉じ、撮像ボックス20の内部に外部から環境光が入射しないように、撮像ボックス20の内部を密閉空間とする。
【0051】
ステップS2:
次に、操作者は、実物体100の撮像画像を、携帯端末装置10の画像撮像機能を用いて行なう。本実施形態においては、実物体100の撮像を、
図2に示した画像表示機能付きの携帯端末装置10を用いる。携帯端末装置10は、裏面10Bに撮像を行うレンズ部11が設けられており、このレンズ部11を撮像ボックス20における撮像用開口部21と一致するように、配置凹部22に対して携帯端末装置10を嵌め込んで配置する。
【0052】
そして、操作者は、実物体100の撮像を行なう前に、撮像ボックス20に配置した光源L1、光源L2及び光源L3のいずれか一個あるいは複数個を点灯させ、画像撮像機能における撮像の焦点を実物体100合わせる。また、画像撮像機能における撮像の際の露光時間も調整し、以降の撮像時において、上述した撮像状態の設定を変更しない。
上述したように、実物体100の撮像を行なう際、実物体100の照明は、光源L1、光源L2及び光源L3のいずれか一個または複数個を点灯させた照明光により行なう。
そして、操作者が実物体の撮像を行なうことにより、携帯端末装置10は、撮像画像番号に対応させ、内部の記憶部に対して撮像画像を書き込んで記憶させる。
【0053】
また、撮像環境取得部301は、すでに述べたように、撮像画像を撮像した際に、この撮像画像番号に対応させ、撮像環境設定領域33に入力された撮像環境のデータを、記憶部306における撮像画像テーブル、光源位置テーブル及び視点位置テーブルの各々に対し、それぞれ光源位置の座標値P
L、視点位置の座標値P
Cそれぞれを示すデータとして書き込んで記憶させる。ここで、操作者は、撮像ボックス20に配置した光源L1、光源L2及び光源L3の点灯させる組合わせを異ならせ、異なる照明環境の各々においてそれぞれ撮像画像の撮像を行ない、複数枚の撮像画像を得た後、実物体100の撮像を完了する。
【0054】
ステップS3:
再現画像生成装置30は、例えば、コンピュータに対して、質感設定パラメータを調整して、三次元形状である仮想体の質感を変更することができる三次元形状生成のアプリケーションのプログラムなどがインストールされている。
そして、操作者は予め作成されている仮想体のなかから、実物体100と同様の質感に調整したい仮想体を、画像表示装置31の表示画面31Sの仮想体選択欄(不図示)において選択する。
【0055】
仮想体調整部303は、操作者の選択した仮想体の三次元形状識別情報に対応した三次元形状データインデックスと質感設定パラメータとの各々を記憶部306における仮想体テーブルから読み出す。そして、仮想体調整部303は、記憶部306における三次元形状データインデックスの示す領域から、仮想体の三次元形状のデータを読み出す。
画像表示装置31の表示画面31Sにおける質感設定パラメータ設定領域34において、操作者が質感設定パラメータを調整することにより、仮想体調整部303は、順次変更される記憶部306の仮想体テーブルの質感設定パラメータを読み出し、仮想体の質感を変更する。
【0056】
ステップS4:
再現画像生成部304は、記憶部306の光源位置の座標値P
L、視点位置の座標値P
Cを撮像画像テーブル、光源位置テーブル及び視点位置テーブルの各々から読み出す。
そして、再現画像生成部304は、すでに述べたように、実物体100の撮像画像を撮像した際の撮像環境に対応した再現画像を、三次元座標系における仮想体を画像表示装置31の表示画面31S(撮像した際の視点位置の座標値P
Cにおける面)に投影して生成する。
再現画像表示制御部305は、生成した再現画像を画像表示装置31の表示画面31Sにおける再現画像表示領域32に表示する。
【0057】
ステップS5:
操作者は、携帯端末装置10の表示画面12に表示された実物体の撮像画像と、画像表示装置31の表示画面31Sにおける再現画像表示領域32に表示された再現画像との質感の比較を行なう。
このとき、操作者は、撮像画像における実物体100の質感と、再現画像における仮想体の質感とが同様である判断した場合、仮想体の質感設定パラメータを調整を終了し、すなわち質感設定パラメータを決定して、仮想体の質感の変更処理を完了する。
一方、操作者は、撮像画像における実物体100の質感と、再現画像における仮想体の質感とが同様ではないと判断した場合、仮想体の質感設定パラメータの調整を継続するため、処理をステップS3に戻し、質感設定パラメータの調整を行なう。
【0058】
また、上述した撮像画像と再現画像との比較は、複数の撮像画像の各々と、撮像画像それぞれに対応する仮想体とにより行なう。すなわち、操作者は、異なる撮像環境が異なる状態で撮影された撮像画像を携帯端末装置10の表示画面12に表示させ、この撮像画像と同様の撮像環境の再現画像を画像表示装置31の表示画面31Sにおける再現画像表示領域32に表示させる。そして、撮像画像と再現画像とを比較し、質感設定パラメータを調整することにより仮想体の質感の変更を行う。このように、異なる撮像環境毎の撮像画像と再現画像とを切り替えながら比較し、質感設定パラメータの微調整を繰返し、いずれの撮像環境においても撮像画像と再現画像とが一致する質感設定パラメータを決定する。
【0059】
上述したように、本実施形態によれば、質感を再現したい実物体100の撮像画像を撮像ボックス20内部において撮像するため、外部の環境光を遮断し、光源の位置及び視点の位置(視線方向を含み)が既知の状態における撮像画像が得られ、かつ、この撮像画像と同様の撮像環境により生成した仮想体の再現画像を得ることが可能となる。これにより、本実施形態によれば、撮像画像とこの撮像画像と同様の撮像環境によって生成した再現画像との各々の質感を比較し、質感設定パラメータを調整するため、CGデザイナーなどの操作者が環境光の影響を排除し、かつ同一撮像条件下における三次元形状の仮想体の質感調整を行うことができる。
【0060】
また、CGにおいては、実物体100の持つ凹凸形状を擬似的に表現するため、実際に形状を変化させずに表面の法線方向を変化させることにより、シェーディングによる面の明るさを変化させて凹凸感を表すバンプマッピングという手法がある。
そして、再現される仮想体の凹凸形状の質感をバンプマッピングにより表現する際にも、上述した本実施形態による仮想体の質感の調整を、質感設定パラメータの調整により行なうことができる。バンプマッピングにより生じる法線変化の光沢は、光源位置および視点位置(視線方向も含む)により異なって観察される。
【0061】
したがって、本実施形態においては、異なる撮像環境により撮像された撮像画像の各々の凹凸感の変化と、CGアプリケーション上で生成された再現画像のバンプマッピングにより得られたバンプマップの凹凸感の変化とを比べることができる。このため、操作者は、CGアプリケーション上において、バンプマップの凹凸度合いを変化させることにより、仮想体の質感の調整を行うことができる。
また、本実施形態においては、携帯端末装置10の表示画面12と、画像表示装置31の表示画面31Sとの表示特性が異なるため、例えば、予め画像表示装置31の表示特性を携帯端末装置10の表示特性とを合わせるプロファイルを生成し、画像表示装置31がこのプロファイルを用いて表示画面31Sに再現画像を表示するようにしておいても良い。
【0062】
<第2の実施形態>
以下、本発明の第2の実施形態について、図面を参照して説明する。第2の実施形態は、構成が
図1に示す第1の実施形態と同様である。以下、第1の実施形態と異なる処理のみを説明する。
第1の実施形態においては、質感設定パラメータの調整を行なう際、撮像画像と再現画像との比較をカラー画像そのままで行なっていた。第2の実施形態においては、撮像画像と再現画像との各々をRGBそれぞれの色成分の色成分画像として行なう。すなわち、再現画像生成部304は、撮像画像からRGBの各々の色成分を抽出し、撮像R色成分画像、撮像G色成分画像、撮像B色成分画像それぞれを生成する。同様に、携帯端末装置10は、再現画像からRGBの各々の色成分を抽出し、再現R色成分画像、再現G色成分画像、再現B色成分画像それぞれを生成する。
【0063】
そして、第1の実施形態と同様に、操作者は、携帯端末装置10の表示画面12に撮像R色成分画像を表示させ、画像表示装置31の表示画面31Sに再現R色成分画像を表示させる。そして、操作者は、再現R色成分画像の質感を、撮像R色成分画像の質感に近づけるように、
図10のフローチャートの処理に従い質感設定パラメータの調整を行なう。また、再現R色成分画像及び再現R色成分画像の比較による質感設定パラメータの調整と同様に、撮像G色成分画像及び撮像B色成分画像の各々と、再現G色成分画像、再現B色成分画像それぞれの比較における質感設定パラメータの調整を行なう。
そして、上述したRGBの各々の色成分毎における撮像画像と再現画像との質感が同様となった時点において、色成分毎の質感設定パラメータの調整を終了する。この後、第1の実施形態と同様に、カラー画像として撮像画像及び再現画像の比較を行ない、質感設定パラメータの微調整を行ない、質感設定パラメータを決定する。
【0064】
本実施形態によれば、第1の実施形態と同様に、質感設定パラメータを調整するため、CGデザイナーなどの操作者が環境光の影響を排除し、同一撮像条件下における実物体の質感に対して三次元形状の仮想体の質感を近づける調整が行なえる。
さらに、本実施形態によれば、RGBの各々の色成分毎における撮像画像と再現画像とを比較して質感設定パラメータのを行うため、それぞれの色成分毎の質感を調整した後、カラー画像で最終的に質感の微調整を行なうことにより、質感の調整を単純化することが可能となり、第1の実施形態に比較してより早く、質感を同様とする質感設定パラメータを収束させることができる。
【0065】
<第3の実施形態>
以下、本発明の第3の実施形態について、図面を参照して説明する。
図11は、本発明の第3の実施形態による質感調整支援システムの構成の一例を示すブロック図である。
図11において、質感調整支援システム1Aは、画像撮像装置60、撮像ボックス20A、再現画像生成装置30及び画像表示装置31の各々を備えている。第1の実施形態及び第2の実施形態の構成と同様な構成には同一の符号を付し、その説明を省略する。以下、第1の実施形態と異なる構成および動作について説明する。
【0066】
第1の実施形態においては、携帯端末装置10の画像撮像機能を用いて、実物体100の撮像画像を撮像した。しかしながら、第2の実施形態においては、画像撮像装置60を用いて、実物体100の撮像画像を撮像する。
また、撮像環境取得部301は、画像撮像装置60から、画像撮像装置60の撮像した撮像画像を読み込み、記憶部306に書き込んで記憶させる。
再現画像表示制御部305は、画像表示装置31の表示画面31Sにおける再現画像表示領域32に再現画像を表示し、撮像画像表示領域35に同一撮像環境の撮像画像を表示する。
【0067】
また、画像表示装置31の表示画面31Sには、上述した画像表示領域の他に、光源位置及び視点位置の各々を設定する撮像環境設定領域33と、質感設定パラメータ設定領域34とが設けられている。
また、撮像ボックス20Aにおける筐体20Kの上面20Tには、画像撮像装置60のレンズ部60Lを嵌め込むための撮像用開口部21Aが設けられている。この撮像用開口部21Aは、第1の実施形態及び第2の実施形態における撮像用開口部21と同様に、設置されている位置が実物体100を撮像する視点位置となる。
【0068】
本実施形態によれば、第1の実施形態と同様に、質感設定パラメータを調整するため、CGデザイナーなどの操作者が環境光の影響を排除し、同一撮像条件下における実物体の質感に対して三次元形状の仮想体の質感を近づける調整が行なえる。
また、本実施形態によれば、第1の実施形態及び第2の実施形態のように、異なる表示画面にそれぞれ撮像画像及び再現画像とが表示されるのでなく、撮像画像と再現画像とが同一の表示画面31Sに並列に表示されるため、撮像画像と再現画像との比較を行ないつつ、かつ質感設定パラメータ設定領域34において質感設定パラメータを制御するため、操作者が仮想体の質感を調整し易くなる。
【0069】
<第4の実施形態>
図12は、本発明の第4の実施形態による質感調整支援システムにおける撮像ボックスの構成の一例を示すブロック図である。
図12において、質感調整支援システムにおける携帯端末装置10、再現画像生成装置30及び画像表示装置31の各々は、第1の実施形態及び第2の実施形態と同様である。
図12(a)は、第1の実施形態及び第2の実施形態に対応する第4の実施形態の撮像ボックス20Cの構成例を示している。
図12(a)の撮像ボックス20Cにおいて、第1の実施形態及び第2の実施形態の構成と同様な構成には同一の符号を付し、その説明を省略する。
また、
図12(b)は、第3の実施形態に対応する第4の実施形態の撮像ボックス20Dの構成例を示している。
図12(b)の撮像ボックス20Dにおいて、第1の実施形態及び第2の実施形態の構成と同様な構成には同一の符号を付し、その説明を省略する。
【0070】
本実施形態においては、筐体20Kにおける底面20Bにおける実物体100を配置する位置に、市松模様等の既知の絵柄200(参照体)が設けられている。実物体100が透明あるいあ半透明の材質の物体である場合、質感の中の透明度や屈折率といった光の透過に関する質感設定パラメータを調整するために設けている。
これにより、仮想体において質感を再現したい対象である実物体100が光を透過し、裏側にある模様を観察することができる材質の物体であれば、底面20Bの絵柄200の見え方を、操作者が撮像画像と再現画像との質感を比較することにより、撮像画像の質感に近づくように、質感設定パラメータを制御することにより再現画像の質感を調整できる。例えば、操作者は、質感設定パラメータのうち、実物体100を透過して観察される絵柄200の歪み方から、実物体100の屈折率を調整し、また絵柄200の明暗を示す明度から実物体100透明度を調整して決定することができる。
【0071】
すなわち、絵柄200は、透明物体である実物体100を通して撮像する際、視点位置により屈折する程度が異なるため、その見え方が大きく変化する。したがって、撮像ボックス20Cあるいは撮像ボックス20Dの各々において、異なる視点位置に複数の撮像画像を撮像することにより、様々な屈折の見え方を撮影することができ、撮像画像と再現画像を比較しての屈折の質感を調整することが容易となる。
【0072】
また、布などの光を透過させるが、透明度の低い実物体100の質感を仮想体に再現させるために、底面20Bに対して絵柄200に代え、バックライトとなる面光源を、画像撮像装置60に対して、実物体100の背部となる位置に配置してもよい(不図示)。この実物体100の背部のバックライトにより、実物体100の背後から光を照射し、光が照射された状態の実物体100の撮像画像を撮像する。そして、撮像画像と、この撮像画像と同様の撮像環境の再現画像との比較を行ない、布のような不透明度と呼ばれる質感情報に対応する質感設定パラメータを調整することにより、再現画像の光の透過度合い(透過具合)を、実物体に近づけることができる。ここで、不透明度とは、物体にどれだけの光が通過するかの指標を示す項目である。例えば、透明度がない布生地の背後にある物体の影が布生地に映る効果は、布生地の質感情報に不透明度を指定することで可能となる。
【0073】
上述したように、本実施形態においては、撮像ボックス20Cあるいは撮像ボックス20Dにおける底面20Bに既知の絵柄200を設け、その上部に実物体100を配置することで、実物体100を透過して観察される絵柄200の屈折率による歪みや光の透過率(透過度)に基づく減衰による明暗の度合いを含んだ撮像画像を撮像することができ、透明あるいは半透明の実物体100の撮像画像と、この撮像画像を撮像した撮像環境の仮想体の再現画像とを比較することにより、実物体100における光の透過に関する質感、すなわち透過率や屈折率といった質感設定パラメータを調整することが可能となる。
【0074】
また、本実施形態によれば、撮像ボックス20Cあるいは撮像ボックス20Dにおける底面20Bに底部にバックライトとなる面光源を設け、その上部に実物体100を配置することで、背後の物体を観察することができない実物体100の光の透過度合いを示す撮像画像を撮像することができ、再現画像生成装置30において実物体100の背後に面光源を設けた撮像環境の仮想体から再現画像を生成し、撮像画像と再現画像とにおける光源からの照射光の透過具合を比較することで、不透明度といった質感設定パラメータを調整することができる。
【0075】
また、第1の実施形態から第4の実施形態の各々において、撮像ボックスの底面20Bに白色板を設け、配置されている光源を順次点灯させ、光源毎に白色板を撮像した撮像画像と、同一の撮像環境に基づいてCGアプリケーションにより生成した仮想体の再現画像とを比較し、配置されている光源毎の色温度や強度を一致させる処理を行なっても良い。
これにより、本実施形態によれば、CGアプリケーションにおいても、白色板を既知の光源位置から照明し、再現画像を生成することにより、同一の撮像環境により、白色板の撮像画像と白色板の再現画像とを比較して、各光源の強度、色温度をデザイナーの主観において調整できる。
この処理を行なった後に、第1の実施形態から第4の実施形態における仮想体の質感を実物体に近づける質感設定パラメータの調整を行なう。
【0076】
また、上述してきた第1の実施形態から第4の実施形態の各々の構成は、静止画像としての撮像画像と再現画像とを比較したが、光源位置が時間経過に対応して移動する動画の撮像画像を撮像する構成としても良い。このとき、CGアプリケーションにおいても、仮想体調整部303は、撮像画像を撮像した際と同様の撮像環境(光源位置の移動状態)として、CGにおける光源を移動させつつ仮想体に照射光を照射した際の動画像であるアニメーションを生成する。
そして、再現画像生成部304は、上述した仮想体の三次元形状によるアニメーションから、視点位置に対応した画像表示装置31の表示画面31Sに投影した2次元画像のアニメーションを再現画像として生成する。
再現画像表示制御部305は、動画像である撮像画像と再現画像とを、実時間で同期させて表示する。これにより、操作者は、光源位置の移動に対応した質感を近づけるための質感設定パラメータの調整を行なうことができる。
【0077】
なお、本発明における
図1及び
図11の各々の再現画像生成装置30それぞれの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより仮想体の質感調整パラメータの調整支援の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
【0078】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。