知財求人 - 知財ポータルサイト「IP Force」
特許7463697光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-01
(45)【発行日】2024-04-09
(54)【発明の名称】光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム
(51)【国際特許分類】
G06T 15/50 20110101AFI20240402BHJP
G01B 11/24 20060101ALI20240402BHJP
G06T 17/20 20060101ALI20240402BHJP
【ＦＩ】
G06T15/50 600
G01B11/24 K
G06T17/20
【請求項の数】
11
(21)【出願番号】P 2019199708
(22)【出願日】2019-11-01
(65)【公開番号】P2021072024
(43)【公開日】2021-05-06
【審査請求日】2022-10-26
(73)【特許権者】
【識別番号】000003193
【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】鈴木 翼
【審査官】鈴木 圭一郎
(56)【参考文献】
【文献】特開２００３－２１６９７３（ＪＰ，Ａ）
【文献】特開２００３－２０３２２０（ＪＰ，Ａ）
【文献】特開２００３－２０２２９６（ＪＰ，Ａ）
【文献】特開２００５－０９２５４９（ＪＰ，Ａ）
【文献】特開２０１９－０８２８３８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １５／５０
Ｇ０１Ｂ １１／２４
Ｇ０６Ｔ １７／２０
(57)【特許請求の範囲】
【請求項1】
対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得する画像取得手段と、前記対象物の３次元形状情報を取得する形状取得手段と、
前記３次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定する放射輝度遷移推定手段と、
前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出する算出手段と、
を備え、
前記算出手段は、
前記３次元形状情報から算出される前記表面領域の法線、前記画像群に亘る前記カメラの位置の情報であるカメラ位置情報によって示される前記カメラの位置及び前記画像群に亘る前記光源の位置の情報である光源位置情報によって示される前記光源の位置を用いて、前記カメラの位置に対し、前記表面領域を反射面として正反射方向となる前記光源の位置が存在するか否かを前記表面領域毎に判定し、
少なくとも前記光源の位置が存在するか否かの判定の結果に基づき前記取得状態情報を算出する、
光沢取得状態算出装置。
【請求項2】
前記放射輝度遷移情報、前記３次元形状情報、前記カメラ位置情報及び前記光源位置情報を用いて、前記表面領域毎の所定の反射モデルの反射定数及び法線を推定する質感情報推定部をさらに備える、請求項１に記載の光沢取得状態算出装置。
【請求項3】
前記算出手段は、前記表面領域毎に、前記放射輝度遷移情報によって示される複数の放射輝度のうちのピークを算出し、前記ピークに基づき算出される閾値範囲に含まれる放射輝度が所定の個数以上存在しているか否かを判定し、
少なくとも前記放射輝度が所定の個数以上存在しているか否かの判定の結果に基づき前記取得状態情報を算出する、
請求項１又は２に記載の光沢取得状態算出装置。
【請求項4】
前記閾値範囲は、ユーザによって指定される、請求項３に記載の光沢取得状態算出装置。
【請求項5】
前記表面領域のいずれかに各々対応する複数の画素を有し、各々の画素は、対応する前記表面領域の前記取得状態情報に基づく画素値を有する、指示画像を生成する指示画像生成手段をさらに備える、請求項１から請求項４のいずれか１項に記載の光沢取得状態算出装置。
【請求項6】
前記画像群は、前記光源、前記対象物、前記カメラのいずれかの連続的な移動に伴って前記対象物を連続的に撮影することによって得られた動画である、請求項１から請求項５のいずれか１項に記載の光沢取得状態算出装置。
【請求項7】
前記光源は、線光源又は面光源である、請求項１から請求項６のいずれか１項に記載の光沢取得状態算出装置。
【請求項8】
対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得することと、前記対象物の３次元形状情報を取得することと、
前記３次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定することと、
前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出することと、
を備え、
前記取得状態情報を算出することは、
前記３次元形状情報から算出される前記表面領域の法線、前記画像群に亘る前記カメラの位置の情報であるカメラ位置情報によって示される前記カメラの位置及び前記画像群に亘る前記光源の位置の情報である光源位置情報によって示される前記光源の位置を用いて、前記カメラの位置に対し、前記表面領域を反射面として正反射方向となる前記光源の位置が存在するか否かを前記表面領域毎に判定し、
少なくとも前記光源の位置が存在するか否かの判定の結果に基づき前記取得状態情報を算出することを含む、
光沢取得状態算出方法。
【請求項9】
対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得することと、前記対象物の３次元形状情報を取得することと、
前記３次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定することと、
前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出することと、
をコンピュータに実行させるための光沢取得状態算出プログラムであって、
前記取得状態情報を算出することは、
前記３次元形状情報から算出される前記表面領域の法線、前記画像群に亘る前記カメラの位置の情報であるカメラ位置情報によって示される前記カメラの位置及び前記画像群に亘る前記光源の位置の情報である光源位置情報によって示される前記光源の位置を用いて、前記カメラの位置に対し、前記表面領域を反射面として正反射方向となる前記光源の位置が存在するか否かを前記表面領域毎に判定し、
少なくとも前記光源の位置が存在するか否かの判定の結果に基づき前記取得状態情報を算出することを含む、
光沢取得状態算出プログラム。
【請求項10】
請求項５に記載の光沢取得状態算出装置と通信できるように接続される端末であって、前記画像群を前記光沢取得状態算出装置に送信する送信手段と、
前記指示画像を前記光沢取得状態算出装置から受信する受信手段と、
前記指示画像を表示する表示手段と、
を備える端末。
【請求項11】
請求項５に記載の光沢取得状態算出装置と通信できるように接続される端末のための光沢取得状態表示プログラムであって、前記画像群を前記光沢取得状態算出装置に送信することと、
前記指示画像を前記光沢取得状態算出装置から受信することと、
前記指示画像を表示手段に表示することと、
を前記端末のコンピュータに実行させるための光沢取得状態表示プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態は、光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラムに関する。
【背景技術】
【0002】
従来、３ＤＣＧ（three-dimensional computer graphics）制作において、ＣＧデザイナーは、現実の対象物をモデリングすることによって形成された３次元形状に対して質感設定を行うことで、写実的な表現がなされたＣＧ画像を生成している。
【0003】
実物体をＣＧにおいて３次元画像として再現するための手法として、特許文献１にて提案されているようなテクスチャマッピングを用いる手法が知られている。テクスチャマッピングを用いる手法では、複数の方向から撮影された複数の画像が予め用意されている。そして、３次元画像の再現時には、視点に対して適切な画像が選択され、選択された画像が３次元形状モデルに貼り付けられる。ただし、ＣＧとして再現した３次元画像と撮影時の実物体の照明状態との異なっていることが多く、その結果、３次元画像と実物体との見えは異なることが多い。
【0004】
そこで、より３次元画像の見えを実物体の見えに近づけるための手法として、非特許文献１の手法が用いられている。非特許文献１の手法では、照明方向又は視線方向による反射率の変化が双方向反射分布関数（Bi-directional Reflectance Distribution Function：ＢＲＤＦ）で表される。そして、非特許文献１の手法では、ＢＲＤＦがモデル化されて反射定数により表される。この反射定数を推定するための計測方法が数多く提案されている。
【0005】
反射定数を推定するための計測方法として、光源方向又は視線方向の異なる多数の画像を利用して、反射定数を画素毎に推定する手法がよく用いられる。しかしながら、ＢＲＤＦは物体表面に対して半球状の反射光分布を表現するものなので、反射定数の推定のためには、非常に多くの角度から細かく撮影する必要がある。特許文献２では、光源の照明方向を変えながらの撮影によって多数の画像が取得され、画素ごとに反射定数が推定される。特許文献２の手法では、金属等の実物体の鋭い光沢を取得するために２次元の広がりを持った照明が用いられることによって撮影枚数を減らすことができる。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０００―３４８２１３号公報
【文献】特許第３９６２５８８号公報
【非特許文献】
【0007】
【文献】SIGGRAPH Computer Graphics Proceedings, Annual Conference Series, 1997, p379-387”Object Shape and Reflectance Modeling from Observation”
【発明の概要】
【発明が解決しようとする課題】
【0008】
反射定数を推定するためには、物体の表面領域を光源が移動した際のその物体の持つ反射光の特徴である光沢遷移の情報を取得する必要がある。多くの推定手法では、光沢遷移に対して反射モデルの定数を最適化することで反射定数が推定される。しかしながら、複雑な形状を持つ立体物では、どの方向にカメラと光源とを配置すれば光沢遷移を取得することができるのかを事前に決定することが困難である。この場合、カメラと光源との相対位置の異なる多数の撮影を実施する必要が生じる。しかしながら、この多数の撮影においては、光沢の情報を持たず、推定に必要のない画像も数多く撮影される。
【0009】
本実施形態は、このような状況に鑑みてなされたもので、実物体の反射特性、立体形状及び微細表面形状によらず、少ない撮影枚数で実物体の光沢遷移を取得することができる光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラムを提供する。
【課題を解決するための手段】
【0010】
第１の態様の光沢取得状態算出装置は、対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得する画像取得手段と、前記対象物の３次元形状情報を取得する形状取得手段と、前記３次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定する放射輝度遷移推定手段と、前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出する算出手段とを備える。前記算出手段は、前記３次元形状情報から算出される前記表面領域の法線、前記画像群に亘る前記カメラの位置の情報であるカメラ位置情報によって示される前記カメラの位置及び前記画像群に亘る前記光源の位置の情報である光源位置情報によって示される前記光源の位置を用いて、前記カメラの位置に対し、前記表面領域を反射面として正反射方向となる前記光源の位置が存在するか否かを前記表面領域毎に判定し、少なくとも前記光源の位置が存在するか否かの判定の結果に基づき前記取得状態情報を算出する。
【0011】
第２の態様の光沢取得状態算出方法は、対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得することと、前記対象物の３次元形状情報を取得することと、前記３次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定することと、前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出することとを備える。前記取得状態情報を算出することは、前記３次元形状情報から算出される前記表面領域の法線、前記画像群に亘る前記カメラの位置の情報であるカメラ位置情報によって示される前記カメラの位置及び前記画像群に亘る前記光源の位置の情報である光源位置情報によって示される前記光源の位置を用いて、前記カメラの位置に対し、前記表面領域を反射面として正反射方向となる前記光源の位置が存在するか否かを前記表面領域毎に判定し、少なくとも前記光源の位置が存在するか否かの判定の結果に基づき前記取得状態情報を算出することを含む。
【0012】
第３の態様の光沢取得状態算出プログラムは、対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得することと、前記対象物の３次元形状情報を取得することと、前記３次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定することと、前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出することをコンピュータに実行させる。前記取得状態情報を算出することは、前記３次元形状情報から算出される前記表面領域の法線、前記画像群に亘る前記カメラの位置の情報であるカメラ位置情報によって示される前記カメラの位置及び前記画像群に亘る前記光源の位置の情報である光源位置情報によって示される前記光源の位置を用いて、前記カメラの位置に対し、前記表面領域を反射面として正反射方向となる前記光源の位置が存在するか否かを前記表面領域毎に判定し、少なくとも前記光源の位置が存在するか否かの判定の結果に基づき前記取得状態情報を算出することを含む。
【発明の効果】
【0013】
本実施形態によれば、実物体の反射特性、立体形状及び微細表面形状によらず、少ない撮影枚数で持って実物体の光沢遷移を取得することができる光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラムを提供することができる。
【図面の簡単な説明】
【0014】
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について、図面を参照して説明する。図１は、１つの実施形態に係る光沢取得状態算出装置の構成の一例を示す図である。図１において、光沢取得状態算出装置１は、画像解析装置２、形状計測装置３、カメラ４、光源５及び画像表示装置６を含んでいる。
【0016】
画像解析装置２は、形状計測装置３から取得される対象物７の３次元形状に関する情報、カメラ４から取得される対象物７の画像、カメラ４の位置情報、光源５の位置情報に基づいて、対象物７の形状及び質感を推定する。対象物７の形状は、全体の形状と、微細表面形状とを含む。微細表面形状は、対象物７に設定される表面領域における微細表面のそれぞれの形状である。微細表面形状は、対応する面を表す法線の情報を含む。また、対象物の質感は、微細表面形状毎の反射特性の情報を含む。画像解析装置２の詳細については後で説明する。
【0017】
形状計測装置３は、対象物７の３次元形状に関する情報を計測し、計測の結果として得られた形状情報を画像解析装置２に送る。形状計測装置３は、例えば能動的計測手法によって対象物７の３次元形状に関する情報を計測するように構成されている。能動的計測手法は、例えば、レーザ及びパターン光といった測定光を能動的に対象物７の表面に照射し、対象物７からの反射光を受光することで測定をする手法である。形状計測装置３は、対象物７の３次元形状に関する情報を計測できれば、特に限定されない。例えば、形状計測装置３は、視体積交差法及びステレオ法といった撮影により得られた画像を用いる受動的計測手法によって対象物７の３次元形状に関する情報を計測するように構成されていてもよい。受動的計測手法で用いられる画像は、形状計測装置３が撮影した画像であってもよいし、カメラ４で撮影された画像であってもよい。
【0018】
前述した能動的計測手法であっても、受動的計測手法であっても、測定の結果として得られる形状情報の多くは点群データで構成される。画像解析装置２は、点群データをポリゴンデータへと変換し、このポリゴンデータを形状情報として例えば図２のような形式でストレージに保存してよい。多くのポリゴンデータは、三角形ポリゴンで構成されている。このため、ポリゴンデータは、図２に示すように、三角形の頂点データで表現される。また、画像解析装置２は、それぞれの頂点データとして、図３に示す形式のデータをストレージに保存してもよい。図３に示す頂点データは、各頂点の座標と法線の情報とを持つデータである。図３に示すようにして保存された頂点の座標及び法線から、ポリゴンを構成する面の法線は算出され得る。
【0019】
カメラ４は、対象物を撮影して対象物の画像を生成するように構成されている。カメラ４は、例えば光学系と、イメージセンサとを含む。光学系は、対象物の像をイメージセンサに結像させるように構成された光学系である。イメージセンサは、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサといったイメージセンサであり、対象物から入射した光を電気信号に変換し、対象物の画像を生成する。ここで、実施形態では、カメラ４は、所定の位置に固定されているものとする。
【0020】
光源５は、対象物を照明するための照明光を射出する。光源５は、例えばＬＥＤ光源であるが、これに限定されない。また、後で説明するための反射光の計測を容易にするため、光源５は、線光源又は面光源であることが好ましい。線光源は発光部が線状であり、発光部より拡散照明光を射出するように構成された光源である。面光源は、発光部が面状であり、発光部より拡散照明光を射出するように構成された光源である。ただし、光源５は、点光源であってもよい。ここで、光源５は、カメラ４及び対象物７との相対位置を変更できるように構成されている。例えば、光源５は、ロボットアームに取り付けられていて、３次元的に位置を変更できるように構成されている。光源５は、カメラ４及び対象物７との相対位置を変更できるように構成されていればその具体的な構成は特に限定されない。また、光源５は、必ずしも機械的に移動できるように構成されている必要はない。例えば、光源５は、ユーザが手で持って移動できるように構成されていてもよい。
【0021】
画像表示装置６は、液晶ディスプレイ及び有機ＥＬディスプレイといった表示装置である。画像表示装置６は、例えば画像解析装置２と通信できるように接続されており、画像解析装置２から送られてきた各種の画像を表示する。この画像は、例えば対象物の３次元画像を含む。
【0022】
図４は、画像解析装置２の一例の構成を示すブロック図である。画像解析装置２は、プロセッサ２１と、ＲＯＭ２２と、ＲＡＭ２３と、ストレージ２４と、入力インターフェース２５と、出力インターフェース２６と、通信インターフェース２７とを含む。これらの各々は、バス２８を介して互いに接続されている。画像解析装置２は、パーソナルコンピュータ（ＰＣ）、タブレット端末、スマートフォン等の電子機器であってよい。
【0023】
プロセッサ２１は、画像解析装置２の各種動作を制御するプロセッサである。プロセッサ２１は、例えばＣＰＵであるが、これに限定されない。プロセッサ２１は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphic Processing unit）等であってもよい。また、プロセッサ２１は、必ずしも１つのＣＰＵ等で構成されている必要はなく、複数のＣＰＵ等で構成されていてもよい。
【0024】
ＲＯＭ２２は、画像解析装置２の起動プログラム等を記憶している。ＲＡＭ２３は、プロセッサ２１等のための主記憶装置である。
【0025】
ストレージ２４は、ハードディスク、ソリッドステートドライブといったストレージである。ストレージ２４には、プロセッサ２１によって用いられる画像解析装置２の制御に必要な各種プログラム、パラメータ等が記憶されている。この各種プログラムは、光沢取得状態算出プログラムを含む。また、ストレージ２４には、形状計測装置３の計測結果としての対象物の形状情報、カメラ４で生成された画像、カメラ４の位置、光源５の位置といった各種のデータが記憶される。
【0026】
入力インターフェース２５は、キーボード、マウス、タッチパネル等を含む。入力インターフェース２５を介したユーザの操作に応じて、そのユーザの操作の内容を示す信号がバス２８を介してプロセッサ２１に入力される。プロセッサ２１は、この操作の内容を示す信号に応じて各種の処理を実行する。
【0027】
出力インターフェース２６は、例えば画像表示装置６との通信のためのインターフェースを含む。出力インターフェース２６は、画像表示装置６において画像を表示させる際に、適宜なタイミングで画像表示装置６に画像のデータを送る。また、出力インターフェース２６は、プリンタとの通信のためのインターフェースを含んでいてもよい。
【0028】
通信インターフェース２７は、画像解析装置２と、形状計測装置３、カメラ４、光源５との通信のためのインターフェースを含む。通信インターフェース２７は、有線通信による通信のためのインターフェースを含んでいてもよいし、無線通信による通信のためのインターフェースを含んでいてもよい。
【0029】
図５は、プロセッサ２１の機能ブロック図である。プロセッサ２１は、画像取得部２１１と、形状取得部２１２と、カメラ情報取得部２１３と、光源情報取得部２１４と、放射輝度遷移推定部２１５と、算出部２１６と、指示画像生成部２１７と、光源制御部２１８と、質感情報推定部２１９とを含む。画像取得部２１１と、形状取得部２１２と、カメラ情報取得部２１３と、光源情報取得部２１４と、放射輝度遷移推定部２１５と、算出部２１６と、指示画像生成部２１７と、光源制御部２１８と、質感情報推定部２１９は、例えばストレージ２４に記憶されている光沢取得状態算出プログラムをプロセッサ２１が実行することによって実現される。画像取得部２１１と、形状取得部２１２と、カメラ情報取得部２１３と、光源情報取得部２１４と、放射輝度遷移推定部２１５と、算出部２１６と、指示画像生成部２１７と、光源制御部２１８と、質感情報推定部２１９は、各々と同様の処理を行うハードウェアによって実現されてもよい。
【0030】
画像取得部２１１は、カメラ４から画像を取得する。この画像は、光源５の移動に伴って対象物７を撮影することによって生成された複数の画像を含む画像群である。画像群は、カメラ４による複数回の静止画撮影によって生成されてもよいし、カメラ４による１回の動画撮影によって生成されてもよい。
【0031】
形状取得部２１２は、形状計測装置３から対象物７の形状情報を取得する。前述したように、対象物７の形状情報は、ポリゴンデータであってよい。
【0032】
カメラ情報取得部２１３は、カメラ４のカメラ情報を取得し、取得したカメラ情報をストレージ２４に格納する。カメラ情報は、カメラ４の位置を含む。また、カメラ情報は、焦点距離等のカメラ４の撮影条件を含んでいてもよい。
【0033】
カメラ４の位置は、事前にチェッカーボード等をカメラ４によって撮影することで導出され得る。また、カメラ４の位置は、画像取得部２１１で取得される対象物７の画像から特徴点を抽出し、この特徴点に基づいてカメラキャリブレーションを実施することで導出されてもよい。
【0034】
光源情報取得部２１４は、光源５の光源情報を取得し、取得した光源情報をストレージ２４に格納する。光源情報は、光源５の位置、照明光の放射輝度、色温度等を含む。
【0035】
光源５がロボットアーム等によって機械的に移動できるように構成されているときには、ロボットアーム等に取り付けられたセンサのセンサ情報により、光源５の位置は、正確に取得され得る。一方、光源５が例えばユーザの手によって移動されるように構成されているときには、光源５に位置センサ及び多軸の加速度センサ等が設けられていれば、光源位置は、位置センサ及び加速度センサ等のセンサ情報から推定され得る。
【0036】
さらに、光源位置は、カメラ４で得られる画像から推定されてもよい。例えば、画像に光源が写っているときには、光源情報取得部２１４は、カメラ４で撮影された画像を、カメラ情報に基づいてポリゴンデータに投影する。そして、光源情報取得部２１４は、投影領域のうち、例えば所定の閾値以上の輝度値を有する投影領域の位置を光源の位置とみなす。なお、この手法では、光源情報取得部２１４は、投影領域の形状から、光源の形状も推定してよい。また、光源が画像に写っている場合には、光源情報取得部２１４は、ユーザからの明示的な光源の領域の指定によって光源の位置及び形状を推定してもよい。また、対象物７とともに既知の形状と反射特性とを有する基準物体が画像に写っているのであれば、光源が画像に写っていなくても、光源情報取得部２１４は、この基準物体からの反射光を画像から検出し、検出した反射光に基づいて光源の位置を推定してもよい。このとき、基準物体にマーカがつけられていれば、このマーカの検出によって画像から基準物体の位置が容易に推定され得る。また、光源が固定されているときには、光源が写るように撮影がされた特定の画像から推定される光源の位置及び形状が常に用いられてもよい。
【0037】
また、光源の位置だけでなく、放射輝度も画像から求められてもよい。対象物７とともに基準物体が配置されている場合には、基準物体からの反射光に基づき光源の配光分布が算出され得る。
【0038】
ここで、カメラ情報と光源情報とは撮影時間をインデックスとして関連付けられてストレージ２４に格納される。図６は、カメラ情報と光源情報との対応を示す撮影画像情報テーブルの構成例を示す図である。図６に示すように、撮影画像番号の欄に対応して、カメラ情報及び光源情報の各々の欄がレコード毎に設けられている。対象物７が動画撮影された際には、カメラ情報及び光源情報は動画のフレーム毎に格納される。
【0039】
ここで図５の説明に戻る。放射輝度遷移推定部２１５は、光源５の入射光の放射輝度から、対象物７の放射輝度遷移情報を推定する。放射輝度遷移情報は、画像群に亘る放射輝度の遷移を表す情報である。つまり、放射輝度遷移情報は、対象物７の光沢遷移を表している。放射輝度遷移情報を推定するのは、対象物７の反射特性を推定するためには、ピーク時の放射輝度のみを計測するのではなく、光源５の移動に伴って放射輝度がどのように変化するのかを計測する必要があるためである。ここで、表面領域は、対象物７に設定される領域である。表面領域は、例えば１つ又は複数のポリゴンと対応する彩色部位であってよい。また、表面領域は、例えば１つ又は複数の画素と対応する部位であってもよい。
【0040】
算出部２１６は、対象物７の放射輝度、カメラ情報、光源情報及び対象物７の形状情報をもとに、対象物７の表面領域毎の放射輝度遷移情報の取得状態を示す取得状態情報を算出する。取得状態情報は、放射輝度遷移情報が取得できたか否かを示す情報である。
【0041】
以下、取得状態情報についてさらに説明する。図７は、一般的に用いられる物体の反射モデルの概要図である。図７の反射モデルでは、光源７１からの入射光が物体の微細表面７０に対して照射され、微細表面７０からの反射光が視点７２において観測される。図７において、Nは、微細表面７０の法線ベクトルである。Lは、反射位置を基準とした光源７１の方向を表すベクトルである。Vは、反射位置を基準とした視点７２の方向を表すベクトルである。また、θｒは、ベクトルNとベクトルVのなす角であり、θLは、入射角及び反射角である。
【0042】
一般的にＣＧの分野では、微細表面７０における光の透過がないものとすると、微細表面７０からの反射光は拡散反射光７３と鏡面反射光７４の足し合わせで構成されることが知られている。このような反射モデルは、二色性反射モデルと呼ばれている。二色性反射モデルは、拡散反射光７３と鏡面反射光７４のそれぞれの特性を表すモデル式によって表現される。
【0043】
光源７１からの入射光の放射輝度をILとしたとき、拡散反射光７３の放射輝度Idは以下の式（１）により表される。ここで、（式１）のkdは、拡散反射成分の反射率である。また、fidは、kd、N、Lをパラメータとする所定の関数である。式（１）において、放射輝度Idは、ベクトルVによって変化しない。つまり、式（１）からは、拡散反射光７３は、視点７２の位置によって変化せず、全方向に同一の輝度で放射することがわかる。
Id = IL×kd×|L||N|cosθL = IL×fid(kd, N, L) （１）
Id = IL×kd×|L||N|cosθL = IL×fid(kd, N, L) （１）
【0044】
これに対して鏡面反射光７４は、一般的には光源７１の方向Lに対して正反射方向へと強い光を放つ。これにより観察者は、物体の表面においてハイライトを知覚する。ＣＧにおいてよく用いられるCook-Torranceの反射モデルによる鏡面反射光の輝度Isは以下の式（２）で表される。
Is = IL×F/π×DG／(N・L)(N・V）= IL×fis(ks, σ, N, L, V) （２）
式（２）においてFは、フレネル項であり、微細表面における鏡面反射の程度を示す。Gは幾何減衰項であり、物体の微細表面による自己陰影を示す。また、Dは、ベックマン分布項であり微細表面のばらつきを示す。このD項が鏡面反射光の広がりを示し、物体の表面の粗さによって異なる。
式（２）の右辺は、式（２）の左辺を単純化した式である。式（２）の右辺では、放射輝度Isは、ks、σ、N、L、Vをパラメータとする所定の関数fisを用いて表される。ここで、ksは、鏡面反射率である。σは表面粗さである。表面粗さσを推定するためには、ある特定の位置の光源についての放射輝度だけではなく、光源の移動に伴う放射輝度の遷移を取得する必要がある。このような放射輝度の遷移を示す放射輝度遷移情報を取得できたか否かの判定が算出部２１６によって行われる。
Is = IL×F/π×DG／(N・L)(N・V）= IL×fis(ks, σ, N, L, V) （２）
式（２）においてFは、フレネル項であり、微細表面における鏡面反射の程度を示す。Gは幾何減衰項であり、物体の微細表面による自己陰影を示す。また、Dは、ベックマン分布項であり微細表面のばらつきを示す。このD項が鏡面反射光の広がりを示し、物体の表面の粗さによって異なる。
式（２）の右辺は、式（２）の左辺を単純化した式である。式（２）の右辺では、放射輝度Isは、ks、σ、N、L、Vをパラメータとする所定の関数fisを用いて表される。ここで、ksは、鏡面反射率である。σは表面粗さである。表面粗さσを推定するためには、ある特定の位置の光源についての放射輝度だけではなく、光源の移動に伴う放射輝度の遷移を取得する必要がある。このような放射輝度の遷移を示す放射輝度遷移情報を取得できたか否かの判定が算出部２１６によって行われる。
【0045】
算出部２１６は、形状計測装置３で取得された対象物７の形状情報をもとに、対象物７の表面領域毎に法線を算出する。そして、算出部２１６は、表面領域毎の法線から算出される、カメラ４の正反射方向となる位置を光源５が通過しているか否かを判定し、この判定結果に基づいて第１の取得状態情報を生成する。第１の取得状態情報は、例えばカメラ４の正反射方向となる位置を光源５が通過しているか否かを示す数値であってよい。この場合、例えば、第１の取得状態情報は、通過しているときに１を示し、通過していないときに０を示すように生成されてよい。
【0046】
図７から分かるように、カメラ４の視線方向ベクトルVに対する正反射方向ベクトルL’は以下の式（３）によって導出される。算出部２１６は、光源５の方向ベクトルLが正反射方向ベクトルL’を通過したときに、カメラ４の正反射方向となる位置を光源５が通過したと判定する。カメラ４の正反射方向となる位置に光源５が位置しているとき、対象物７の光沢はピークを示す。
L’ = 2・N・(V・N)-V （３）
ここで、光源５が線光源及び面光源等の大きさを持った光源である場合には、放射輝度遷移推定部２１５は、光源５の一部が正反射方向ベクトルL’上を光源５が通過したときに、カメラ４の正反射方向となる位置を光源５が通過したと判定する。
L’ = 2・N・(V・N)-V （３）
ここで、光源５が線光源及び面光源等の大きさを持った光源である場合には、放射輝度遷移推定部２１５は、光源５の一部が正反射方向ベクトルL’上を光源５が通過したときに、カメラ４の正反射方向となる位置を光源５が通過したと判定する。
【0047】
また、算出部２１６は、表面粗さσを推定するに足る放射輝度の遷移が取得できているか否かを判定し、この判定結果に基づいて第２の取得状態情報を生成する。第２の取得状態情報は、例えば表面粗さσを推定するに足る放射輝度の遷移が取得できているか否かを示す数値であってよい。この場合、例えば、第２の取得状態情報は、取得できているときに１を示し、取得できていないときに０を示すように生成されてよい。
【0048】
図８は、放射輝度遷移情報を示す図である。図８の横軸は、画像の変化、すなわち光源の位置の変化である。また、図８の縦軸は、光沢ピークに対応する放射輝度の値で正規化された放射輝度の値である。光源５が連続的に移動するとき、放射輝度も図８のグラフで示すように連続的に遷移する。ここで、グラフ内のマーカは、実際に放射輝度の値を計測することができた点である計測点を示す。算出部２１６は、光沢ピークの放射輝度の値に対する割合で示した閾値範囲内において、指定された個数以上の計測点が取得できているときには、表面粗さσを推定するに足る放射輝度遷移情報が取得できていると判定する。光沢ピークの放射輝度は、厳密な光沢ピークの放射輝度でなくてもよい。例えば、光沢ピークの放射輝度として、計測点の中の最大の放射輝度が用いられてもよい。
【0049】
ここで、閾値範囲はユーザによって指定されてよいが、予め設定されていてもよい。閾値範囲を予め設定しておく際の設定手法の例を以下に示す。閾値範囲は、以下の設定手法の例とは異なる考え方に基づいて設定されてもよい。
【0050】
図９Ａは、閾値範囲の第１の設定例を示す図である。第１の設定例は、表面粗さσを推定するに足る最低限の放射輝度遷移情報が取得できていればよいとする考え方に基づいている。第１の例では、閾値範囲は、光沢ピークの放射輝度に対して２０－１００％の範囲に設定される。そして、算出部２１６は、光沢ピークに対応する計測点と、閾値範囲に含まれる２以上の計測点の３点以上の計測点が取得できているときには、表面粗さσを推定するに足る放射輝度遷移情報が取得できていると判定する。
【0051】
図９Ｂは、閾値範囲の第２の設定例を示す図である。第２の設定例は、金属表面及びプラスチック表面といった光沢の強い表面を有する対象物に対する閾値範囲の設定例である。光沢の強い対象物の場合、図９Ｂに示すように、放射輝度は光沢ピークにおいて急峻な変化を示す。したがって、光沢の強い対象物の場合、閾値範囲を広げないと十分な数の計測点を取得できない可能性が生じる。このため、第２の例では、閾値範囲は、光沢ピークの放射輝度に対して１０－１００％の範囲に設定される。そして、算出部２１６は、光沢ピークに対応する計測点と、閾値範囲に含まれる２以上の計測点の３点以上の計測点が取得できているときには、表面粗さσを推定するに足る放射輝度遷移情報が取得できていると判定する。
【0052】
図９Ｃは、閾値範囲の第３の設定例を示す図である。第３の設定例は、布表面、シボ加工された表面、革表面といった光沢の弱い表面を有する対象物に対する閾値範囲の設定例である。光沢の弱い対象物の場合、図９Ｃに示すように、光源の位置の変化に対して広く分布する。したがって、光沢の弱い対象物の場合、閾値範囲を広げすぎると必要以上に多くの計測点が取得される可能性が生じる。このため、第３の例では、閾値範囲は、光沢ピークの放射輝度に対して５０－１００％の範囲に設定される。そして、算出部２１６は、光沢ピークに対応する計測点と、閾値範囲に含まれる２以上の計測点の３点以上の計測点が取得できているときには、表面粗さσを推定するに足る放射輝度遷移情報が取得できていると判定する。
【0053】
図９Ｄは、閾値範囲の第４の設定例を示す図である。第４の設定例は、高精度の光沢の推定が必要となるときの設定例である。高精度の光沢の推定が必要となるときには、図９Ｄに示すように例えば２つの閾値範囲が設定される。閾値範囲１は、光沢ピークの放射輝度に対して７０－１００％の範囲に設定される。閾値範囲２は、光沢ピークの放射輝度に対して４０－７０％の範囲に設定される。そして、算出部２１６は、光沢ピークに対応する計測点と、閾値範囲１に含まれる２以上の計測点と、閾値範囲２に含まれる２以上の計測点との５点以上の計測点が取得できているときには、表面粗さσを推定するに足る放射輝度遷移情報が取得できていると判定する。なお、第４の設定例において、より高精度の光沢の推定が必要となるときには、閾値範囲は３つ以上設定されてよい。
【0054】
ここで図５の説明に戻る。指示画像生成部２１７は、算出部２１６で算出された取得状態情報に基づいて、指示画像を生成する。指示画像は、放射輝度遷移情報、すなわち光沢の遷移が取得できた表面領域と取得できていない表面領域とを区別して表す画像である。指示画像は、例えば、画像表示装置６に表示される。図１０は、指示画像の表示例である。図１０の指示画像は、対象物７のポリゴンモデルに所定のテクスチャを貼り付けることによって生成されたテクスチャモデルのうちの放射輝度遷移情報が取得されている表面領域の画素値を、他の表面領域の画素値と異ならせることで生成される。このような指示画像では、放射輝度遷移情報が取得されている表示領域６１は他の表面領域とは異なる色で表示される。ユーザは、画像表示装置６に表示されているテクスチャモデルを見て、放射輝度遷移情報が取得されている部分と取得されていない部分とを識別できる。これにより、ユーザは、放射輝度遷移情報が取得できていない表面領域についての放射輝度遷移情報が取得できるように光源５を移動させ、カメラ４による再撮影を実施することができる。
【0055】
ここで図５の説明に戻る。光源制御部２１８は、算出部２１６で算出された取得状態情報に基づいて光源５を移動させる。具体的には、光源制御部２１８は、放射輝度遷移情報が取得できるような位置に光源５を移動させる。
【0056】
質感情報推定部２１９は、ストレージ２４に記憶されたカメラ情報、光源情報及び対象物７の形状情報を用いて、対象物７の表面領域毎の反射定数及び法線の推定を実施する。
【0057】
反射定数及び法線は、表面領域の放射輝度Ioと計算によって推定した放射輝度Io’との誤差を最小化するパラメータの最適解を推定することで導出される。例えば、対象物の反射モデルとして式（１）および式（２）が利用されている場合には、放射輝度Io’は以下の式（４）で計算される。
Io’ = Id + Is = IL×{fid(kd, N, L)+ fis(ks, σ, N, L, V)} （４）
式（４）において、ベクトルL及びベクトルVはストレージ２４に記憶されているカメラ情報及び光源情報から算出されるために既知である。また、表面領域の法線ベクトルNは、表面領域のポリゴンの持つ法線ベクトルNpと表面領域における微細表面の法線ベクトルNmの足し合わせで表現される。前述したように、法線ベクトルNpは形状計測装置３で取得される形状情報から算出されるために既知である。よって、以下の式（５）で示す２乗誤差Jを最小化する問題を解くことで、表面領域毎の反射定数（kd, ks, σ）及び微小法線Nmが推定され得る。この推定が対象物７のすべての表面領域で実施されることで、対象物７の全体の形状及び反射特性が推定され得る。
J = 1 / 2 Σn(Ion-Ion’)2 （５）
Io’ = Id + Is = IL×{fid(kd, N, L)+ fis(ks, σ, N, L, V)} （４）
式（４）において、ベクトルL及びベクトルVはストレージ２４に記憶されているカメラ情報及び光源情報から算出されるために既知である。また、表面領域の法線ベクトルNは、表面領域のポリゴンの持つ法線ベクトルNpと表面領域における微細表面の法線ベクトルNmの足し合わせで表現される。前述したように、法線ベクトルNpは形状計測装置３で取得される形状情報から算出されるために既知である。よって、以下の式（５）で示す２乗誤差Jを最小化する問題を解くことで、表面領域毎の反射定数（kd, ks, σ）及び微小法線Nmが推定され得る。この推定が対象物７のすべての表面領域で実施されることで、対象物７の全体の形状及び反射特性が推定され得る。
J = 1 / 2 Σn(Ion-Ion’)2 （５）
【0058】
【0059】
ステップＳ１において、プロセッサ２１は、形状計測装置３から対象物７のマクロな３次元形状を表す形状情報を取得する。前述したように、形状計測装置３による計測手法は特定の手法に限定されない。
【0060】
ステップＳ２において、プロセッサ２１は、形状情報としての点群データをＣＧで扱いやすいポリゴンデータへと変換する。また、プロセッサ２１は、各ポリゴンの法線を計算する。そして、プロセッサ２１は、それぞれのポリゴンのポリゴンデータをストレージ２４に格納する。前述したように、ポリゴンデータは、ポリゴンの頂点の座標と、法線の情報とを含む。
【0061】
ステップＳ３において、プロセッサ２１は、対象物７の放射輝度の遷移が取得できるように光源５を移動させる。初回においては、プロセッサ２１は、予め定められた位置に光源５を移動させてよい。２回目以降においては、プロセッサ２１は、対象物７の放射輝度の遷移が取得できるように光源５の位置を順次に変化させる。
【0062】
ステップＳ４において、プロセッサ２１は、カメラ４による撮影を実行させる。そして、プロセッサ２１は、カメラ４で生成された画像と、撮影時のカメラ４の位置及び撮影条件といったカメラ情報と、撮影時の光源５の位置及び対象物７の放射輝度といった光源情報と関連付けてストレージ２４に格納する。
【0063】
ステップＳ５において、プロセッサ２１は、対象物７の表面領域に該当するポリゴンの法線ベクトルNと、カメラ４の視線方向のベクトルVと、光源５の方向ベクトルLとに基づいて、カメラ４の正反射方向となる位置を光源５が通過したか否かを判定する。ステップＳ５において、カメラ４の正反射方向となる位置を光源５が通過していないと判定されたときには、処理はステップＳ３に戻る。この場合、プロセッサ２１は、光源５を別の位置に移動させる。ステップＳ５において、カメラ４の正反射方向となる位置を光源５が通過したと判定されたときには、処理はステップＳ６に移行する。
【0064】
ステップＳ６において、プロセッサ２１は、ストレージ２４に記憶されている光源情報より、各光源位置における鏡面反射光の放射輝度を算出する。プロセッサ２１は、各光源位置における放射輝度を光沢ピークに対応した放射輝度の値で正規化することで放射輝度遷移情報を生成する。そして、プロセッサ２１は、光沢ピークに対する放射輝度の値に対する割合で示された放射輝度の閾値範囲を設定する。
【0065】
ステップＳ７において、プロセッサ２１は、閾値範囲内において、指定された所定個数以上の計測点が取得できているか否かを判定する。ステップＳ７において、所定個数以上の計測点が取得できていないと判定されていないときには、処理はステップＳ３に戻る。この場合、プロセッサ２１は、光源５を別の位置に移動させる。ステップＳ７において、所定個数以上の計測点が取得できたと判定されたときには、処理はステップＳ８に移行する。
【0066】
ステップＳ８において、プロセッサ２１は、ステップＳ２で取得したポリゴンデータに基づく対象物７のテクスチャモデルを画像表示装置６に表示させる。さらに、プロセッサ２１は、十分な放射輝度遷移情報が取得できたと判定した表面領域に色付けをする。３次元画像の表示中、プロセッサ２１は、ユーザによる対象物７のテクスチャモデルの回転、拡大又は縮小の操作を受けつけてもよい。このような操作がされた場合、プロセッサ２１は、回転、拡大又は縮小されたポリゴンデータに基づいて３次元画像を画像表示装置６に再表示させる。
【0067】
ステップＳ９において、プロセッサ２１は、すべての表面領域について放射輝度の遷移が取得できたか否かを判定する。ステップＳ９において、すべての表面領域について放射輝度の遷移が取得できていないと判定されたときには、処理はステップＳ１０に移行する。ステップＳ９において、すべての表面領域について放射輝度の遷移が取得できたと判定されたときには、処理はステップＳ１１に移行する。ステップＳ９において、ユーザの操作によって計測完了の指示がされた場合にも、処理がステップＳ１１に移行するように構成されてもよい。
【0068】
ステップＳ１０において、プロセッサ２１は、処理対象の表面領域を放射輝度の遷移がまだ取得できていない表面領域に変更する。その後、処理はステップＳ３に戻る。この場合、プロセッサ２１は、別の表面領域に対する放射輝度の遷移が取得できるよう、光源５を別の位置に移動させる。
【0069】
ステップＳ１１において、プロセッサ２１は、放射輝度遷移情報、カメラ情報、光源情報、対象物７の形状情報を用いることで表面領域毎の微細表面形状及び反射定数を推定する。そして、プロセッサ２１は、図１１の処理を終了させる。
【0070】
以上説明したように本実施形態によれば、対象物７の質感を再現するための反射特性の推定に足る放射輝度遷移情報、すなわち光沢遷移が取得できているか否かが表面領域毎に判定される。この判定結果に基づいて撮影が実行されることにより、反射特性の推定に足る光沢遷移が過不足なく取得できる。このため、反射特性の推定に不要な放射輝度の情報が反射特性の推定計算に用いられることもなく、効率的な反射特性の推定をすることができる。
【0071】
また、反射特性の推定に足る光沢遷移が取得できていない表面領域についてだけ撮影がされればよいため、撮影の枚数も減らすことができる。また、反射特性の推定に足る光沢遷移が取得できていない表面領域についてだけ撮影をすればよいため、対象物の形状や反射特性によって光源及びカメラの配置が予め決定されている必要はない。また、光源が３次元的に移動できるように構成されていることにより、表面領域と光源との位置関係によって光沢がカメラで取得できないといったこともない。
【0072】
［変形例１］
以下、実施形態の変形例について説明する。実施形態では、カメラ４と対象物７とを固定し、光源５を移動させながら対象物７の撮影が行われている。しかしながら、必ずしも光源５を移動させながら対象物７の撮影が行われる必要はない。例えば、光源５と対象物７とを固定し、カメラ４を移動させながら対象物７の撮影が行われてもよい。また、カメラ４と光源５とを固定し、対象物７を移動させながら対象物７の撮影が行われてもよい。さらには、カメラ４、光源５及び対象物７の２つ以上を移動させながら対象物７の撮影が行われてもよい。
以下、実施形態の変形例について説明する。実施形態では、カメラ４と対象物７とを固定し、光源５を移動させながら対象物７の撮影が行われている。しかしながら、必ずしも光源５を移動させながら対象物７の撮影が行われる必要はない。例えば、光源５と対象物７とを固定し、カメラ４を移動させながら対象物７の撮影が行われてもよい。また、カメラ４と光源５とを固定し、対象物７を移動させながら対象物７の撮影が行われてもよい。さらには、カメラ４、光源５及び対象物７の２つ以上を移動させながら対象物７の撮影が行われてもよい。
【0073】
［変形例２］
実施形態では反射特性の推定に用いられる反射モデルとして、Cook-Torranceモデルが例示されている。反射特性の推定には、Cook-Torranceモデルに限らずどのようなモデルが用いられても良い。例えば、ヘアライン加工された金属表面を有する物体のようにカメラ方向又は光源方向により異なる反射強度を放つ対象物については、Wardモデルのような異方性反射モデルが用いられてもよい。
実施形態では反射特性の推定に用いられる反射モデルとして、Cook-Torranceモデルが例示されている。反射特性の推定には、Cook-Torranceモデルに限らずどのようなモデルが用いられても良い。例えば、ヘアライン加工された金属表面を有する物体のようにカメラ方向又は光源方向により異なる反射強度を放つ対象物については、Wardモデルのような異方性反射モデルが用いられてもよい。
【0074】
ここで、ＣＧによる質感の再現画像の生成の際には、取得された形状情報及び反射特性、法線の情報が用いられることで、任意の照明環境下における対象物の見え、質感が再現される。ただし、再現時の反射モデルには、反射特性の推定時に用いられた反射モデルと同様のモデルが用いられる必要がある。
【0075】
［変形例３］
前述した実施形態では、カメラ４の正反射方向となる位置を光源５が通過しており、かつ、閾値範囲内の所定個数以上の計測点が取得できたときに、反射特性の推定に足る放射輝度遷移情報が取得できていると判定される。これらの条件のうちの何れか一方だけが満足したときに反射特性の推定に足る放射輝度遷移情報が取得できていると判定されてもよい。
前述した実施形態では、カメラ４の正反射方向となる位置を光源５が通過しており、かつ、閾値範囲内の所定個数以上の計測点が取得できたときに、反射特性の推定に足る放射輝度遷移情報が取得できていると判定される。これらの条件のうちの何れか一方だけが満足したときに反射特性の推定に足る放射輝度遷移情報が取得できていると判定されてもよい。
【0076】
［変形例４］
前述した実施形態では、指示画像は、対象物のテクスチャモデルにおける放射輝度遷移情報が取得できた表面領域の画素値を他の表面領域の画素値と異ならせることによって生成される。しかしながら、指示画像は、他の手法によって生成されてもよい。
前述した実施形態では、指示画像は、対象物のテクスチャモデルにおける放射輝度遷移情報が取得できた表面領域の画素値を他の表面領域の画素値と異ならせることによって生成される。しかしながら、指示画像は、他の手法によって生成されてもよい。
【0077】
図１２Ａは、指示画像の別の表示例を示す図である。図１２Ａの指示画像は、テクスチャが貼り付けられていない対象物のポリゴンモデルのうちの放射輝度遷移情報が取得できた表面領域に対応する部分６２の画素値を他の部分の画素値と異ならせることによって生成される。
【0078】
図１２Ｂは、指示画像のさらに別の表示例を示す図である。図１２Ｂの指示画像は、形状情報によって特定される対象物のテクスチャマップ（展開図）６３のうちの放射輝度遷移情報が取得できた表面領域に対応する部分６３の画素値を他の部分の画素値と異ならせることによって生成される。
【0079】
図１２Ｃは、指示画像のさらに別の表示例を示す図である。図１２Ｃの指示画像は、対象物７のポリゴンモデルにカメラ４で得られた画像をテクスチャとして貼り付けることによって生成されたテクスチャモデル６４ａのうちの放射輝度遷移情報が取得されている表面領域６４ｂの画素値を、他の表面領域の画素値と異ならせることで生成される。
【0080】
図１２Ｄは、指示画像のさらに別の表示例を示す図である。図１２Ｄの例は、カメラ４と、画像表示装置６とを備えるスマートフォン等の端末８をユーザが手で持って対象物７を撮影する場合において好適な表示例である。端末８には、指示画像を表示できるように光沢取得状態表示プログラムがインストールされている。さらに、端末８は、画像解析装置２に対して、カメラ４で得られた画像を送るとともに、画像解析装置２で生成された指示画像を受け取るように構成された通信インターフェースを備えている。
【0081】
図１２Ｄの例では、方向８ａ、方向８ｂといった異なる方向から端末８のカメラ４で対象物７を撮影した際に逐次に得られる画像のうち、放射輝度遷移情報が取得されている表面領域に対応する部分の画素値を、他の部分の画素値と異ならせることで生成される。
【0082】
ここで、端末８は、少なくともカメラ４と、画像表示装置６とを備えている。光源５は、端末８に備えられていてもよいし、端末８に備えられていなくてもよい。さらに、端末８のカメラ４が２眼のカメラであれば、ステレオ法によって対象物７の形状情報が取得され得るため、形状計測装置３は不要である。勿論、対象物７の形状は、端末８とは別の形状計測装置３によって測定されてもよい。
【0083】
さらに、端末８は、画像解析装置２の同等の処理をすることができるように構成されていてもよい。例えば、端末８には、画像解析装置２の同等の処理をすることができるように光沢取得状態算出プログラムがインストールされていてもよい。
【0084】
本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0085】
以下に、本願の発明の実施の形態から抽出され得る発明を付記する。
［１］ 対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得する画像取得手段と、
前記対象物の３次元形状情報を取得する形状取得手段と、
前記３次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定する放射輝度遷移推定手段と、
前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出する算出手段と、
を備える光沢取得状態算出装置。
［２］ 前記画像群が撮影されているときの前記カメラのカメラ情報を取得するカメラ情報取得手段と、
前記画像群が撮影されているときの前記光源の光源情報を取得する光源情報取得手段と、
をさらに備え、
前記光源情報は、少なくとも前記画像群に亘る前記光源の位置の情報である光源位置情報を含み、
前記カメラ情報は、少なくとも前記画像群に亘る前記カメラの位置の情報であるカメラ位置情報を含む、
［１］に記載の光沢取得状態算出装置。
［３］ 前記放射輝度遷移情報、前記３次元形状情報、前記カメラ位置情報及び前記光源位置情報を用いて、前記表面領域毎の所定の反射モデルの反射定数及び法線を推定する質感情報推定部をさらに備える、
［２］に記載の光沢取得状態算出装置。
［４］ 前記算出手段は、
前記３次元形状情報から算出される前記表面領域の法線、前記カメラ位置情報によって示される前記カメラの位置及び前記光源位置情報によって示される前記光源の位置を用いて、前記カメラの位置に対し、前記表面領域を反射面として正反射方向となる前記光源の位置が存在するか否かを前記表面領域毎に判定し、
少なくとも前記光源の位置が存在するか否かの判定の結果に基づき前記取得状態情報を算出する、
［２］又は［３］に記載の光沢取得状態算出装置。
［５］ 前記算出手段は、
前記表面領域毎に、前記放射輝度遷移情報によって示される複数の放射輝度のうちのピークを算出し、前記ピークに基づき算出される閾値範囲に含まれる放射輝度が所定の個数以上存在しているか否かを判定し、
少なくとも前記放射輝度が所定の個数以上存在しているか否かの判定の結果に基づき前記取得状態情報を算出する、
［１］から［４］のいずれか１に記載の光沢取得状態算出装置。
［６］ 前記閾値範囲は、ユーザによって指定される、
［５］に記載の光沢取得状態算出装置。
［７］ 前記表面領域のいずれかに各々対応する複数の画素を有し、各々の画素は、対応する前記表面領域の前記取得状態情報に基づく画素値を有する、指示画像を生成する指示画像生成手段をさらに備える、
［１］から［６］のいずれか１に記載の光沢取得状態算出装置。
［８］ 前記画像群は、前記光源、前記対象物、前記カメラのいずれかの連続的な移動に伴って前記対象物を連続的に撮影することによって得られた動画である、
［１］から［７］のいずれか１に記載の光沢取得状態算出装置。
［９］ 前記光源は、線光源又は面光源である、
［１］から［８］のいずれか１に記載の光沢取得状態算出装置。
［１０］ 対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得することと、
前記対象物の３次元形状情報を取得することと、
前記３次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定することと、
前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出することと、
を備える光沢取得状態算出方法。
［１１］ 対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得することと、
前記対象物の３次元形状情報を取得することと、
前記３次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定することと、
前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出することと、
をコンピュータに実行させるための光沢取得状態算出プログラム。
［１２］ ［７］に記載の光沢取得状態算出装置と通信できるように接続される端末であって、
前記画像群を前記光沢取得状態算出装置に送信する送信手段と、
前記指示画像を前記光沢取得状態算出装置から受信する受信手段と、
前記指示画像を表示する表示手段と、
を備える端末。
［１３］ ［７］に記載の光沢取得状態算出装置と通信できるように接続される端末のための光沢取得状態表示プログラムであって、
前記画像群を前記光沢取得状態算出装置に送信することと、
前記指示画像を前記光沢取得状態算出装置から受信することと、
前記指示画像を表示手段に表示することと、
を前記端末のコンピュータに実行させるための光沢取得状態表示プログラム。
［１４］ 前記形状取得手段は、前記３次元形状情報を前記画像群からの推定によって取得する、
［１］に記載の光沢取得状態算出装置。
［１５］ 前記光源情報取得手段は、前記光源情報を前記画像群からの推定によって取得する、
［２］に記載の光沢取得状態算出装置。
［１６］ 前記カメラ情報取得手段は、前記カメラ情報を前記画像群からの推定によって取得する、
［２］に記載の光沢取得状態算出装置。
［１７］ 前記指示画像は、前記３次元形状情報に対応するテクスチャ画像である、
［７］に記載の光沢取得状態算出装置。
［１８］ 前記指示画像の一部又は全部の画素は、前記表面領域の各々に一対一で対応している、
［７］に記載の光沢取得状態算出装置。
［１９］ 前記指示画像の画素と前記表面領域との対応が、前記カメラによって撮影された前記画像群に基づいている、
［７］に記載の光沢取得状態算出装置。
［２０］ 前記対象物、前記光源、前記カメラのいずれかの位置を前記取得状態情報に基づき制御する制御手段をさらに備える、
［１］に記載の光沢取得状態算出装置。
［１］ 対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得する画像取得手段と、
前記対象物の３次元形状情報を取得する形状取得手段と、
前記３次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定する放射輝度遷移推定手段と、
前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出する算出手段と、
を備える光沢取得状態算出装置。
［２］ 前記画像群が撮影されているときの前記カメラのカメラ情報を取得するカメラ情報取得手段と、
前記画像群が撮影されているときの前記光源の光源情報を取得する光源情報取得手段と、
をさらに備え、
前記光源情報は、少なくとも前記画像群に亘る前記光源の位置の情報である光源位置情報を含み、
前記カメラ情報は、少なくとも前記画像群に亘る前記カメラの位置の情報であるカメラ位置情報を含む、
［１］に記載の光沢取得状態算出装置。
［３］ 前記放射輝度遷移情報、前記３次元形状情報、前記カメラ位置情報及び前記光源位置情報を用いて、前記表面領域毎の所定の反射モデルの反射定数及び法線を推定する質感情報推定部をさらに備える、
［２］に記載の光沢取得状態算出装置。
［４］ 前記算出手段は、
前記３次元形状情報から算出される前記表面領域の法線、前記カメラ位置情報によって示される前記カメラの位置及び前記光源位置情報によって示される前記光源の位置を用いて、前記カメラの位置に対し、前記表面領域を反射面として正反射方向となる前記光源の位置が存在するか否かを前記表面領域毎に判定し、
少なくとも前記光源の位置が存在するか否かの判定の結果に基づき前記取得状態情報を算出する、
［２］又は［３］に記載の光沢取得状態算出装置。
［５］ 前記算出手段は、
前記表面領域毎に、前記放射輝度遷移情報によって示される複数の放射輝度のうちのピークを算出し、前記ピークに基づき算出される閾値範囲に含まれる放射輝度が所定の個数以上存在しているか否かを判定し、
少なくとも前記放射輝度が所定の個数以上存在しているか否かの判定の結果に基づき前記取得状態情報を算出する、
［１］から［４］のいずれか１に記載の光沢取得状態算出装置。
［６］ 前記閾値範囲は、ユーザによって指定される、
［５］に記載の光沢取得状態算出装置。
［７］ 前記表面領域のいずれかに各々対応する複数の画素を有し、各々の画素は、対応する前記表面領域の前記取得状態情報に基づく画素値を有する、指示画像を生成する指示画像生成手段をさらに備える、
［１］から［６］のいずれか１に記載の光沢取得状態算出装置。
［８］ 前記画像群は、前記光源、前記対象物、前記カメラのいずれかの連続的な移動に伴って前記対象物を連続的に撮影することによって得られた動画である、
［１］から［７］のいずれか１に記載の光沢取得状態算出装置。
［９］ 前記光源は、線光源又は面光源である、
［１］から［８］のいずれか１に記載の光沢取得状態算出装置。
［１０］ 対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得することと、
前記対象物の３次元形状情報を取得することと、
前記３次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定することと、
前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出することと、
を備える光沢取得状態算出方法。
［１１］ 対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得することと、
前記対象物の３次元形状情報を取得することと、
前記３次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定することと、
前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出することと、
をコンピュータに実行させるための光沢取得状態算出プログラム。
［１２］ ［７］に記載の光沢取得状態算出装置と通信できるように接続される端末であって、
前記画像群を前記光沢取得状態算出装置に送信する送信手段と、
前記指示画像を前記光沢取得状態算出装置から受信する受信手段と、
前記指示画像を表示する表示手段と、
を備える端末。
［１３］ ［７］に記載の光沢取得状態算出装置と通信できるように接続される端末のための光沢取得状態表示プログラムであって、
前記画像群を前記光沢取得状態算出装置に送信することと、
前記指示画像を前記光沢取得状態算出装置から受信することと、
前記指示画像を表示手段に表示することと、
を前記端末のコンピュータに実行させるための光沢取得状態表示プログラム。
［１４］ 前記形状取得手段は、前記３次元形状情報を前記画像群からの推定によって取得する、
［１］に記載の光沢取得状態算出装置。
［１５］ 前記光源情報取得手段は、前記光源情報を前記画像群からの推定によって取得する、
［２］に記載の光沢取得状態算出装置。
［１６］ 前記カメラ情報取得手段は、前記カメラ情報を前記画像群からの推定によって取得する、
［２］に記載の光沢取得状態算出装置。
［１７］ 前記指示画像は、前記３次元形状情報に対応するテクスチャ画像である、
［７］に記載の光沢取得状態算出装置。
［１８］ 前記指示画像の一部又は全部の画素は、前記表面領域の各々に一対一で対応している、
［７］に記載の光沢取得状態算出装置。
［１９］ 前記指示画像の画素と前記表面領域との対応が、前記カメラによって撮影された前記画像群に基づいている、
［７］に記載の光沢取得状態算出装置。
［２０］ 前記対象物、前記光源、前記カメラのいずれかの位置を前記取得状態情報に基づき制御する制御手段をさらに備える、
［１］に記載の光沢取得状態算出装置。
【符号の説明】
【0086】
１…３次元画像処理システム、２…画像解析装置、３…形状計測装置、４…カメラ、５…光源、６…画像表示装置、７…対象物、８…端末、２１…プロセッサ、２２…ＲＯＭ、２３…ＲＡＭ、２４…ストレージ、２５…入力インターフェース、２６…出力インターフェース、２７…通信インターフェース、２８…バス、２１１…画像取得部、２１２…形状取得部、２１３…カメラ情報取得部、２１４…光源情報取得部、２１５…放射輝度遷移、２１６…算出部、２１７…指示画像生成部、２１８…光源制御部、２１９…質感情報推定部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図9D】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図12D】
