特許 6010004 画像処理装置、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6010004

(24)【登録日】2016年9月23日

(45)【発行日】2016年10月19日

(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   G06T 17/00 20060101AFI20161006BHJP

   G06T 15/80 20110101ALI20161006BHJP

   G06T 19/20 20110101ALI20161006BHJP

【ＦＩ】

   G06T17/00

   G06T15/80

   G06T19/20

【請求項の数】7

【全頁数】12

(21)【出願番号】特願2013-181507(P2013-181507)

(22)【出願日】2013年9月2日

(65)【公開番号】特開2015-49748(P2015-49748A)

(43)【公開日】2015年3月16日

【審査請求日】2015年8月27日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】杉本 志織

(72)【発明者】

【氏名】貞光 九月

(72)【発明者】

【氏名】千明 裕

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２００４−３６２３１４（ＪＰ，Ａ）

【文献】 特開２００３−２５６８６４（ＪＰ，Ａ）

【文献】 特開２００３−２１６９６９（ＪＰ，Ａ）

【文献】 特開２０００−３０６１１７（ＪＰ，Ａ）

【文献】 特開平７−２８２２２８（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１３２０３９（ＷＯ，Ａ１）

【文献】 国際公開第２０１２／０７８００６（ＷＯ，Ａ１）

【文献】 木村真基，”Ｍｅｔａｓｅｑｕｏｉａで手軽にトゥーンレンダリングが楽しめるｍｅｔａｔｏｏｎＬｉｔｅ！”，ＧＷ，日本，株式会社アイ・ディ・ジー・ジャパン，２００３年 ４月 １日，第６巻, 第４号，p.66-67

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １５／００−１５／８７，１７／００，１７／１０−１７／３０Ｇ０６Ｔ １／００，１９／００−１９／２０

(57)【特許請求の範囲】

【請求項1】

画像を特定可能な情報を入力し、該画像を特定可能な情報に基づいて前記画像を検索する画像検索手段と、
検索によって得られた前記画像の色空間を分析する色空間分析手段と、
前記色空間の分析結果に基づいて、前記色空間を色グループに分割する色グループ分割手段と、
入力した３次元モデルの構成要素もしくは構成要素グループに対してそれぞれ分割された前記色グループを割り当てる色グループ割り当て手段と、
割り当てられたそれぞれの前記色グループの特徴に基づいて、前記３次元モデルの色及び質感を定義するためのパラメータを決定するパラメータ決定手段と
を備えたことを特徴とする画像処理装置。

【請求項2】

画像の色空間を分析する色空間分析手段と、
前記色空間の分析結果に基づいて、前記色空間を色グループに分割する色グループ分割手段と、
入力した３次元モデルの構成要素もしくは構成要素グループに対してそれぞれ分割された前記色グループを割り当てる色グループ割り当て手段と、
割り当てられたそれぞれの前記色グループの特徴に基づいて、前記３次元モデルの色及び質感を定義するためのパラメータを決定するパラメータ決定手段と
を備え、
前記色グループ割り当て手段は、
前記３次元モデルの構成要素もしくは構成要素グループの面積比または体積比に基づいて前記色グループの割り当てを行うことを特徴とする画像処理装置。

【請求項3】

画像の色空間を分析する色空間分析手段と、
前記色空間の分析結果に基づいて、前記色空間を色グループに分割する色グループ分割手段と、
入力した３次元モデルの構成要素もしくは構成要素グループに対してそれぞれ分割された前記色グループを割り当てる色グループ割り当て手段と、
割り当てられたそれぞれの前記色グループの特徴に基づいて、前記３次元モデルの色及び質感を定義するためのパラメータを決定するパラメータ決定手段と
を備え、
前記色グループ割り当て手段は、
前記画像中における前記色グループの分布に類似するように、前記３次元モデルの構成要素もしくは構成要素グループに前記色グループの割り当てを行うことを特徴とする画像処理装置。

【請求項4】

画像の色空間を分析する色空間分析手段と、
前記色空間の分析結果に基づいて、前記色空間を色グループに分割する色グループ分割手段と、
入力した３次元モデルの構成要素もしくは構成要素グループに対してそれぞれ分割された前記色グループを割り当てる色グループ割り当て手段と、
割り当てられたそれぞれの前記色グループの特徴に基づいて、前記３次元モデルの色及び質感を定義するためのパラメータを決定するパラメータ決定手段と
を備え、
前記パラメータ決定手段は、
前記色グループの特徴として、前記色グループに含まれる色と、該色の集合に対する統計量とのうち、少なくとも一つを用いて前記パラメータの決定を行うことを特徴とする画像処理装置。

【請求項5】

前記パラメータ決定手段は、
前記色グループの特徴として、前記色グループに対応する画像の領域から演算により求められる値を用いて前記パラメータの決定を行うことを特徴とする請求項１に記載の画像処理装置。

【請求項6】

画像を特定可能な情報を入力し、該画像を特定可能な情報に基づいて前記画像を検索する画像検索ステップと、
検索によって得られた前記画像の色空間を分析する色空間分析ステップと、
前記色空間の分析結果に基づいて、前記色空間を色グループに分割する色グループ分割ステップと、
入力した３次元モデルの構成要素もしくは構成要素グループに対してそれぞれ分割された前記色グループを割り当てる色グループ割り当てステップと、
割り当てられたそれぞれの前記色グループの特徴に基づいて、前記３次元モデルの色及び質感を定義するためのパラメータを決定するパラメータ決定ステップと
を有することを特徴とする画像処理方法。

【請求項7】

コンピュータを、請求項１から５のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

三次元コンピュータグラフィックスの分野では、三次元物体をポリゴンなどの平面やＮＵＲＢＳ（Non-Uniform Rational B-Splines：非均一有理Ｂスプライン）曲面などの自由曲面、あるいはボクセル等のボリュームからなる幾何学的要素の集合で表現し、これらの幾何学的要素を観測することによって二次元画像を生成する。以下ではこの幾何学的要素のことをプリミティブと称し、プリミティブの集合で構成される三次元物体をオブジェクトと称し、観測のことをレンダリングと称する。

【0003】

プリミティブはごく単純な点や面や立体であることもあれば、複雑な数式で表現される曲面や立体である場合もある。レンダリングにおいて、オブジェクトの見え方、すなわちその表面の色や質感は、そのオブジェクトの光学的特性に基づき、観測方向及び光源方向に依存して決定される。物体の光学的特性を簡易に表現する方法として、一般に物体を構成するプリミティブについて何らかの反射モデルを定義し、これに基づいて三次元的な見え方を演算するという方法が広く用いられる。この反射モデルで使用されるパラメータは反射モデルによって単数の場合も複数定義されることも有り、パラメータをコントロールすることで物体の光学的特性を表現することができる。以下ではこのパラメータのセットのことをマテリアルと称する。マテリアルを構成するパラメータは反射モデル及びレンダリング方法によって異なり、最も単純な場合には単一の物体色を表すパラメータである場合もある。

【0004】

ここでマテリアルによる光学特性の表現について、プリミティブがポリゴンである場合の例を説明する。ポリゴンは三次元的な平面であり、一般には三次元座標を持つ３つ以上の頂点の組で表される。以下に一枚のポリゴンを一つの光源下でＰｈｏｎｇの反射モデルに基づきレンダリングする場合の、法線ベクトルＮをもつポリゴン上の点Ｉ_ｐが観測視点からベクトルＶの方向にあり、Ｉ_ｐから光源への方向がベクトルＬで示され、また完全反射方向がＲであるとき、Ｉ_ｐにおける色及び陰影を定める（１）式を示す。
Ｉ_ｐ＝ｋ_ａｉ_ａ＋ｋ_ｄ（Ｌ・Ｎ）ｉ_ｄ＋ｋ_ｓ（Ｒ・Ｖ）^∝ｉ_ｓ ・・・（１）

【0005】

（１）式において、ｉ_ａ、ｉ_ｄ、ｉ_ｓは光源色を示す係数であり、それぞれ環境反射、拡散反射、鏡面反射それぞれにおける光源色を定める。ｋ_ａ、ｋ_ｄ、ｋ_ｓはポリゴンの反射色を示す係数であり、環境反射、拡散反射及び鏡面反射における反射色を定める。∝はポリゴンの反射強度を定める。物体の反射特性がこのように定義されるとき、ｋ_ａ、ｋ_ｄ、ｋ_ｓ、∝に任意の値を与えることで物体の色や陰影などの見え方を任意に決定することができる。ここではｋ_ａ、ｋ_ｄ、ｋ_ｓ、∝のセットがマテリアルである。

【0006】

しかしながら、このようなマテリアルを構成するパラメータの持つ値は直感的な値ではなく、任意の見え方を再現するマテリアルを与えるためには熟練を要する。更に一般に三次元コンピュータグラフィックス全般において表現する対象となるオブジェクトは多数のまたは複雑なプリミティブによって構成されており、それらのプリミティブが各々または複数のプリミティブで構成されるグループ毎に異なるマテリアルをもたせる要求も多い。そのような場合には各々またはグループ毎にマテリアルを定義する必要があり、そのようなマテリアルのセット（以下、複数のマテリアルのセットをマテリアルセットと称する）を与えることもまた熟練と手間を要する作業である。

【0007】

熟練を要さない簡易な入力によりマテリアルセットを与え物体の配色及び反射特性の決定を行うという要求に対して、あらかじめ用意されたプリセットとしての複数のマテリアルセットから好みのものを選ぶという方法も考えられるが、あらゆる任意の物体に関してユーザの要求に十分対応可能な網羅的なマテリアルセットをあらかじめ用意することは困難であり、また選択肢が多いほど選択行為に手間が生じる。

【0008】

このような問題に対する解決方法として、ユーザ入力としてオブジェクト上の複数の点またはプリミティブとその点に対応する色を指定される場合に、自動的にその色の指定をオブジェクト上の未指定の点またはプリミティブに反映させるＭｅｓｈ Ｃｏｌｏｒｉｚａｔｉｏｎという方法がある（例えば、非特許文献１参照）。この方法では直感的にオブジェクトに与える色と与える箇所を選択することで、特別な技術なしにマテリアルセットを与えることができる。この場合には各マテリアルは単一の物体色示す値をパラメータとして持つ。

【0009】

しかしながら、配色、すなわち色の組み合わせの決定と各色とオブジェクトを構成するプリミティブとの対応付けの決定はユーザが明に行う必要があるため、ある程度の手間と、イメージ通りの配色を行うためにはやはり経験を必要とする。

【先行技術文献】

【非特許文献】

【0010】

【非特許文献1】G. Leifman and A. Tal, “Mesh Colorization," Computer Graphics Forum, 2012.

【発明の概要】

【発明が解決しようとする課題】

【0011】

以上説明したように、ユーザが任意のオブジェクトの色及び反射特性またはその組み合わせを指定して見え方をコントロールする方法では、少なからず手間と経験が必要になるという問題がある。

【0012】

本発明は、このような事情に鑑みてなされたもので、簡易なユーザ入力により、画像を構成する色空間を介して任意の物体の色及び質感を定義するパラメータを決定することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明は、画像の色空間を分析する色空間分析手段と、前記色空間の分析結果に基づいて、前記色空間を色グループに分割する色グループ分割手段と、入力した３次元モデルの構成要素もしくは構成要素グループに対してそれぞれ分割された前記色グループを割り当てる色グループ割り当て手段と、割り当てられたそれぞれの前記色グループの特徴に基づいて、前記３次元モデルの色及び質感を定義するためのパラメータを決定するパラメータ決定手段とを備えたことを特徴とする。

【0014】

本発明は、前記色グループ割り当て手段は、前記３次元モデルの構成要素もしくは構成要素グループの面積比または体積比に基づいて前記色グループの割り当てを行うことを特徴とする。

【0015】

本発明は、前記色グループ割り当て手段は、前記画像中における前記色グループの分布に類似するように、前記３次元モデルの構成要素もしくは構成要素グループに前記色グループの割り当てを行うことを特徴とする。

【0016】

本発明は、前記パラメータ決定手段は、前記色グループの特徴として、前記色グループに含まれる色と、該色の集合に対する統計量とのうち、少なくとも一つを用いて前記パラメータの決定を行うことを特徴とする。

【0017】

本発明は、前記パラメータ決定手段は、前記色グループの特徴として、前記色グループに対応する画像の領域から演算により求められる値を用いて前記パラメータの決定を行うことを特徴とする。

【0018】

本発明は、画像を特定可能な情報を入力し、該画像を特定可能な情報に基づいて前記画像を取得する画像取得手段をさらに備えたことを特徴とする。

【0019】

本発明は、画像の色空間を分析する色空間分析ステップと、前記色空間の分析結果に基づいて、前記色空間を色グループに分割する色グループ分割ステップと、入力した３次元モデルの構成要素もしくは構成要素グループに対してそれぞれ分割された前記色グループを割り当てる色グループ割り当てステップと、割り当てられたそれぞれの前記色グループの特徴に基づいて、前記３次元モデルの色及び質感を定義するためのパラメータを決定するパラメータ決定ステップとを有することを特徴とする。

【0020】

本発明は、コンピュータを、前記画像処理装置として機能させるための画像処理プログラムである。

【発明の効果】

【0021】

本発明によれば、画像を構成する色空間を介して任意の物体の色及び質感を定義するパラメータを容易に決定することができるという効果が得られる。

【図面の簡単な説明】

【0022】

【図1】本発明の第１実施形態の構成を示すブロック図である。

【図2】図１に示す装置の動作を示すフローチャートである。

【図3】本発明の第２実施形態の構成を示すブロック図である。

【図4】図３に示す装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0023】

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による画像処理装置を説明する。以下の説明において用いる用語について定義する。色グループとは、一つ以上の色で構成されるグループであり、対象の色空間を構成する全ての色の集合の部分集合である。各色グループは独立でも構わないし、独立でなくても構わない。全ての色グループの和集合が色空間を構成する全ての色の集合と等価でなくても構わない。プリミティブグループとは、対象のオブジェクトを構成するプリミティブまたは複数のプリミティブで構成されるグループであり、オブジェクトを構成する全てのプリミティブの集合の部分集合である。各プリミティブグループは独立であっても構わないし、独立でなくても構わない。一般に全てのプリミティブグループの和集合はオブジェクトを構成する全てのプリミティブの集合と等価である。

【0024】

図１は第１実施形態の構成を示すブロック図である。図１において、符号１００は、コンピュータ装置で構成するマテリアルセット生成装置である。符号１０１は、一つ以上の画像を入力する画像入力部である。符号１０２は、一つ以上のオブジェクトを入力するオブジェクト入力部である。符号１０３は、入力画像の色空間を複数の色グループへ分割する色グループ決定部である。符号１０４は、各色グループをオブジェクトを構成するプリミティブグループに対応付ける配色部である。符号１０５は、各プリミティブグループについて対応する色グループから一つ以上のパラメータを決定しマテリアルを生成するマテリアル生成部である。符号１０６は、生成したマテリアルセットを出力するマテリアル出力部である。

【0025】

次に、図２を参照して、図１に示すマテリアルセット生成装置１００の動作を説明する。図２は、図１に示すマテリアルセット生成装置１００の動作を示すフローチャートである。まず、画像入力部１０１は、一つ以上の画像を入力し、オブジェクト入力部１０２は一つ以上のオブジェクトを入力する（ステップＳ１０１）。オブジェクトは頂点・ポリゴン・自由曲面・ボクセルやその他のプリミティブから構成され、またそのプリミティブからなるプリミティブグループによって構成される。各プリミティブグループは一つ以上のプリミティブの集合である。各プリミティブグループが２つ以上のプリミティブを含まない場合や、本装置内において適応的にプリミティブグループを設定する場合などには、入力時点でプリミティブグループが明示的に示されていなくても構わない。

【0026】

次に、色グループ決定部１０３は、画像入力部１０１によって入力した入力画像の色空間について分析を行い、複数の色グループに分割する（ステップＳ１０２）。色空間分析とは、画像を構成する各画素がもつ画素値について、その分布やその他の統計分析を行うものであり、ヒストグラム分析等に代表される。本発明においてはヒストグラム分析などの一般的に画像処理で用いられる分析方法だけでなく、画像から得られる情報またはその他いずれかの方法で取得可能な付加情報を用いた多変量解析なども総称して色空間分析と称する。

【0027】

色空間分析及び分割はどのように行っても構わないが、例えばヒストグラム分析を利用して行うことができる。色空間を構成するいずれかの成分について一定のレンジでヒストグラムを生成しピーク検出を行うことにより、その成分について画像を構成する顕著な値の範囲を一つ以上特定することができる。この範囲に含まれる値をまとめて一つの色グループを構成してもよいし、代表値を選択しても構わない。

【0028】

また、ヒストグラムレンジより広い範囲を色グループに含まれる値の範囲としてもよいし、狭い範囲でも構わない。ピークが複数検出される場合にはその全てのピークについて色グループを生成しても構わないし、プリミティブグループの数が既知であればその数に合わせて生成しても構わないし、ピークを構成する画素の総量に閾値を設けて一定量以上の画素からなるピークのみから色グループを生成しても構わない。

【0029】

またプリミティブグループの数に色グループの数が満たない場合には色グループを更に分割してもよいし、基準を満たさないピークを新たに候補としても構わないし、ひとつの色グループを複数のプリミティブグループに割り当てても構わない。また、異なる色グループが含む色同士が重複しても構わない。

【0030】

色空間はどのような空間を規定しても構わないし、分析対象成分はどの成分を用いても構わないし、異なる複数の色空間や成分を別々に分析しても構わないし、総合的に分析しても構わない。たとえばＨＶＳ色空間において色相成分の分析を行うことにより、類似色相によるグループ分けが行われ、複数の色相からなる華やかなマテリアルセットを生成することができる。

【0031】

または更に彩度成分において分析することにより、類似色相でまとめつつ高彩度と低彩度とそれぞれのグループに分かれ、統一感のあるマテリアルセットを生成することができる。これらの色空間や成分は決められたものとしてもよいし、ユーザ入力によって変更しても構わないし、画像の傾向から自動で決定しても構わない。例えば入力画像が全体的に特定の色相範囲に偏っている場合には彩度分析を行うなど適応的に分析対象を変えるなどしてもよい。

【0032】

入力画像は一つでも構わないし、複数でも構わない。複数の画像を入力とする場合には、各画像についてそれぞれ色空間分析を行い別々に色グループを作成しても構わない。その場合に作成した色グループは全てプリミティブグループに割り当てても構わないし、いくつかの色グループだけを選別して使用しても構わない。例えば異なる入力画像から生成した色グループ同士で相関を求め、画像間相関の低い色グループを排除しても構わない。

【0033】

または全ての画像の色空間を統合して分析を行っても構わない。その場合色空間の統合はどのように行なっても構わない。単純に統計の母集団を全ての画像の画素としてもよい。また全ての画像及びその画素値またはその分析値を当価値としても構わないし、例えば画像サイズの比等に応じて重み付けをしても構わない。例えばサイズＬである画像ＡとサイズＳである画像Ｂの色空間を統合する際に、画像Ｂに対してＳ／Ｌの重みをつけるなどしても構わない。その他どのような統合を行なっても構わない。

【0034】

次に、配色部１０４は、各色グループを各プリミティブグループに対応づける（ステップＳ１０３）。色グループとプリミティブグループの対応付けはどのように行っても構わないが、例えば色グループのそれぞれを構成する画素数の多い順に、プリミティブグループを構成するプリミティブの面積比や体積比の高い順に割り当てるなどしてもよい。

【0035】

または、色グループのそれぞれを構成する画素群の元画像中での分布とオブジェクトの表面上でのプリミティブグループの分布が類似するように割り当てる方法なども考えられる。この方法では例えば色グループＡとＢのそれぞれの画素が互いに近くに分布しており、色グループＣが遠くに分布している場合に、例えばＡ，Ｂ，Ｃそれぞれの分布の中心同士の距離を求め、それぞれに対応するプリミティブグループａ，ｂ，ｃを構成するプリミティブの重心同士の相互距離の比が色グループにおける分布中心の相互距離の比に等しくなるように割り当てを行うことで、入力画像に近しい印象を与える配色を与えることができる。

【0036】

また、プリミティブグループの数が未知である場合やグループ分けが予めなされていない場合に、色グループの数に合わせて適応的にオブジェクトをプリミティブグループに分割しても構わない。グループ分割の方法として上述の配色方法のような方法でプリミティブのグルーピングを行っても構わないし、別の方法でも構わない。

【0037】

次に、マテリアル生成部１０５は、各プリミティブグループについて、対応する色グループからマテリアルを構成する一つ以上のパラメータを決定する（ステップＳ１０４）。各マテリアルはどのような成分から構成されても構わない。最も単純な例では、単一の色を表す値から構成される。また一般的なコンピュータグラフィックスの表現で用いられるように鏡面反射係数や拡散反射係数や反射強度の値などを持っても構わないし、そのほかにどのような成分を持っても構わない。

【0038】

色グループからパラメータを求める方法はどのような方法でも構わないが、例えば色グループを構成する色の平均値や中間値や最大値などの統計量を用いてもよい。例えば、色グループの彩度成分における平均値を拡散反射係数とし、最大値を鏡面反射係数としてもよい。また、反射強度を示す値を色グループ内の明度ヒストグラムなどから求めるなどしてもよい。

【0039】

または、元画像の各画素のうち演算対象の色グループに属する画素からなる部分領域に対して何らかの画像処理を行いパラメータを決定しても構わない。例えばガボールフィルタなどを用いて画像中で視覚的に目立つ領域を検出し、その領域の画素値を鏡面反射係数などの目立つ効果を及ぼす係数の決定に使用するなどしてもよい。

【0040】

また、ほかの色グループとの相関関係を考慮して決定しても構わないし、それぞれ独立に決定しても構わない。例えば、画像全体で分析した場合に顕著に明るい領域が検出される場合に、その領域を含む色グループの反射強度を高く設定し、ほかの色グループでは低く設定することで、全体として元画像のもつ印象に近い雰囲気を持ったレンダリング結果を表現するためのパラメータを得る方法などしてもよい。

【0041】

または、プリミティブグループの特性をマテリアル生成に反映しても構わない。例えば、グループを構成するプリミティブの法線の分散に基づき、分散の少ない場合にはそのグループはなめらかな質感を持つとして反射強度を高く設定し、分散の多い場合にはざらついた質感を持つとして反射強度を低く設定するなどしてもよい。その他にどのような特性を反映しても構わない。

【0042】

次に、マテリアル出力部１０６は、生成したマテリアルセット及びプリミティブグループへの対応を示す情報をマテリアル情報をして出力する（ステップＳ１０５）。マテリアル情報はどのように記述しても構わないし、マテリアルの詳細を示す情報と対応を示す情報を同時に記述しても構わないし、別々に記述しても構わない。

【0043】

コンピュータグラフィック分野において広く用いられている記述方式として、マテリアルの詳細を示す情報をマテリアル情報として独立して記述し、対応を示す情報はオブジェクトを示す情報と同時に記述するという方式がある。このような記述方式を取る場合には、入力オブジェクト情報を対応情報を合わせて出力するためのオブジェクト出力部を別に備えても構わない。また、マテリアルの詳細を示す情報を独立して記述せず、対応を示す情報とともにオブジェクトを示す情報と同時に記述する方式も存在し、その場合にはマテリアル出力部１０６の代わりにオブジェクト出力部を備えるようにしてもよい。

【0044】

前述した説明では、まず画像を構成する色空間を色グループに分割し各プリミティブグループに割り当ててからマテリアルを生成しているが、色グループに対して対応するマテリアルを決定してから各プリミティブグループに割り当てても構わない。

【0045】

または各プリミティブグループに対応する尤もらしい色グループの組み合わせを最適化するように色グループ分割を行なっても構わない。例えば配色部１０２の説明部分に記載したように画像における色グループに含まれる色の分布とオブジェクトにおけるプリミティブグループに含まれるプリミティブの分布が近しくなるように色グループ分割を行うこともできる。

【0046】

または、いずれかの付加情報を用いて色空間分析や配色に利用しても構わない。例えば、主として使用する色を一つ以上指定するなどして、その色を平均値や中間値などの代表値として持つような色グループを色空間から構成するなどすることができる。また更に主として使用する色を含む色グループをひとつ構成した時に、それ以外の色グループは主色の補色を含むような色グループとして構成することもできる。このような付加情報をユーザ入力として入力させるために更に付加情報入力部を設けてもよいし、画像に付随するメタデータとして画像と同時に入力されるとしてもよい。

【0047】

＜第２実施形態＞
次に、図面を参照して、本発明の第２実施形態による画像処理装置を説明する。図３は、第２実施形態の構成を示すブロック図である。図３において、符号１００ａは、コンピュータ装置によって構成するマテリアルセット生成装置である。図３において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図３に示す装置が図１に示す装置と異なる点は、ユーザのイメージを表現するいずれかの画像を取得可能なキーワードや画像特徴量または類似した別の画像などを入力情報として取得する入力情報入力部１０１ａを新たに備えるとともに、画像入力部１０１の代わりに、入力情報を用いて一つ以上の画像を取得する画像取得部１０１ｂを備え、色グループ決定部１０３は、取得された一つ以上の画像を入力画像として色グループ決定処理を行う点である。

【0048】

次に、図４を参照して、図３に示すマテリアルセット生成装置ａの動作を説明する。図４は、図３に示すマテリアルセット生成装置ａの動作を示すフローチャートである。図４において、図２に示す処理動作と同一の部分には同一の符号を付し、その説明を簡単に行う。

【0049】

まず、入力情報入力部１０１ａは、キーワード・画像特徴量やまたは類似した別の画像などを入力情報として入力し、オブジェクト入力部１０２は一つ以上のオブジェクトを入力する（ステップＳ１０１ａ）。続いて、画像取得部１０１ｂは、入力情報を使用して一つ以上の画像を取得する（ステップＳ１０１ｂ）。以下ではこのキーワード・画像特徴量やまたは類似した別の画像などのことを全て入力情報と称する。

【0050】

画像の取得はどのように行なっても構わないが、例えば入力情報からクエリを作成し、作成したクエリを用いた画像検索などの方法を用いてもよい。最も単純な場合には、入力情報をそのままクエリとして使用可能な画像検索を行い検索結果から画像を取得することができる。入力情報を複数として、または異なる情報の組み合わせであるとして、複数の情報から入力クエリを作成して画像検索を行なっても構わないし、複数の入力クエリを作成して複数回画像検索を行なっても構わない。

【0051】

またはこれらの入力情報と画像の関係を定義づけるデータベースを予め用意し使用しても構わない。この場合にデータベース部を更に備えても構わない。また取得する画像は予め複数サンプルを用意しておきその中からいずれかを出力しても構わないし、入力情報に応じて適応的に生成・修正または合成して出力しても構わない。例えば単純な例として、多数のサンプル画像と多数のサンプルキーワードを予め用意しその対応関係を定め、キーワードに対応する画像を構成可能な基底で張られるベクトル空間をデータベースとして用意しておくことで、任意のキーワードに対しそのベクトル空間における基底の係数を取得することができ、その係数と基底を用いてキーワードに対応する新たな画像を再構成することができる。

【0052】

また例えば他の例として、入力情報であるキーワードが色相を表す色相キーワードとその他のキーワードからなるとき、色相キーワード以外のキーワードを使用してサンプル画像を特定し、色相キーワードの示す色相が画像の主たる色相であるように画像全体の色相をシフトし、色相シフトされた画像を出力するなどしてもよい。この他にどのような修正や合成を行い出力画像を生成しても構わない。

【0053】

取得する画像は一つでも構わないし、複数でも構わない。画像検索などで候補が複数得られて順位づけされている場合には最も順位の高いものまたは順位の高い順に複数の画像を出力しても構わないし、複数の候補の中から別の尺度で絞り込みを行い絞り込み結果を出力しても構わない。または複数の画像を結合・合成したものを出力としても構わない。

【0054】

次に、色グループ決定部１０３は、画像入力部１０１によって入力した入力画像の色空間について分析を行い、複数の色グループに分割する（ステップＳ１０２）。そして、配色部１０４は、各色グループを各プリミティブグループに対応づける（ステップＳ１０３）。

【0055】

次に、マテリアル生成部１０５は、各プリミティブグループについて、対応する色グループからマテリアルを構成する一つ以上のパラメータを決定する（ステップＳ１０４）。そして、マテリアル出力部１０６は、生成したマテリアルセット及びプリミティブグループへの対応を示す情報をマテリアル情報をして出力する（ステップＳ１０５）。

【0056】

以上説明したように、マテリアルセット生成装置は、入力画像を構成する色空間を分析することで任意のオブジェクトに与えるマテリアルセットを構成する各パラメータを決定するようにした。これを実現するために、マテリアルセット生成装置は、入力画像の色空間を複数の色グループへ分割する色グループ決定手段と、各色グループを各プリミティブグループに対応付ける配色手段と、前記各プリミティブグループについて対応する色グループから一つ以上のパラメータを決定しマテリアルを生成するマテリアル生成手段とを備えた。また、マテリアルセット生成装置の別の形態として、入力として画像検索に用いるキーワードや画像特徴量または類似した別の画像を利用し、入力クエリを用いて一つ以上の画像を獲得し前記色グループ決定手段で用いる入力画像とするようにした。

【0057】

このように、簡易なユーザ入力により任意のオブジェクトの色及び反射特性またはその組み合わせをコントロールする方法として、ユーザの望む雰囲気・イメージに近い任意の画像またはそのような画像を特定することのできるキー・クエリなどを入力として、画像を構成する色空間を介して任意の物体の色及び反射特性またはその組み合わせとしてのマテリアルセットを生成することができる。また、任意の画像から任意のオブジェクトに対応するマテリアルセットを生成することができる。

【0058】

また、入力画像中に存在するオブジェクトに対して反射特性推定を明に行うものではなく、そのため入力画像と表現対象のオブジェクトとの間にいずれの関連性がない場合にも入力画像を構成する色空間から尤もらしい色のグループを一つ以上決定し、またその色グループを任意のオブジェクトを構成するプリミティブグループに対して尤もらしく割り当て、割り当てられた組み合わせに対して反射特性を規定するパラメータからなるマテリアルを決定することで、任意のオブジェクトに入力画像の雰囲気・イメージを反映させる直感的な色及び反射特性の指定を可能とする。また画像を入力する代わりにユーザのイメージを表現するいずれかの画像を取得可能なキーワードや画像特徴量または類似した別の画像を入力情報とし、入力情報からクエリを生成しそのクエリを用いて一つ以上の画像を獲得し入力画像とし色及び反射特性を与えることで更に直感的な指定が可能となる。これにより、三次元コンピュータグラフィックス分野におけるレンダリングに好適な色及び反射特性指定の方法を提供することができるようになる。

【0059】

前述した実施形態におけるマテリアルセット生成装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

【0060】

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

【産業上の利用可能性】

【0061】

三次元コンピュータグラフィックス分野におけるレンダリングに好適な色及び反射特性指定することが不可欠な用途に適用できる。

【符号の説明】

【0062】

１００、１００ａ・・・マテリアルセット生成装置、１０１・・・画像入力部、１０１ａ・・・入力情報入力部、１０１ｂ・・・画像取得部、１０２・・・オブジェクト入力部、１０３・・・色グループ決定部、１０４・・・配色部、１０５・・・マテリアル生成部、１０６・・・マテリアル出力部

【図1】

【図2】

【図3】

【図4】