特開 2024-13076 生成システム、生成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024013076

(43)【公開日】2024-01-31

(54)【発明の名称】生成システム、生成方法、及びプログラム

(51)【国際特許分類】

   E04F 13/08 20060101AFI20240124BHJP

   G06T 17/00 20060101ALI20240124BHJP

   G06T 11/00 20060101ALI20240124BHJP

【ＦＩ】

E04F13/08 E

G06T17/00

G06T11/00 110

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022115000

(22)【出願日】2022-07-19

(71)【出願人】

【識別番号】000002299

【氏名又は名称】清水建設株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100161506

【弁理士】

【氏名又は名称】川渕 健一

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(72)【発明者】

【氏名】竹内 萌

(72)【発明者】

【氏名】渡邊 基史

(72)【発明者】

【氏名】古川 慧

(72)【発明者】

【氏名】佐竹 浩芳

【テーマコード（参考）】

2E110

5B080

【Ｆターム（参考）】

2E110AA57

2E110BB22

2E110BB32

2E110GA33W

5B080AA00

5B080CA00

5B080FA02

5B080GA00

(57)【要約】

【課題】既存のデザインをモチーフとしたバリエーションのデザインを生成する場合において、素材感が失われないようにする。
【解決手段】対象形状の三次元情報から抽出した高周波数成分を用いて、前記対象形状における素材の特徴を表す素材情報を生成する素材生成部と、前記対象形状の三次元情報から抽出した低周波数成分を用いて、前記対象形状におけるデザインの特徴を有するバリエーションデザインを生成するバリエーションデザイン生成部と、前記バリエーションデザインに前記素材情報が合成された、前記対象形状の特徴を有するバリエーション形状の三次元情報を生成する立体模様生成部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象形状の三次元情報から抽出した高周波数成分を用いて、前記対象形状における素材の特徴を表す素材情報を生成する素材生成部と、
前記対象形状の三次元情報から抽出した低周波数成分を用いて、前記対象形状におけるデザインの特徴を有するバリエーションデザインを生成するバリエーションデザイン生成部と、
前記バリエーションデザインに前記素材情報が合成された、前記対象形状の特徴を有するバリエーション形状の三次元情報を生成する立体模様生成部と、
を備える生成システム。

【請求項2】

前記立体模様生成部は、互いに異なる複数の前記バリエーションデザインのそれぞれに同じ前記素材情報が合成された、互いに異なる複数の前記バリエーション形状のそれぞれの三次元情報を生成する、
請求項１に記載の生成システム。

【請求項3】

前記高周波数成分を用いて、前記対象形状における素材の特徴を表す三次元情報が二次元画像における画像情報に変換された素材画像の画像情報を、前記素材情報として生成する素材処理部と
前記低周波数成分の特徴を示す三次元情報を、二次元画像における画像情報に変換することによって生成された対象画像の特徴を学習した学習済画像生成器を生成する学習部と、
を更に備え、
前記素材生成部は、前記素材処理部によって生成された画像情報を用いて前記素材画像を生成し、
前記バリエーションデザイン生成部は、学習済画像生成器を用いてバリエーション画像を生成し、
前記立体模様生成部は、前記バリエーション画像に、前記素材画像を合成することによって生成された合成画像における画像情報を、立体形状における三次元情報に変換することによって、前記バリエーション形状の三次元情報を生成する、
請求項１に記載の生成システム。

【請求項4】

コンピュータが行う生成方法であって、
素材生成部が、対象形状の三次元情報から抽出した高周波数成分を用いて、前記対象形状における素材の特徴を表す素材情報を生成し、
バリエーションデザイン生成部が、前記対象形状の三次元情報から抽出した低周波数成分を用いて、前記対象形状におけるデザインの特徴を有するバリエーションデザインを生成し、
立体模様生成部が、前記バリエーションデザインに前記素材情報が合成された、前記対象形状の特徴を有するバリエーション形状の三次元情報を生成する、
生成方法。

【請求項5】

コンピュータに、
対象形状の三次元情報から抽出した高周波数成分を用いて、前記対象形状における素材の特徴を表す素材情報を生成させ、
前記対象形状の三次元情報から抽出した低周波数成分を用いて、前記対象形状におけるデザインの特徴を有するバリエーションデザインを生成させ、
前記バリエーションデザインに前記素材情報が合成された、前記対象形状の特徴を有するバリエーション形状の三次元情報を生成させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生成システム、生成方法、及びプログラムに関する。

【背景技術】

【0002】

建築外装、床、天井などに用いられるパネル等の建築資材の表面に立体模様を生成する技術がある（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７－３０９００１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、同一のパネルを大面積に設置した際には全体として模様が単調になる。既存のデザインをモチーフとした創作性が認められるようなバリエーションのデザインを生成する手法として、機械学習を利用する手法が考えられる。機械学習を利用する手法では、既存のデザインの特徴を有する訓練データを大量に学習させることによりバリエーションのデザインを生成することが可能となる。しかし、このような手法で生成したバリエーションのデザインにおいて素材感が失われてしまう場合があった。

【0005】

上述の課題を鑑み、本発明は、既存のデザインをモチーフとしたバリエーションのデザインを生成する場合において、素材感が失われないようにすることができる生成システム、生成方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様にかかる生成システムは、対象形状の三次元情報から抽出した高周波数成分を用いて、前記対象形状における素材の特徴を表す素材情報を生成する素材生成部と、前記対象形状の三次元情報から抽出した低周波数成分を用いて、前記対象形状におけるデザインの特徴を有するバリエーションデザインを生成するバリエーションデザイン生成部と、前記バリエーションデザインに前記素材情報が合成された、前記対象形状の特徴を有するバリエーション形状の三次元情報を生成する立体模様生成部と、を備える。

【0007】

本発明の一態様にかかる生成方法は、コンピュータが行う生成方法であって、素材生成部が、対象形状の三次元情報から抽出した高周波数成分を用いて、前記対象形状における素材の特徴を表す素材情報を生成し、バリエーションデザイン生成部が、前記対象形状の三次元情報から抽出した低周波数成分を用いて、前記対象形状におけるデザインの特徴を有するバリエーションデザインを生成し、立体模様生成部が、前記バリエーションデザインに前記素材情報が合成された、前記対象形状の特徴を有するバリエーション形状の三次元情報を生成する。

【0008】

本発明の一態様にかかるプログラムは、コンピュータに、対象形状の三次元情報から抽出した高周波数成分を用いて、前記対象形状における素材の特徴を表す素材情報を生成させ、前記対象形状の三次元情報から抽出した低周波数成分を用いて、前記対象形状におけるデザインの特徴を有するバリエーションデザインを生成させ、前記バリエーションデザインに前記素材情報が合成された、前記対象形状の特徴を有するバリエーション形状の三次元情報を生成させるプログラムである。

【発明の効果】

【0009】

本発明によれば、既存のデザインをモチーフとしたバリエーションのデザインを生成する場合において、素材感が失われないようにすることができる。

【図面の簡単な説明】

【0010】

【図1】実施形態にかかる生成システム１の構成例を示すブロック図である。

【図2】実施形態にかかるｚ情報色彩情報対応テーブル１５の例を示す図である。

【図3】実施形態にかかる素材画像の例を示す図である。

【図4】実施形態にかかるバリエーション画像の例を示す図である。

【図5】実施形態にかかる合成画像の例を示す図である。

【図6】実施形態にかかる色彩情報ｚ情報対応テーブル２４の例を示す図である。

【図7】実施形態にかかるバリエーション形状の例を示す図である。

【図8】実施形態にかかるバリエーション形状の例を示す図である。

【図9】実施形態にかかる生成システム１が行う処理の流れを示すシーケンス図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について図面を参照しながら説明する。

【0012】

＜生成システム１の構成＞
図１は、実施形態にかかる生成システム１の概要を説明する図である。生成システム１は、例えば、学習装置１０と、生成装置２０を備える。

【0013】

以下では、生成システム１が、学習装置１０と、生成装置２０の二つの装置によって構成される場合を例に説明するが、これに限定されることはなく、生成システム１が、学習装置１０及び生成装置２０の機能を備える１の装置によって実現されてもよい。

【0014】

学習装置１０は、コンピュータである。学習装置１０として、例えば、サーバ装置、ＰＣ（Personal Computer）、クラウド、タブレット端末等を適用することができる。学習装置１０には、デザイン拡張対象の三次元情報が入力される。

【0015】

デザイン拡張対象は、デザインを拡張する対象である。ここでのデザインを拡張するとは、そのデザインをモチーフとして、そのデザインの特徴を有し、且つ単なる模倣ではなく創作性が認められるようなバリエーションのデザインを生成することである。

【0016】

以下の説明では、デザイン拡張対象が、建築外装、床、天井などに用いられるパネル等の建築資材の表面に生成する三次元形状である立体模様である場合を例示して説明する。しかしながらこれに限定されることはなく、任意の立体形状をデザイン拡張対象とすることが可能である。

【0017】

学習装置１０は、機械学習の手法を用いて、デザイン拡張対象とする三次元形状（以下、対象形状という）の特徴を学習させた学習済モデルを生成する。これにより、実施形態の生成システム１では、学習装置１０が生成した学習済モデルを用いて、対象形状をモチーフとして、創作性を有するバリエーションのデザインを生成することができる。

【0018】

本実施形態では、学習済モデルに、対象形状におけるデザインの特徴を学習させる場合において、対象形状に含まれる高周波数による空間変化（以下、高周波数成分という）を学習させずに、対象形状に含まれる低周波数による空間変化（以下、低周波数成分という）を学習させるようにした。つまり、学習装置１０は、対象形状に含まれる低周波数成分を抽出し、抽出した低周波数成分からなる立体模様の特徴を用いて学習済モデルを生成するようにした。

【0019】

これは、一般に、人間の目は、低い周波数の変化については高い感度で認識することができる一方で、高い周波数の変化については感度が鈍くなる傾向にあるためである。対象形状において、人間の目に認識されやすい低周波数成分からなるデザインの特徴を学習させることにより、創作性やデザインの差異が認識され易くなるようなバリエーションのデザインを生成することが可能となる。

【0020】

しかしながら、低周波数成分からなる立体模様の特徴を用いて学習済モデルを生成した場合、学習済モデルが生成するバリエーションのデザインにおいて、素材の特徴が失われてしまう場合があった。

【0021】

このような課題に対し、発明者等は、対象形状にける高周波数成分が、対象形状における素材感を特徴づける要因の１つであることに着目し、素材感が失われたバリエーションのデザインに素材感を加える方法を発明した。

【0022】

具体的には、学習装置１０は、対象形状に含まれる高周波数成分を抽出し、抽出した高周波数成分からなる立体模様の特徴を用いて素材の特徴を示す素材情報を生成するようにした。これにより、バリエーションのデザインに素材情報を合成することができ、バリエーションのデザインに素材感を加えることが可能となる。

【0023】

また、学習装置１０は、素材の特徴を有する多数のデザインを生成することなく、１つの素材情報を生成するようにした。高い周波数については人間の目が認識する感度が低い傾向にあるためである。例えば、多数のバリエーションのデザインに、１つの共通する素材特徴を合成した場合、人間の目が高い感度で認識することができるバリエーションのデザインが異なるデザインを有することから、互いに異なるデザインであると認識される。一方、高周波数成分については感度が鈍いことから、バリエーションのデザインのそれぞれに、全く同じ素材情報を合成しても、合成後のデザインのそれぞれが同じデザインであると認識されることはほとんどない。これにより、素材情報を生成する処理の増大を抑えつつ、互いに異なるバリエーションのデザインのそれぞれに、素材感を加えることが可能となる。

【0024】

生成装置２０は、コンピュータである。生成装置２０として、例えば、サーバ装置、ＰＣ、クラウド、タブレット端末等を適用することができる。生成装置２０には、学習装置１０によって生成された学習済モデルの情報、及び素材情報が入力される。生成装置２０は、学習済モデルを用いてバリエーションのデザインを生成し、生成したバリエーションのデザインに、素材情報を合成することによって、素材感を有するバリエーションのデザインを生成する。

【0025】

＜学習装置１０の構成＞
図１に示すように、学習装置１０は、例えば、取得部１１と、素材処理部１２と、バリエーションデザイン処理部１３と、ｚ情報色彩情報対応テーブル１５とを備える。取得部１１は、対象形状における立体模様の三次元情報を取得する。立体模様の三次元情報は、例えば、三軸のｘｙｚ座標系によって表現された三次元情報であって、ｘｙ平面にある立体模様の位置座標に、ｚ軸方向の高さ情報が対応づけられた情報である。取得部１１は、取得した三次元情報を、素材処理部１２、及びバリエーションデザイン処理部１３に出力する。

【0026】

素材処理部１２は、素材情報を生成する。素材情報は、対象形状における素材の特徴を示す情報である。素材処理部１２は、取得部１１から三次元情報を取得し、取得した三次元情報から高周波数成分を抽出する。例えば、素材処理部１２は、対象形状における所定の方向に沿った高さの変化特性が特定の周波数以上であるものを、高周波数成分として抽出する。

【0027】

素材処理部１２は、抽出した高周波数成分を用いて素材情報を生成する。例えば、素材処理部１２は、素材感を示すパラメータを決定する。素材感を示すパラメータは、例えば、高さ、長さ、及びピッチ等である。高さは、ｚ軸方向の高さを示す情報である。長さは、その高さが継続する長さである。ピッチは、高さが長さ分継続するような領域が出現する頻度である。

【0028】

例えば、素材処理部１２は、素材感を示すパラメータの候補として、高さ、長さ、及びピッチ等の組合せを複数生成し、その中から人間の目に素材感を感じさせる組合せを決定するようにしてもよい。この場合、例えば、それぞれの組合せにて形状を試作し、試作した形状を複数のユーザに見てもらい、素材感を感じさせるか否かをヒアリングするなどして素材感を感じさせる組合せを決定する。或いは、素材処理部１２は、統計的な手法を用いて素材感を示すパラメータを決定するようにしてもよい。この場合、素材処理部１２は、例えば、高周波数成分のうち、多くの成分が含まれる周波数帯域における平均的な高さ、長さ、及びピッチ等を、素材感を示すパラメータとする。

【0029】

素材処理部１２は、決定した高さ、長さ、及びピッチ等の素材感を示すパラメータを用いて形成される三次元形状を、素材情報として生成する。

【0030】

素材処理部１２は、ｚ情報色彩情報対応テーブル１５を用いて、三次元の素材情報を、二次元の画像情報に変換する。これは、生成装置２０にて、バリエーションのデザインに素材情報を合成する処理に、画像合成の技術を利用するためである。

【0031】

図２は、実施形態にかかるｚ情報色彩情報対応テーブル１５の例を示す図である。図２に示すように、ｚ情報色彩情報対応テーブル１５は、ｚ、Ｒ、Ｇ、Ｂの各項目を有する。ｚには、三次元形状における高さ情報が示される。Ｒ、Ｇ、Ｂのそれぞれには、二次元画像における色彩情報としてのＲＧＢ値が示される。Ｒ、Ｇ、Ｂのそれぞれは、Ｒｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）のそれぞれに対応する。

【0032】

なお、ここでは色彩情報の例としてＲＧＢを用いる場合を例示したが、色彩情報は少なくとも色彩を示す情報であればよく、ＲＧＢ値に限定されることはない。例えば、色彩情報としてＣＭＫＹ体系にて色彩が示される情報が用いられてもよい。

【0033】

素材処理部１２は、三次元の素材情報から、高さ情報を抽出する。素材処理部１２は、抽出した高さ情報に基づいて、ｚ情報色彩情報対応テーブル１５を参照し、高さ情報（ｚ座標値）に対応する色彩情報（ＲＧＢ値）を取得する。素材処理部１２は、三次元情報として示されたｘｙｚ座標のうちのｚ座標値を、そのｚ座標値に対応する色彩情報（ＲＧＢ値）に変換する。これにより、素材処理部１２は、三次元の素材情報として示された素材の特徴が、二次元画像における画像特徴に変換された画像の画像情報を生成する。

【0034】

図３は、実施形態にかかる素材処理部１２が行う処理を説明するための図である。図３には、素材情報を基に生成された素材画像の例が示されている。図３に示すように、素材画像では、三次元情報における高さ情報が色彩情報に変換されている。素材画像において色彩が異なる領域は、三次元形状において高さが異なる領域である。

【0035】

素材処理部１２は、生成した画像情報を、三次元の素材情報に対応する素材画像情報の画像情報として、生成装置２０に送信する。

【0036】

図１の説明に戻り、バリエーションデザイン処理部１３は、画像処理適用部１３０と、学習部１３１と、評価部１３２とを備える。

【0037】

本実施形態では、対象形状の模様の特徴を学習させる学習モデルとして、画像用に開発された既存の学習モデル（以下、画像ＡＩと称する）を利用する。画像ＡＩを利用することによって、立体特徴を学習させる学習モデルを新たに開発する必要がなくなり、開発コストの増大を抑制することが可能となる。

【0038】

本実施形態では、画像ＡＩに模様の特徴を学習させるために、対象形状における模様の特徴を、二次元画像における画像特徴に変換した画像を生成する。

【0039】

具体的に、画像処理適用部１３０は、取得部１１から三次元情報を取得し、取得した三次元情報から低周波数成分を抽出する。例えば、画像処理適用部１３０は、対象形状における所定の方向に沿った高さの変化特性が特定の周波数未満であるものを、低周波数成分として抽出する。

【0040】

画像処理適用部１３０は、抽出した低周波数成分からなる三次元情報を、ｚ情報色彩情報対応テーブル１５を用いて、二次元の画像情報に変換することによって、対象画像を生成する。画像処理適用部１３０が、三次元情報を画像情報に変換する方法は、素材処理部１２が三次元情報を画像情報に変換する方法と同様であるため、その説明を省略する。

【0041】

学習部１３１は、対象画像が有する特徴を学習モデル（画像ＡＩ）に学習させる。これによって、学習部１３１は、対象画像が有する特徴に基づくバリエーション画像を生成する学習済画像生成器（学習済モデル）を生成する。

【0042】

学習部１３１は、学習モデルに学習させる訓練データを生成する。学習部１３１は、対象画像に、画像処理を行うことによって、多数の訓練データを生成する。ここでの画像処理は、例えば、拡大、縮小、変形、切り出し、及び、フィルタ演算によるノイズの除去又は色彩の調整等の処理の何れか、又はこれらの組合せである。多数の訓練データを用いて学習モデルを学習させることによって、学習によって生成される学習済の画像生成器における、画像を生成する精度と速度とを向上させることができる。

【0043】

学習部１３１は、学習モデルに学習させる方法として、例えば、ＧＡＮ（Generative Adversarial Network）などと称される敵対的生成ネットワークを用いる。ＧＡＮは、例えば、画像を生成する生成器（Generator）と、画像を識別する識別器（Discriminator）とを備える。ＧＡＮでは、生成器にフェイク画像を生成させ、識別器にフェイク画像と本物の画像との真偽を識別させるように、ネットワークが構築される。このようなネットワークが構築されることによって、識別器は、生成器によって生成されたフェイク画像を見破ろうとして識別の精度が向上するように学習する。一方、生成器は、識別器に見破られないフェイク画像を生成できるように生成の精度が向上するように学習する。したがって、生成器と識別器とが相互作用することによって徐々に、生成器によって生成されたフェイク画像が本物の画像に近くように学習させることができる。

【0044】

ＧＡＮを用いて学習モデルに学習させることによって、訓練データにラベル付けをする必要がなくなる。このため、より少ない労力で、学習モデルに特徴を学習させることが可能となる。

【0045】

例えば、学習部１３１は、デザイン拡張対象に対して、複数種類の三次元情報が得られる場合、それぞれの三次元情報に対応する複数種類の対象画像を用いて、学習済の画像生成器（学習済画像生成器）を生成するＧＡＮを構築する。例えば、学習部１３１は、参考文献１（［令和４年６月１４日検索］、インターネット＜ＵＲＬ：https://arxiv.org/pdf/1812.04948.pdf＞．）で公開されている情報をもとに実装した画像生成器と画像識別器で構成されるＧＡＮを用いて、対象画像の特徴を学習させ、対象画像の特徴が反映された画像を生成する学習済の画像生成器（学習済画像生成器）を生成する。

【0046】

或いは、学習部１３１は、デザイン拡張対象に対して、単一の三次元情報のみが得られる場合、その三次元情報に対応する対象画像を用いて、学習済の画像生成器（学習済画像生成器）を生成するＧＡＮを構築する。例えば、学習部１３１は、参考文献２（［令和４年６月１４日検索］、インターネット＜ＵＲＬ：https://arxiv.org/pdf/1905.01164.pdf＞．）で公開されている情報をもとに実装した画像生成器と画像識別器で構成されるＧＡＮを用いて、対象画像の特徴を学習させることによって、学習済画像生成器を生成する。

【0047】

図４は、実施形態にかかるバリエーション画像の例を示す図である。図４には、学習済画像生成器によって生成された画像の例が示されている。この図の例に示すように、例えば、学習済画像生成器は、互いに異なるバリエーション画像を、複数、生成する。

【0048】

図１に戻り、学習部１３１は、生成した学習済画像生成器を示す情報を、評価部１３２に出力する。

【0049】

評価部１３２は、学習部１３１によって生成された学習済画像生成器を評価する。例えば、評価部１３２は、訓練データには使用していない画像を、評価用の画像として予め準備する。評価部１３２は、学習部１３１によって生成された学習済画像生成器に画像を生成させる。評価部１３２は、学習済画像生成器が生成した画像の精度を導出する。例えば、評価部１３２は、学習済画像生成器が生成した画像が対象画像と類似する度合を、画像の精度として導出する。また、評価部１３２は、学習済画像生成器が画像を生成する速度を導出する。

【0050】

評価部１３２は、学習済画像生成器が生成した画像の精度、及び学習済画像生成器が画像を生成する速度に基づいて、学習済画像生成器を総合的に評価する。例えば、評価部１３２は、学習済画像生成器が、許容できる精度を有する画像を、許容できる速度で生成した場合に、学習済画像生成器が適正であると評価する。一方、評価部１３２は、学習済画像生成器が、許容できる精度を有する画像を生成できなかった場合、及び、許容できる速度で画像を生成できなかった場合、学習済画像生成器が適正でないと評価する。

【0051】

評価部１３２は、学習済画像生成器が適正であると評価した場合、その学習済画像生成器の情報を、生成装置２０に送信する。一方、評価部１３２は、学習済画像生成器が適正でないと評価した場合、学習部１３１に、再度、学習を実行させる。

【0052】

評価部１３２は、評価部１３２によって学習済画像生成器が適正であると評価されるまで、訓練データを変更しながら、繰り返し学習を実行する。学習部１３１は、例えば、拡大、縮小、変形、切り出し、及び、フィルタ演算によるノイズの除去又は色彩の調整等の処理の何れか、又はこれらの組合せにより訓練データを変更し、変更後の訓練データを用いて、再度、学習を実行する。或いは、学習部１３１は、高さ情報を色彩情報に変換する変換度合を変更することにより対象画像を生成する条件を変更し、変更後の対象画像から生成した訓練データを用いて、再度、学習を実行する。学習部１３１は、訓練データの変更と共に、変換度合を変更するようにしてもよい。

【0053】

ｚ情報色彩情報対応テーブル１５は、高さ情報（ｚ情報）に色彩情報を対応づけたテーブルである。ｚ情報色彩情報対応テーブル１５は、学習装置１０が備える記憶部（不図示）に記憶される。学習装置１０が備える記憶部は、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）などの記憶媒体、あるいはこれらの組合せによって構成される。学習装置１０が備える記憶部は、学習装置１０の各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。

【0054】

＜生成装置２０の構成＞
生成装置２０は、例えば、取得部２１と、画像生成部２２と、立体模様生成部２３と、色彩情報ｚ情報対応テーブル２４とを備える。取得部２１は、学習装置１０によって生成された学習済画像生成器を示す情報、及び素材画像の画像情報を取得する。取得部２１は、取得した情報を、画像生成部２２に出力する。

【0055】

画像生成部２２は、素材画像生成部２２０と、バリエーション画像生成部２２１と、画像合成部２２２とを備える。

【0056】

素材画像生成部２２０は、素材画像を生成する。素材画像生成部２２０は、学習装置１０から通知された素材画像の画像情報を用いて、素材画像を生成する。素材画像生成部２２０は、生成した素材画像の画像情報を画像合成部２２２に出力する。

【0057】

バリエーション画像生成部２２１は、バリエーション画像を生成する。バリエーション画像は、学習済画像生成器によって生成される、低周波数成分の特徴を有する画像である。バリエーション画像生成部２２１は、取得部２１から学習済画像生成器を示す情報を取得し、取得した情報に基づいて学習済画像生成器を生成する。バリエーション画像生成部２２１は、生成した学習済画像生成器に、任意の画像生成用パラメータを入力することによって、バリエーション画像を生成する。画像生成部２２は、生成したバリエーション画像の画像情報を画像合成部２２２に出力する。

【0058】

画像合成部２２２は、バリエーション画像に素材画像を合成することによって、合成画像を生成する。取得部１１が２つの画像を合成する方法として既存の画像処理技術を用いた任意の方法が採用されてよい。画像合成部２２２は、生成した合成画像の画像情報を、立体模様生成部２３に出力する。

【0059】

図５は、実施形態にかかる合成画像の例を示す図である。この図の例に示すように、バリエーション画像と素材画像の両方の画像特徴を有する画像が合成画像として生成される。

【0060】

図１に戻り、立体模様生成部２３は、合成画像の画像情報に基づいて、その合成画像における画像特徴を、立体特徴に変換する。これによって、立体模様生成部２３は、合成画像における画像特徴に対応する立体特徴を有する立体模様（バリエーション形状）の三次元情報を生成する。

【0061】

立体模様生成部２３は、色彩情報ｚ情報対応テーブル２４を用いて、合成画像における画像特徴を、バリエーション形状における立体特徴に変換する。

【0062】

図６は、実施形態にかかる色彩情報ｚ情報対応テーブル２４の例を示す図である。図６に示すように、色彩情報ｚ情報対応テーブル２４は、Ｒ、Ｇ、Ｂ、ｚの各項目を有する。Ｒ、Ｇ、Ｂのそれぞれには、ｚ情報色彩情報対応テーブル１５におけるＲ、Ｇ、Ｂの項目と同様に、二次元画像における色彩情報としてのＲＧＢ値が示される。ｚには、ｚ情報色彩情報対応テーブル１５におけるｚの項目と同様に、三次元形状における高さ情報が示される。

【0063】

立体模様生成部２３は、例えば、画像合成部２２２から取得した画像情報から、色彩情報を抽出する。例えば、立体模様生成部２３は、画像情報における各画素の画素値（例えば、ＲＧＢ値）を、色彩情報として抽出する。立体模様生成部２３は、抽出した色彩情報に基づいて、色彩情報ｚ情報対応テーブル２４を参照し、色彩情報（ＲＧＢ値）に対応する高さ情報（ｚ座標値）を取得する。立体模様生成部２３は、合成画像における各画素の色彩情報（ＲＧＢ値）を、その色彩情報に対応する高さ情報（ｚ座標値）に変換する。これにより、立体模様生成部２３は、合成画像における画像特徴を、バリエーション形状における立体特徴に変換する。すなわち、立体模様生成部２３は、対象形状における立体特徴を有し、且つ、素材感を有するバリエーション形状の三次元情報を生成する。

【0064】

立体模様生成部２３は、生成した三次元情報を出力する。例えば、立体模様生成部２３は、ディスプレイに三次元情報を出力することによって、バリエーション形状の三次元形状を表示する。或いは、立体模様生成部２３は、３Ｄプリンタに三次元情報を出力することによって、バリエーション形状の三次元形状を生成する。

【0065】

色彩情報ｚ情報対応テーブル２４は、色彩情報に高さ情報（ｚ情報）を対応づけたテーブルである。色彩情報ｚ情報対応テーブル２４は、生成装置２０が備える記憶部（不図示）に記憶される。生成装置２０が備える記憶部は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＡＭ、ＲＯＭなどの記憶媒体、あるいはこれらの組合せによって構成される。生成装置２０が備える記憶部は、生成装置２０の各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。

【0066】

図７は、バリエーション形状の例を示す図である。図７に示すように、バリエーション形状においては、バリエーション画像における色彩情報が、バリエーション形状における高さ情報に変換されている。

【0067】

ここで、上述した実施形態において、バリエーション形状における素材情報を加える度合を調整するようにしてもよい。

【0068】

素材画像生成部２２０は、合成画像を生成する場合において、素材画像を合成する割合を変化させた複数の合成画像を生成する。例えば、バリエーション画像に対し、素材画像を１０％の割合で合成させた合成画像Ａ、バリエーション画像に対し、素材画像を１５％の割合で合成させた合成画像Ｂ、バリエーション画像に対し、素材画像を２０％の割合で合成させた合成画像Ｃ、バリエーション画像に対し、素材画像を２５％の割合で合成させた合成画像Ｄを生成する。

【0069】

立体模様生成部２３は、合成画像Ａ～Ｄのそれぞれに対応するバリエーション形状Ａ～Ｄを生成する。バリエーション形状Ａ～Ｄのそれぞれの三次元情報に基づいて、デジタルモックアップＡ～Ｄを生成する。デジタルモックアップＡ～Ｄをディスプレイに表示し、素材感を有するデジタルモックアップを選定する。また、必要に応じて、３Ｄプリンタ等を用いて現物モックアップを生成し、原物と並べて見た目を観察したり、日光を当てた場合における反射光の見え方を比較したりしてもよい。原物のイメージが損なわれることなく、全体として印象がよく見える加減（素材情報を加える度合）を選定することが望ましい。例えば、図７に示すバリエーション形状の例では、最終的に、素材情報を加える割合を、１９［％］とした。

【0070】

また、立体模様生成部２３は、色彩情報ｚ情報対応テーブル２４における、高さ情報と、色彩情報の対応関係を形状の種別等に応じて調整するようにしてもよい。

【0071】

図８は、実施形態のバリエーション形状の例を示す図である。図８には、３Ｄプリンタを用いて生成した現物モックアップの例が示されている。

【0072】

図８の一番左側には、合成画像におけるＲＧＢ値を高さ情報へ変換する場合における高さの最大値を７［ｍｍ］とした場合における現物モックアップの例が示されている。
図８の左から二番目には、合成画像におけるＲＧＢ値を高さ情報へ変換する場合における高さの最大値を１０［ｍｍ］とした場合における現物モックアップの例が示されている。
図８の左から三番目には、合成画像におけるＲＧＢ値を高さ情報へ変換する場合における高さの最大値を１２［ｍｍ］とした場合における現物モックアップの例が示されている。
図８の一番右側には、合成画像におけるＲＧＢ値を高さ情報へ変換する場合における高さの最大値を１５［ｍｍ］とした場合における現物モックアップの例が示されている。

【0073】

このような、合成画像におけるＲＧＢ値を高さ情報へ変換する度合を変更した複数の現物モックアップを生成し、原物と並べて見た目を観察したり、日光を当てた場合における反射光の見え方を比較した。原物のイメージが損なわれることなく、全体として印象がよく見える加減（素材情報を加える度合）を選定することが望ましい。この図の例では、最終的に、合成画像におけるＲＧＢ値を高さ情報へ変換する場合における高さの最大値を１２［ｍｍ］とすることとした。

【0074】

<生成システム１が行う処理の流れ＞
図９は、実施形態にかかる生成システム１が行う処理の流れを示すシーケンス図である。まず、学習装置１０は、対象形状の三次元情報を取得する（ステップＳ１０）。

【0075】

学習装置１０は、対象形状から高周波数成分を抽出し（ステップＳ１１）、抽出した高周波数成分を用いて素材情報を生成する（ステップＳ１２）。学習装置１０は、例えば、高周波数成分の特性を統計処理することによって、素材感を示す高さ、長さ、及びピッチ等を示す素材パラメータを設定することによって素材情報を生成する。学習装置１０は、素材画像の画像情報を生成する（ステップＳ１３）。学習装置１０は、素材情報を示す三次元情報における高さ情報を、素材画像における色彩情報に変換することによって、素材画像の画像情報を生成する。

【0076】

また、学習装置１０は、対象形状から低周波数成分を抽出し（ステップＳ１４）、抽出した低周波数成分を用いて対象画像の画像情報を生成する（ステップＳ１５）。学習装置１０は、低周波数成分からなる三次元情報における高さ情報を、対象画像における色彩情報に変換することによって、対象画像の画像情報を生成する。学習装置１０は、ＧＡＮによる機械学習を用いて、対象画像における画像特徴を学習させた画像生成器を生成する（ステップＳ１６）。学習装置１０は、生成した画像生成器の性能を評価する（ステップＳ１７）。学習装置１０は、画像生成器の性能が適正であるか否かを判定する（ステップＳ１８）。

【0077】

学習装置１０は、画像生成器の性能が適正でない場合、対象画像を生成する条件を変更し（ステップＳ１９)、ステップＳ１６に戻って、変更後の条件で生成した対象画像の特徴を学習させることによって、再度、画像生成器を生成する。学習装置１０は、例えば、拡大、縮小、変形、切り出し、及び、フィルタ演算によるノイズの除去又は色彩の調整等の処理の何れか、又はこれらの組合せにより訓練データを変更し、変更後の訓練データを用いて学習を実行することによって、再度、画像生成器を生成する。

【0078】

学習装置１０は、画像生成器の性能が適正である場合、画像生成器を学習済画像生成器とし、学習済画像生成器を示す情報、及び、ステップＳ１３で生成した素材画像の画像情報を生成装置２０に送信する（ステップＳ２０）。

【0079】

生成装置２０は、学習済画像生成器を示す情報、及び、素材画像の画像情報を、学習装置１０から受信する（ステップＳ２１）。生成装置２０は、学習装置１０から受信した素材画像の画像情報を用いて、素材画像を生成する（ステップＳ２２）。また、生成装置２０は、学習装置１０から受信した学習済画像生成器を示す情報を用いて学習済画像生成器を生成する（ステップＳ２３）。生成装置２０は、学習済画像生成器を用いて、バリエーション画像を生成する（ステップＳ２４）。

【0080】

生成装置２０は、バリエーション画像に、素材画像を合成することによって、合成画像を生成する（ステップＳ２５）。生成装置２０は、合成画像における色彩情報を、バリエーション形状における高さ情報に変換することによって、バリエーション形状を生成する（ステップＳ２６）。生成装置２０は、生成したバリエーション形状の三次元情報を出力する（ステップＳ２７）。

【0081】

上述した実施形態では、画像（素材画像、及びバリエーション画像）を介して、三次元形状（バリエーション形状）を生成する場合を例示して説明したが、これに限定されない。少なくとも、何らかのバリエーションのデザインに、素材情報を合成できればよい。例えば、任意の方法で生成されたバリエーション形状に、三次元の素材情報を合成するように構成されてもよい。

【0082】

以上説明したように、実施形態の生成システム１は、素材画像生成部２２０（素材生成部の一例）と、バリエーション画像生成部２２１（バリエーションデザイン生成部の一例）にと、立体模様生成部２３を備える。素材画像生成部２２０は、素材画像の画像情報（素材情報の一例）を生成する。素材情報は、対象形状の三次元情報から抽出した高周波数成分を用いて生成された情報であって、対象形状における素材の特徴を表す情報である。バリエーション画像生成部２２１は、バリエーション画像（バリエーションデザインの一例）を生成する。バリエーションデザインは、対象形状の三次元情報から抽出した低周波数成分を用いて生成されたデザインであって、対象形状におけるデザインの特徴を有するデザインを示す情報である。立体模様生成部２３は、バリエーション形状の三次元情報を生成する。バリエーション形状は、バリエーションのデザイン（バリエーションデザイン）に素材情報が合成されることによって生成された形状である。

【0083】

これにより、実施形態の生成システム１では、バリエーションのデザインに素材感を加えることが可能となる。このため、低周波数成分の特徴を有するバリエーションのデザインにおいて素材感が失われてしまった場合であっても、バリエーションのデザインに素材特徴を合成することができる。したがって、既存のデザインをモチーフとしたバリエーションのデザインを生成する場合において、素材感が失われないようにすることができる。

【0084】

また、実施形態の生成システム１では、立体模様生成部２３は、互いに異なる複数のバリエーションのデザインのそれぞれに、同じ素材情報を合成することによって、互いに異なる複数のバリエーション形状のそれぞれの三次元情報を生成する。一般に、高い周波数については人間の目が認識する感度が低い傾向にあるため、バリエーションのデザインのそれぞれに、全く同じ素材情報を合成しても合成後のデザインのそれぞれが同一のデザインであると認識されることはほとんどない。したがって、実施形態の生成システム１では、素材情報を生成する処理の増大を抑えつつ、互いに異なるバリエーションのデザインのそれぞれに、素材感を加えることが可能となる。

【0085】

また、実施形態の生成システム１では、素材処理部１２と学習部１３１とを更に備える。素材処理部１２は、素材画像の画像情報を、前記素材情報として生成する。素材画像は、高周波数成分を用いて、対象形状における素材の特徴を表す三次元情報が二次元画像における画像情報に変換された画像である。学習部１３１は、対象画像の特徴を学習した学習済画像生成器を、前記学習済モデルとして生成する。対象画像は、低周波数成分の特徴を示す三次元情報を、二次元画像における画像情報に変換することによって生成された画像である。素材画像生成部２２０は、素材処理部１２によって生成された画像情報を用いて、素材画像を生成する。バリエーション画像生成部２２１は、学習済画像生成器を用いてバリエーション画像を生成する。立体模様生成部２３は、合成画像における画像情報を、立体形状における三次元情報に変換することによって、バリエーション形状の三次元情報を生成する。合成画像は、バリエーション画像に、素材画像が合成された画像である。これにより、実施形態の生成システム１では、画像を介して、バリエーションのデザインに素材感を容易に加えることができる。

【0086】

上述した実施形態における生成システム１、学習装置１０、及び生成装置２０の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0087】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0088】

１…生成システム、１０…学習装置、１１…取得部、１２…素材処理部、１３…バリエーションデザイン処理部、１３０…画像処理適用部、１３１…学習部、１３２…評価部、１５…ｚ情報色彩情報対応テーブル、２０…生成装置、２１…取得部、２２…画像生成部、２２０…素材画像生成部、２２１…バリエーション画像生成部、２２２…画像合成部、２３…立体模様生成部、２４…色彩情報ｚ情報対応テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】