特開 2024-13009 生成システム、学習装置、生成装置、生成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024013009

(43)【公開日】2024-01-31

(54)【発明の名称】生成システム、学習装置、生成装置、生成方法、及びプログラム

(51)【国際特許分類】

   G06F 30/27 20200101AFI20240124BHJP

   G06T 19/20 20110101ALI20240124BHJP

   G06F 30/10 20200101ALI20240124BHJP

【ＦＩ】

G06F30/27

G06T19/20

G06F30/10 100

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022114900

(22)【出願日】2022-07-19

(71)【出願人】

【識別番号】000002299

【氏名又は名称】清水建設株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100161506

【弁理士】

【氏名又は名称】川渕 健一

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(72)【発明者】

【氏名】渡邊 基史

(72)【発明者】

【氏名】竹内 萌

(72)【発明者】

【氏名】古川 慧

(72)【発明者】

【氏名】佐竹 浩芳

【テーマコード（参考）】

5B050

5B146

【Ｆターム（参考）】

5B050BA13

5B050EA09

5B050EA28

5B146AA04

5B146AA12

5B146DC03

5B146EA01

5B146EA06

5B146EA15

(57)【要約】

【課題】既存のデザインをモチーフとしたバリエーションのデザインを容易に生成する。
【解決手段】対象形状の三次元情報を取得する取得部と、前記対象形状における立体特徴を二次元画像における画像特徴に変換することによって前記対象形状における立体特徴に対応する画像特徴を有する対象画像の画像情報を生成する画像処理適用部と、前記対象画像が有する特徴を学習モデルに学習させることによって、前記対象画像が有する特徴に基づくバリエーション画像を生成する学習済画像生成器を生成する学習部と、前記学習済画像生成器を用いて生成した前記バリエーション画像の画像情報に基づいて、前記バリエーション画像における画像特徴を、立体特徴に変換することによって、前記バリエーション画像における画像特徴に対応する立体特徴を有するバリエーション形状の三次元情報を生成する立体模様生成部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象形状の三次元情報を取得する取得部と、
前記対象形状の三次元情報に基づいて、前記対象形状における立体特徴を、二次元画像における画像特徴に変換することによって前記対象形状における立体特徴に対応する画像特徴を有する対象画像の画像情報を生成する画像処理適用部と、
前記対象画像が有する特徴を学習モデルに学習させることによって、前記対象画像が有する特徴に基づくバリエーション画像を生成する学習済画像生成器を生成する学習部と、
前記学習済画像生成器を用いて前記バリエーション画像を生成する画像生成部と、
前記バリエーション画像の画像情報に基づいて、前記バリエーション画像における画像特徴を、立体特徴に変換することによって、前記バリエーション画像における画像特徴に対応する立体特徴を有するバリエーション形状の三次元情報を生成する立体模様生成部と、
を備える生成システム。

【請求項2】

前記画像処理適用部は、前記対象形状の三次元情報のうちの前記対象形状における高さ情報を、二次元画像における色彩情報に変換することによって、立体特徴を画像特徴に変換し、
前記立体模様生成部は、前記バリエーション画像における色彩情報を、前記バリエーション形状における高さ情報に変換することによって、画像特徴を立体特徴に変換する、
請求項１に記載の生成システム。

【請求項3】

前記学習部は、前記対象画像に画像処理を行うことによって生成した複数の画像を、前記学習モデルに学習させる訓練データとする、
請求項１に記載の生成システム。

【請求項4】

前記学習部は、敵対的ネットワークを用いて前記学習モデルを学習させる、
請求項１に記載の生成システム。

【請求項5】

前記画像処理適用部は、前記学習部によって生成された前記学習済画像生成器の性能が適正でない場合、前記対象形状における立体特徴を前記対象画像における画像特徴に変換する度合を変更し、変更後の前記対象画像が有する特徴を学習モデルに学習させることによって、前記学習済画像生成器を、再度、生成する、
請求項１に記載の生成システム。

【請求項6】

対象形状の三次元情報を取得する取得部と、
前記対象形状の三次元情報に基づいて、前記対象形状における立体特徴を、二次元画像における画像特徴に変換することによって前記対象形状における立体特徴に対応する画像特徴を有する対象画像の画像情報を生成する画像処理適用部と、
前記対象画像が有する特徴を学習モデルに学習させることによって、前記対象画像が有する特徴に基づくバリエーション画像を生成する学習済画像生成器を生成する学習部と、
を備える学習装置。

【請求項7】

学習済画像生成器を用いてバリエーション画像を生成する画像生成部と、
前記バリエーション画像の画像情報に基づいて、前記バリエーション画像における画像特徴を、立体特徴に変換することによって、前記バリエーション画像における画像特徴に対応する立体特徴を有するバリエーション形状の三次元情報を生成する立体模様生成部と、
を備え、
前記学習済画像生成器は、対象画像が有する特徴を学習モデルに学習させることによって、前記対象画像が有する特徴に基づく画像を前記バリエーション画像として生成する画像生成器であり、
前記対象画像は、対象形状の三次元情報に基づいて、前記対象形状における立体特徴を、二次元画像における画像特徴に変換することによって生成された、前記対象形状における立体特徴に対応する画像特徴を有する画像である、
生成装置。

【請求項8】

コンピュータが行う生成方法であって、
取得部が、対象形状の三次元情報を取得し、
画像処理適用部が、前記対象形状の三次元情報に基づいて、前記対象形状における立体特徴を、二次元画像における画像特徴に変換することによって前記対象形状における立体特徴に対応する画像特徴を有する対象画像の画像情報を生成し、
学習部が、前記対象画像が有する特徴を学習モデルに学習させることによって、前記対象画像が有する特徴に基づくバリエーション画像を生成する学習済画像生成器を生成し、
画像生成部が、前記学習済画像生成器を用いて前記バリエーション画像を生成し、
立体模様生成部が、前記バリエーション画像の画像情報に基づいて、前記バリエーション画像における画像特徴を、立体特徴に変換することによって、前記バリエーション画像における画像特徴に対応する立体特徴を有するバリエーション形状の三次元情報を生成する、
生成方法。

【請求項9】

コンピュータに、
対象形状の三次元情報を取得させ、
前記対象形状の三次元情報に基づいて、前記対象形状における立体特徴を、二次元画像における画像特徴に変換することによって前記対象形状における立体特徴に対応する画像特徴を有する対象画像の画像情報を生成させ、
前記対象画像が有する特徴を学習モデルに学習させることによって、前記対象画像が有する特徴に基づくバリエーション画像を生成する学習済画像生成器を生成させ、
前記学習済画像生成器を用いて前記バリエーション画像を生成させ、
前記バリエーション画像の画像情報に基づいて、前記バリエーション画像における画像特徴を、立体特徴に変換することによって、前記バリエーション画像における画像特徴に対応する立体特徴を有するバリエーション形状の三次元情報を生成させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生成システム、学習装置、生成装置、生成方法、及びプログラムに関する。

【背景技術】

【0002】

建築外装、床、天井などに用いられるパネル等の建築資材の表面に立体模様を生成する技術がある（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７－３０９００１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、同一のパネルを大面積に設置した際には全体として模様が単調になる。既存のデザインをモチーフとして、創作性が認められるようなデザインを生み出そうとすると、例えば、既存のデザインから多数のデザインを試作し、試作したデザインを個別に改良する等、多大な労力を要する。労力を軽減するための方法として、既存のデザインをデータベースとして大量に蓄積してデザインを比較できるようにする仕組みを構築したり、デザインの特徴を数値化するなどデザインを客観的に評価できる指標や方法を整備したりして人間が判断するという方法も考えられるが、そのような方法には限界がある。

【0005】

上述の課題を鑑み、本発明は、既存のデザインをモチーフとしたバリエーションのデザインを容易に生成することができる生成システム、学習装置、生成装置、生成方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様にかかる生成システムは、対象形状の三次元情報を取得する取得部と、前記対象形状の三次元情報に基づいて、前記対象形状における立体特徴を、二次元画像における画像特徴に変換することによって前記対象形状における立体特徴に対応する画像特徴を有する対象画像の画像情報を生成する画像処理適用部と、前記対象画像が有する特徴を学習モデルに学習させることによって、前記対象画像が有する特徴に基づくバリエーション画像を生成する学習済画像生成器を生成する学習部と、前記学習済画像生成器を用いて前記バリエーション画像を生成する画像生成部と、前記バリエーション画像の画像情報に基づいて、前記バリエーション画像における画像特徴を、立体特徴に変換することによって、前記バリエーション画像における画像特徴に対応する立体特徴を有するバリエーション形状の三次元情報を生成する立体模様生成部と、を備える。

【0007】

本発明の一態様にかかる学習装置は、対象形状の三次元情報を取得する取得部と、前記対象形状の三次元情報に基づいて、前記対象形状における立体特徴を、二次元画像における画像特徴に変換することによって前記対象形状における立体特徴に対応する画像特徴を有する対象画像の画像情報を生成する画像処理適用部と、前記対象画像が有する特徴を学習モデルに学習させることによって、前記対象画像が有する特徴に基づくバリエーション画像を生成する学習済画像生成器を生成する学習部と、を備える。

【0008】

本発明の一態様にかかる生成装置は、学習済画像生成器を用いてバリエーション画像を生成する画像生成部と、前記バリエーション画像の画像情報に基づいて、前記バリエーション画像における画像特徴を、立体特徴に変換することによって、前記バリエーション画像における画像特徴に対応する立体特徴を有するバリエーション形状の三次元情報を生成する立体模様生成部と、を備え、前記学習済画像生成器は、対象画像が有する特徴を学習モデルに学習させることによって、前記対象画像が有する特徴に基づく画像を前記バリエーション画像として生成する画像生成器であり、前記対象画像は、対象形状の三次元情報に基づいて、前記対象形状における立体特徴を、二次元画像における画像特徴に変換することによって生成された、前記対象形状における立体特徴に対応する画像特徴を有する画像である。

【0009】

本発明の一態様にかかる生成方法は、コンピュータが行う生成方法であって、取得部が、対象形状の三次元情報を取得し、画像処理適用部が、前記対象形状の三次元情報に基づいて、前記対象形状における立体特徴を、二次元画像における画像特徴に変換することによって前記対象形状における立体特徴に対応する画像特徴を有する対象画像の画像情報を生成し、学習部が、前記対象画像が有する特徴を学習モデルに学習させることによって、前記対象画像が有する特徴に基づくバリエーション画像を生成する学習済画像生成器を生成し、画像生成部が、前記学習済画像生成器を用いて前記バリエーション画像を生成し、立体模様生成部が、前記バリエーション画像の画像情報に基づいて、前記バリエーション画像における画像特徴を、立体特徴に変換することによって、前記バリエーション画像における画像特徴に対応する立体特徴を有するバリエーション形状の三次元情報を生成する。

【0010】

本発明の一態様にかかるプログラムは、コンピュータに、対象形状の三次元情報を取得させ、前記対象形状の三次元情報に基づいて、前記対象形状における立体特徴を、二次元画像における画像特徴に変換することによって前記対象形状における立体特徴に対応する画像特徴を有する対象画像の画像情報を生成させ、前記対象画像が有する特徴を学習モデルに学習させることによって、前記対象画像が有する特徴に基づくバリエーション画像を生成する学習済画像生成器を生成させ、前記学習済画像生成器を用いて前記バリエーション画像を生成させ、前記バリエーション画像の画像情報に基づいて、前記バリエーション画像における画像特徴を、立体特徴に変換することによって、前記バリエーション画像における画像特徴に対応する立体特徴を有するバリエーション形状の三次元情報を生成させる、プログラムである。

【発明の効果】

【0011】

本発明によれば、既存のデザインをモチーフとしたバリエーションのデザインを容易に生成することができる。したがって、既存のデザインをモチーフとして、単なる複製ではない創作性が認められるようなデザインを多大な労力を要することなく大量に生成することが可能となる。

【図面の簡単な説明】

【0012】

【図1】実施形態にかかる生成システム１の構成例を示すブロック図である。

【図2】実施形態にかかるｚ情報色彩情報対応テーブル１５の例を示す図である。

【図3】実施形態にかかる画像処理適用部１２が行う処理を説明するための図である。

【図4】実施形態にかかる画像生成部２２が行う処理を説明するための図である。

【図5】実施形態にかかる画像生成部２２が行う処理を説明するための図である。

【図6】実施形態にかかる色彩情報ｚ情報対応テーブル２４の例を示す図である。

【図7】実施形態にかかる立体模様生成部２３が行う処理を説明するための図である。

【図8】実施形態にかかる生成システム１が行う処理の流れを示すシーケンス図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について図面を参照しながら説明する。

【0014】

＜生成システム１の構成＞
図１は、実施形態にかかる生成システム１の概要を説明する図である。生成システム１は、例えば、学習装置１０と、生成装置２０を備える。

【0015】

以下では、生成システム１が、学習装置１０と、生成装置２０の二つの装置によって構成される場合を例に説明するが、これに限定されることはなく、生成システム１が、学習装置１０及び生成装置２０の機能を備える１の装置によって実現されてもよい。

【0016】

学習装置１０は、コンピュータである。学習装置１０として、例えば、サーバ装置、ＰＣ（Personal Computer）、クラウド、タブレット端末等を適用することができる。学習装置１０には、デザイン拡張対象の三次元情報が入力される。

【0017】

デザイン拡張対象は、デザインを拡張する対象である。ここでのデザインを拡張するとは、そのデザインをモチーフとして、そのデザインの特徴を有し、且つ単なる模倣ではなく創作性が認められるようなバリエーションのデザインを生成することである。

【0018】

以下の説明では、デザイン拡張対象が、建築外装、床、天井などに用いられるパネル等の建築資材の表面に生成する三次元形状である立体模様である場合を例示して説明する。しかしながらこれに限定されることはなく、任意の立体形状をデザイン拡張対象とすることが可能である。

【0019】

学習装置１０は、機械学習の手法を用いて、デザイン拡張対象とする三次元形状（以下、対象形状という）における立体模様の特徴（以下、立体特徴という）を学習させた学習済モデルを生成する。これにより、実施形態の生成システム１では、学習装置１０が生成した学習済モデルを用いて、対象形状における立体模様のバリエーションを生成することができる。

【0020】

本実施形態では、立体特徴を学習させる学習モデルとして、画像用に開発された既存の学習モデル（以下、画像ＡＩと称する）を利用する。画像ＡＩを利用することによって、立体特徴を学習させる学習モデルを新たに開発する必要がなくなり、開発コストの増大を抑制することが可能となる。

【0021】

本実施形態では、画像ＡＩに立体特徴を学習させるために、対象形状における立体特徴を、二次元画像における画像特徴に変換した画像を生成する。

【0022】

具体的に、学習装置１０は、対象形状における三次元情報のうち、高さを示す情報を色彩情報に変換することによって、立体特徴を画像特徴に変換する。例えば、学習装置１０は、対象形状における立体模様を、その三次元情報に基づいてｘｙ平面に投影させた画像を生成する。そして、学習装置１０は、生成した画像における各画素に対応する対象形状の領域におけるｚ軸方向の高さ情報を、変換テーブル（後述する、ｚ情報色彩情報対応テーブル１５）を用いて色彩情報に変換する。こうすることによって、学習装置１０は、対象形状における立体特徴を、二次元画像における画像特徴に変換した画像を生成する。

【0023】

学習装置１０は、このようにして生成した、立体特徴が反映された画像の特徴を、画像ＡＩに学習させることによって、学習済の立体特徴が反映された画像（後述する対象画像）の特徴に基づく画像を生成する学習済画像生成器を生成する。学習装置１０は、学習済画像生成器の情報を生成装置２０に送信する。

【0024】

生成装置２０は、コンピュータである。生成装置２０として、例えば、サーバ装置、ＰＣ、クラウド、タブレット端末等を適用することができる。生成装置２０には、学習装置１０によって生成された学習済画像生成器の情報が入力される。生成装置２０は、学習済画像生成器に、任意の画像生成用パラメータを入力する。学習済画像生成器は、入力された画像生成用パラメータに基づいて、学習済の画像特徴が反映された画像を、バリエーション画像として生成する。

【0025】

生成装置２０は、バリエーション画像における画像特徴を、立体特徴に変換することによって、対象形状における立体模様のバリエーション形状を生成する。

【0026】

具体的に、生成装置２０は、バリエーション画像における画像情報のうちの色彩情報を変換テーブル（後述する、色彩情報ｚ情報対応テーブル２４）を用いて三次元形状の高さを示す情報に変換することによって、画像特徴を立体特徴に変換する。こうすることによって、生成装置２０は、バリエーション画像を介して、対象形状における立体特徴が反映された形状を、バリエーション形状として生成する。これにより、生成装置２０は、対象形状、つまりデザイン拡張対象が有する立体模様の特徴を有し、かつ単なる模倣ではなく創作性が認められるような立体模様を、バリエーション形状として生成することができる。

【0027】

＜学習装置１０の構成＞
図１に示すように、学習装置１０は、例えば、取得部１１と、画像処理適用部１２と、学習部１３と、評価部１４と、ｚ情報色彩情報対応テーブル１５を備える。取得部１１は、対象形状における立体模様の三次元情報を取得する。立体模様の三次元情報は、例えば、三軸のｘｙｚ座標系によって表現された三次元情報であって、ｘｙ平面にある立体模様の位置座標に、ｚ軸方向の高さ情報が対応づけられた情報である。取得部１１は、取得した三次元情報を、画像処理適用部１２に出力する。

【0028】

画像処理適用部１２は、取得部１１から三次元情報を取得し、取得した三次元情報に基づいて、対象形状における立体特徴を二次元画像における画像特徴に変換する。これによって、画像処理適用部１２は、対象形状における立体特徴に対応する画像特徴を有する対象画像の画像情報を生成する。

【0029】

画像処理適用部１２は、ｚ情報色彩情報対応テーブル１５を用いて、対象形状における立体特徴を二次元画像における画像特徴に変換する。

【0030】

図２は、実施形態にかかるｚ情報色彩情報対応テーブル１５の例を示す図である。図２に示すように、ｚ情報色彩情報対応テーブル１５は、ｚ、Ｒ、Ｇ、Ｂの各項目を有する。ｚには、三次元形状における高さ情報が示される。Ｒ、Ｇ、Ｂのそれぞれには、二次元画像における色彩情報としてのＲＧＢ値が示される。Ｒ、Ｇ、Ｂのそれぞれは、Ｒｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）のそれぞれに対応する。

【0031】

なお、ここでは色彩情報の例としてＲＧＢを用いる場合を例示したが、色彩情報は少なくとも色彩を示す情報であればよく、ＲＧＢ値に限定されることはない。例えば、色彩情報としてＣＭＫＹ体系にて色彩が示される情報が用いられてもよい。

【0032】

画像処理適用部１２は、例えば、取得部１１から取得した三次元情報から、高さ情報を抽出する。例えば、画像処理適用部１２は、三次元情報として示されたｘｙｚ座標のうち、ｚ座標に示される値を、高さ情報として抽出する。画像処理適用部１２は、抽出した高さ情報に基づいて、ｚ情報色彩情報対応テーブル１５を参照し、高さ情報（ｚ座標値）に対応する色彩情報（ＲＧＢ値）を取得する。画像処理適用部１２は、三次元情報として示されたｘｙｚ座標のうちのｚ座標値を、そのｚ座標値に対応する色彩情報（ＲＧＢ値）に変換する。これにより、画像処理適用部１２は、対象形状における立体特徴を二次元画像における画像特徴に変換する。すなわち、画像処理適用部１２は、対象形状における立体特徴に対応する画像特徴を有する対象画像の画像情報を生成する。

【0033】

図３は、実施形態にかかる画像処理適用部１２が行う処理を説明するための図である。図３には、画像処理適用部１２が生成した対象画像の例が示されている。図３に示すように、対象画像では、対象形状における高さ情報が色彩情報に変換されている。対象画像において色彩が異なる領域は、対象形状において高さが異なる領域である。

【0034】

なお、上記では、三次元形状における高さ情報を、二次元画像における色彩情報に変換することによって、立体特徴を画像特徴に変換する場合を例示して説明したが、これに限定されることはない。画像処理適用部１２は、少なくとも三次元形状における立体特徴を、その三次元情報に基づいて、画像ＡＩが認識できるような画像特徴に変換すればよい。

【0035】

図１に戻り、画像処理適用部１２は、生成した対象画像の画像情報を、学習部１３に出力する。

【0036】

学習部１３は、対象画像が有する特徴を学習モデルに学習させる。これによって、学習部１３は、対象画像が有する特徴に基づくバリエーション画像を生成する学習済画像生成器を生成する。

【0037】

学習部１３は、学習モデルに学習させる訓練データを生成する。学習部１３は、対象画像に、画像処理を行うことによって、多数の訓練データを生成する。ここでの画像処理は、例えば、拡大、縮小、変形、切り出し、及び、フィルタ演算によるノイズの除去又は色彩の調整等の処理の何れか、又はこれらの組合せである。多数の訓練データを用いて学習モデルを学習させることによって、学習によって生成される学習済の画像生成器における、画像を生成する精度と速度とを向上させることができる。

【0038】

学習部１３は、学習モデルに学習させる方法として、例えば、ＧＡＮ（Generative Adversarial Network）などと称される敵対的生成ネットワークを用いる。ＧＡＮは、例えば、画像を生成する生成器（Generator）と、画像を識別する識別器（Discriminator）とを備える。ＧＡＮでは、生成器にフェイク画像を生成させ、識別器にフェイク画像と本物の画像との真偽を識別させるように、ネットワークが構築される。このようなネットワークが構築されることによって、識別器は、生成器によって生成されたフェイク画像を見破ろうとして識別の精度が向上するように学習する。一方、生成器は、識別器に見破られないフェイク画像を生成できるように生成の精度が向上するように学習する。したがって、生成器と識別器とが相互作用することによって徐々に、生成器によって生成されたフェイク画像が本物の画像に近くように学習させることができる。

【0039】

ＧＡＮを用いて学習モデルに学習させることによって、訓練データにラベル付けをする必要がなくなる。このため、より少ない労力で、学習モデルに特徴を学習させることが可能となる。

【0040】

例えば、学習部１３は、デザイン拡張対象に対して、複数種類の三次元情報が得られる場合、それぞれの三次元情報に対応する複数種類の対象画像を用いて、学習済の画像生成器（学習済画像生成器）を生成するＧＡＮを構築する。例えば、学習部１３は、参考文献１（［令和４年６月１４日検索］、インターネット＜ＵＲＬ：https://arxiv.org/pdf/1812.04948.pdf＞．）で公開されている情報をもとに実装した画像生成器と画像識別器で構成されるＧＡＮを用いて、対象画像の特徴を学習させ、対象画像の特徴が反映された画像を生成する学習済の画像生成器（学習済画像生成器）を生成する。

【0041】

図４は、実施形態にかかる画像生成部２２が行う処理を説明するための図である。図４には、参考文献１で公開されている情報をもとに実装した画像生成器によって生成された画像の例が示されている。例えば、参考文献１で公開されている情報をもとに実装した画像生成器においては、訓練データと同じサイズのバリエーション画像が複数生成される。

【0042】

或いは、学習部１３は、デザイン拡張対象に対して、単一の三次元情報のみが得られる場合、その三次元情報に対応する対象画像を用いて、学習済の画像生成器（学習済画像生成器）を生成するＧＡＮを構築する。例えば、学習部１３は、参考文献２（［令和４年６月１４日検索］、インターネット＜ＵＲＬ：https://arxiv.org/pdf/1905.01164.pdf＞．）で公開されている情報をもとに実装した画像生成器と画像識別器で構成されるＧＡＮを用いて、対象画像の特徴を学習させることによって、学習済画像生成器を生成する。

【0043】

図５は、実施形態にかかる画像生成部２２が行う処理を説明するための図である。図５には、参考文献２で公開されている情報をもとに実装した画像生成器によって生成された画像の例が示されている。例えば、参考文献１で公開されている情報をもとに実装した画像生成器においては、訓練データの画像サイズに依存することなく、任意のサイズのバリエーション画像が複数生成される。

【0044】

図１に戻り、学習部１３は、生成した学習済画像生成器を示す情報を、評価部１４に出力する。

【0045】

評価部１４は、学習部１３によって生成された学習済画像生成器を評価する。例えば、評価部１４は、訓練データには使用していない画像を、評価用の画像として予め準備する。評価部１４は、学習部１３によって生成された学習済画像生成器に、画像を生成させる。評価部１４は、学習済画像生成器が生成した画像の精度を導出する。例えば、評価部１４は、学習済画像生成器が生成した画像が対象画像と類似する度合を、画像の精度として導出する。また、評価部１４は、学習済画像生成器が画像を生成する速度を導出する。

【0046】

評価部１４は、学習済画像生成器が生成した画像の精度、及び学習済画像生成器が画像を生成する速度に基づいて、学習済画像生成器を総合的に評価する。例えば、評価部１４は、学習済画像生成器が、許容できる精度を有する画像を、許容できる速度で生成した場合に、学習済画像生成器が適正であると評価する。一方、評価部１４は、学習済画像生成器が、許容できる精度を有する画像を生成できなかった場合、及び、許容できる速度で画像を生成できなかった場合、学習済画像生成器が適正でないと評価する。

【0047】

評価部１４は、学習済画像生成器が適正であると評価した場合、その学習済画像生成器の情報を、生成装置２０に送信する。一方、評価部１４は、学習済画像生成器が適正でないと評価した場合、学習部１３に、再度、学習を実行させる。

【0048】

学習部１３は、評価部１４によって学習済画像生成器が適正であると評価されるまで、訓練データを変更しながら、繰り返し学習を実行する。学習部１３は、例えば、拡大、縮小、変形、切り出し、及び、フィルタ演算によるノイズの除去又は色彩の調整等の処理の何れか、又はこれらの組合せにより訓練データを変更し、変更後の訓練データを用いて、再度、学習を実行する。或いは、学習部１３は、高さ情報を色彩情報に変換する変換度合を変更することにより対象画像を生成する条件を変更し、変更後の対象画像から生成した訓練データを用いて、再度、学習を実行する。学習部１３は、訓練データの変更と共に、変換度合を変更するようにしてもよい。

【0049】

ｚ情報色彩情報対応テーブル１５は、高さ情報（ｚ情報）に色彩情報を対応づけたテーブルである。ｚ情報色彩情報対応テーブル１５は、学習装置１０が備える記憶部（不図示）に記憶される。学習装置１０が備える記憶部は、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）などの記憶媒体、あるいはこれらの組合せによって構成される。学習装置１０が備える記憶部は、学習装置１０の各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。

【0050】

＜生成装置２０の構成＞
図１に示すように、生成装置２０は、例えば、取得部２１と、画像生成部２２と、立体模様生成部２３と、色彩情報ｚ情報対応テーブル２４とを備える。取得部２１は、学習装置１０によって生成された学習済画像生成器を示す情報を取得する。取得部２１は、取得した学習済画像生成器を示す情報を、画像生成部２２に出力する。

【0051】

画像生成部２２は、取得部２１から学習済画像生成器を示す情報を取得し、取得した情報に基づいて学習済画像生成器を生成する。画像生成部２２は、生成した学習済画像生成器に、任意の画像生成用パラメータを入力することによって、バリエーション画像を生成する。画像生成部２２は、生成したバリエーション画像の画像情報を立体模様生成部２３に出力する。

【0052】

立体模様生成部２３は、バリエーション画像の画像情報に基づいて、そのバリエーション画像における画像特徴を、立体特徴に変換する。これによって、立体模様生成部２３は、バリエーション画像における画像特徴に対応する立体特徴を有するバリエーション形状の三次元情報を生成する。

【0053】

立体模様生成部２３は、色彩情報ｚ情報対応テーブル２４を用いて、バリエーション画像における画像特徴を、バリエーション形状における立体特徴に変換する。

【0054】

図６は、実施形態にかかる色彩情報ｚ情報対応テーブル２４の例を示す図である。図６に示すように、色彩情報ｚ情報対応テーブル２４は、Ｒ、Ｇ、Ｂ、ｚの各項目を有する。Ｒ、Ｇ、Ｂのそれぞれには、ｚ情報色彩情報対応テーブル１５におけるＲ、Ｇ、Ｂの項目と同様に、二次元画像における色彩情報としてのＲＧＢ値が示される。ｚには、ｚ情報色彩情報対応テーブル１５におけるｚの項目と同様に、三次元形状における高さ情報が示される。

【0055】

立体模様生成部２３は、例えば、画像生成部２２から取得した画像情報から、色彩情報を抽出する。例えば、立体模様生成部２３は、画像情報における各画素の画素値（例えば、ＲＧＢ値）を、色彩情報として抽出する。立体模様生成部２３は、抽出した色彩情報に基づいて、色彩情報ｚ情報対応テーブル２４を参照し、色彩情報（ＲＧＢ値）に対応する高さ情報（ｚ座標値）を取得する。立体模様生成部２３は、バリエーション画像における各画素の色彩情報（ＲＧＢ値）を、その色彩情報に対応する高さ情報（ｚ座標値）に変換する。これにより、立体模様生成部２３は、バリエーション画像における画像特徴を、バリエーション形状における立体特徴に変換する。すなわち、立体模様生成部２３は、対象形状における立体特徴を有するバリエーション形状の三次元情報を生成する。

【0056】

立体模様生成部２３は、生成した三次元情報を出力する。例えば、立体模様生成部２３は、ディスプレイに三次元情報を出力することによって、バリエーション形状の三次元形状を表示する。或いは、立体模様生成部２３は、３Ｄプリンタに三次元情報を出力することによって、バリエーション形状の三次元形状を生成する。

【0057】

色彩情報ｚ情報対応テーブル２４は、色彩情報に高さ情報（ｚ情報）を対応づけたテーブルである。色彩情報ｚ情報対応テーブル２４は、生成装置２０が備える記憶部（不図示）に記憶される。生成装置２０が備える記憶部は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＡＭ、ＲＯＭなどの記憶媒体、あるいはこれらの組合せによって構成される。生成装置２０が備える記憶部は、生成装置２０の各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。

【0058】

図７は、実施形態にかかる立体模様生成部２３が行う処理を説明するための図である。図７には、立体模様生成部２３が生成したバリエーション形状の例が示されている。図７に示すように、バリエーション形状においては、バリエーション画像における色彩情報が、バリエーション形状における高さ情報に変換されている。

【0059】

＜生成システム１が行う処理の流れ＞
図８は、実施形態にかかる生成システム１が行う処理の流れを示すシーケンス図である。まず、学習装置１０は、対象形状の三次元情報を取得する（ステップＳ１０）。次に、学習装置１０は、対象形状における高さ情報を、対象画像における色彩情報に変換することによって、対象画像の画像情報を生成する（ステップＳ１１）。次に、学習装置１０は、対象画像に画像処理を実行することによって複数の訓練データを生成する（ステップＳ１２）。学習装置１０は、ＧＡＮによる機械学習を用いて、対象画像における画像特徴を学習させた画像生成器を生成する（ステップＳ１３）。学習装置１０は、生成した画像生成器の性能を評価する（ステップＳ１４）。学習装置１０は、画像生成器の性能が適正であるか否かを判定する（ステップＳ１５）。

【0060】

学習装置１０は、画像生成器の性能が適正でない場合、対象画像を生成する条件を変更し（ステップＳ１６)、ステップＳ１１に戻って、変更後の条件で生成した対象画像の特徴を学習させることによって、再度、画像生成器を生成する。学習装置１０は、例えば、拡大、縮小、変形、切り出し、及び、フィルタ演算によるノイズの除去又は色彩の調整等の処理の何れか、又はこれらの組合せにより訓練データを変更し、変更後の訓練データを用いて学習を実行することによって、再度、画像生成器を生成する。

【0061】

一方、学習装置１０は、画像生成器の性能が適正である場合、画像生成器を学習済画像生成器とし、学習済画像生成器を示す情報を、生成装置２０に送信する（ステップＳ１７）。

【0062】

生成装置２０は、学習済画像生成器を生成する（ステップＳ１８）。生成装置２０は、学習装置１０から学習済画像生成器を示す情報を受信し、受信した情報を用いて学習済画像生成器を生成する。生成装置２０は、学習済画像生成器を用いて、バリエーション画像を生成する。生成装置２０は、学習済画像生成器に任意の画像生成用パラメータを入力することによって、学習済画像生成器から出力された画像を、バリエーション画像とすることによって、バリエーション画像を生成する（ステップＳ１９）。生成装置２０は、バリエーション画像における色彩情報を、バリエーション形状における高さ情報に変換することによって、バリエーション形状の三次元情報を生成する（ステップＳ２０）。生成装置２０は、生成したバリエーション形状の三次元情報を出力する（ステップＳ２１）。

【0063】

以上説明したように、実施形態の生成システム１は、取得部１１と、画像処理適用部１２と、学習部１３と、画像生成部２２と、立体模様生成部２３とを備える。取得部１１は、対象形状の三次元情報を取得する。画像処理適用部１２は、対象形状の三次元情報に基づいて、その対象形状における立体特徴を二次元画像における画像特徴に変換する。これによって、画像処理適用部１２は、対象形状における立体特徴に対応する画像特徴を有する対象画像の画像情報を生成する。学習部１３は、学習済画像生成器を生成する。学習済画像生成器は、対象画像が有する特徴に基づくバリエーション画像を生成する生成器である。学習部１３は、対象画像が有する特徴を学習モデルに学習させることによって、学習済画像生成器を生成する。画像生成部２２は、学習済画像生成器を用いて、バリエーション画像を生成する。立体模様生成部２３は、バリエーション画像の画像情報に基づいて、そのバリエーション画像における画像特徴を、立体特徴に変換する。これによって、立体模様生成部２３は、バリエーション画像における画像特徴に対応する立体特徴を有するバリエーション形状の三次元情報を生成する。

【0064】

機械学習の技術では、例えば、画像ＡＩとして、人間の顔の部分などを拡張対象とした画像の特徴部分を拡張したデータを適用した新たな画像データを生成する技術がある。また、機械学習の技術では、例えば、人間の３次元モデルを対象に、人物モデルの評価基準をニューラルネットワークに機械学習させることによって人物モデルを生成する技術がある。

【0065】

しかしながら、画像ＡＩでは、画像を対象としているため、立体模様などの三次元形状を生成することはできない。また、人間の３次元モデルを生成する技術では、立体模様を生成することはできない。したがって、このような機械学習の技術を、そのまま建築用パネル等に使用する立体模様を生成する技術に適用することは困難である。

【0066】

この対策として、実施形態の生成システム１では、対象形状における立体特徴を二次元画像における画像特徴に変換するようにした。これにより、実施形態の生成システム１では、既存の画像ＡＩを用いて、対象形状における立体特徴を学習させた画像生成器を生成することが可能となる。また、実施形態の生成システム１では、学習済画像生成器が生成したバリエーション画像における画像特徴を、立体特徴に変換するようにした。これにより、実施形態の生成システム１では、バリエーション画像を介して、対象形状における立体特徴が反映されたバリエーション形状を生成することが可能となる。したがって、実施形態の生成システム１では、既存のデザインをモチーフとしたバリエーションのデザインを容易に生成することが可能となる。すなわち、既存のデザインをモチーフとして、単なる複製ではない創作性が認められるようなデザインを多大な労力を要することなく大量に生成することができる。

【0067】

また、実施形態の生成システム１では、画像処理適用部１２は、対象形状の三次元情報のうちの対象形状における高さ情報を、二次元画像における色彩情報に変換することによって、立体特徴を画像特徴に変換する。立体模様生成部２３は、バリエーション画像における色彩情報を、バリエーション形状における高さ情報に変換することによって、画像特徴を立体特徴に変換する。これにより、実施形態の生成システム１では、三次元形状における高さ情報と、二次元画像における色彩情報とを、相互に変換することができる。したがって、立体特徴と画像特徴を相互に変換することができ、上述した効果と同様の効果を奏する。

【0068】

また、実施形態の生成システム１では、学習部１３は、対象画像に画像処理を行うことによって生成した複数の画像を、学習モデルに学習させる訓練データとする。これにより、実施形態の生成システム１では、対象画像の特徴を有する多数の訓練データを生成することができる。したがって、多数の訓練データを学習モデルに学習させることができ、学習済モデルの精度と速度を向上させることができる。

【0069】

通常の機械学習においては、精度の良い画像が生成できるようにするために、学習モデルに、大量の訓練データを学習させることが必要となる。

【0070】

これに対し、本実施形態では、デザイン拡張対象における形状及び立体模様の特徴を、対象画像に反映させ、その対象画像に画像処理を行うことによって、その対象画像の特徴を有する複数種類の訓練データを、大量に生成することができる。

【0071】

したがって、例えば、署名な彫師による、鑿（のみ）で彫られた柱の模様など、少量で希少なデザイン拡張対象を保有している発注者から、単一のデザイン拡張対象のみが提示された場合であっても、その特徴を有するバリエーシ形状を大量に生成することが可能となり、デザイン拡張対象の状況に応じて柔軟に対応することができる。

【0072】

また、実施形態の生成システム１では、学習部１３は、ＧＡＮ（敵対的ネットワーク）を用いて学習モデルを学習させる。これにより、実施形態の生成システム１では、訓練データにラベルを付ける必要がない。したがって、訓練データにラベルを付ける労力を省いて、少ない労力で学習モデルを学習させることができる。

【0073】

また、実施形態の生成システム１では、学習部１３によって生成された学習済画像生成器の性能が適正でない場合、対象形状における立体特徴を対象画像における画像特徴に変換する度合を変更し、変更後の対象画像が有する特徴を学習モデルに学習させることによって、学習済画像生成器を、再度、生成する。これにより、実施形態の生成システム１では、学習済画像生成器の性能が適正になるまで、繰り返し学習済画像生成器を生成することができる。したがって、適正な性能を有する学習済画像生成器を用いて、バリエーション画像を生成することができ、精度の良いバリエーション形状を生成することが可能となる。

【0074】

また、実施形態の学習装置１０では、学習装置１０は、取得部１１と、画像処理適用部１２と学習部１３とを有する。これにより、実施形態の学習装置１０では、対象形状における立体特徴を二次元画像における画像特徴に変換することができる。したがって、実施形態の生成システム１では、既存の画像ＡＩを用いて、対象形状における立体特徴を学習させた画像生成器を生成することができる。

【0075】

また、実施形態の生成装置２０では、画像生成部２２と立体模様生成部２３とを備える。これにより、実施形態の生成装置２０では、学習済画像生成器が生成したバリエーション画像における画像特徴を、立体特徴に変換することができる。したがって、実施形態の生成システム１では、バリエーション画像を介して、対象形状における立体特徴が反映されたバリエーション形状を生成することができる。

【0076】

上述した実施形態における生成システム１、学習装置１０、及び生成装置２０の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0077】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0078】

１…生成システム、１０…学習装置、１１…取得部、１２…画像処理適用部、１３…学習部、１４…評価部、１５…ｚ情報色彩情報対応テーブル、２０…生成装置、２１…取得部、２２…画像生成部、２３…立体模様生成部、２４…色彩情報ｚ情報対応テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】