IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ AI model株式会社の特許一覧

特許70077803次元人物モデル生成装置およびプログラム
<>
  • 特許-3次元人物モデル生成装置およびプログラム 図1
  • 特許-3次元人物モデル生成装置およびプログラム 図2
  • 特許-3次元人物モデル生成装置およびプログラム 図3
  • 特許-3次元人物モデル生成装置およびプログラム 図4
  • 特許-3次元人物モデル生成装置およびプログラム 図5
  • 特許-3次元人物モデル生成装置およびプログラム 図6
  • 特許-3次元人物モデル生成装置およびプログラム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-01-12
(45)【発行日】2022-01-25
(54)【発明の名称】3次元人物モデル生成装置およびプログラム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20220118BHJP
   G06T 17/00 20060101ALI20220118BHJP
   G06N 3/08 20060101ALI20220118BHJP
【FI】
G06T19/00 A
G06T17/00
G06N3/08 180
【請求項の数】 12
(21)【出願番号】P 2021559614
(86)(22)【出願日】2021-08-10
(86)【国際出願番号】 JP2021029511
【審査請求日】2021-10-06
(31)【優先権主張番号】P 2020136828
(32)【優先日】2020-08-13
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】521327323
【氏名又は名称】AI model株式会社
(74)【代理人】
【識別番号】100185270
【弁理士】
【氏名又は名称】原田 貴史
(72)【発明者】
【氏名】谷口 大季
【審査官】片岡 利延
(56)【参考文献】
【文献】特許第6448839(JP,B1)
【文献】ITmedia NEWS,実在しないファッションモデルの全身を自動生成するAI、京大発ベンチャー開発,[online],2019年05月10日,https://www.itmedia.co.jp/news/articles/1905/10/news106.html,[検索日:2021.09.14]
【文献】ITnews,AIが自動生成する顔写真DBの「GENERATED PHOTOS」がAPIを公開!,[online],2020年02月11日,https://itnews.org/news_contents/product-generated-photos,[検索日:2021.09.14]
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
G06T 17/00
G06N 3/08
(57)【特許請求の範囲】
【請求項1】
3次元人物モデルを構成可能な人物モデル構成情報、前記人物モデル構成情報によって構成される複数種類の3次元人物モデルのそれぞれに関する評価情報、及び前記複数種類の3次元人物モデルの属性情報を用いて、前記複数種類の3次元人物モデルの評価基準を第1ニューラルネットワークに機械学習させることが可能な評価学習部と、
第2ニューラルネットワーク及び前記属性情報を用いて複数種類の被生成3次元人物モデルを生成可能な生成部と、
前記複数種類の被生成3次元人物モデルを、前記評価基準及び前記属性情報を用いて評価可能な評価部と、
前記複数種類の被生成3次元人物モデルのうち、前記評価部によって所定の評価がなされた単数種類の被出力3次元人物モデル、または評価がなされた複数種類の被出力3次元人物モデルを出力可能な出力部と、
前記被出力3次元人物モデルに関し、利用者評価情報を受信可能な受信部と、
前記被出力3次元人物モデルによって前記人物モデル構成情報を更新可能にし、前記利用者評価情報によって前記評価情報を更新可能にする更新部と、
少なくとも前記第2ニューラルネットワークについて、教師なし学習による機械学習を実行可能な機械学習部と、
を備える3次元人物モデル生成装置。
【請求項2】
前記機械学習部は、前記第1ニューラルネットワーク及び前記第2ニューラルネットワークの両方について、前記教師なし学習による前記機械学習を実行可能である、請求項1に記載の3次元人物モデル生成装置。
【請求項3】
前記教師なし学習は、敵対的生成ネットワークによる学習である、請求項1または2に記載の3次元人物モデル生成装置。
【請求項4】
前記属性情報は、前記3次元人物モデルの人物の特徴に関する情報を含む、請求項1から3のいずれか1項に記載の3次元人物モデル生成装置。
【請求項5】
前記属性情報は、前記3次元人物モデルの利用目的に関する情報を含む、請求項1から4のいずれか1項に記載の3次元人物モデル生成装置。
【請求項6】
前記属性情報は、前記単数種類の被出力3次元人物モデルまたは前記複数種類の被出力3次元人物モデルを識別可能にする識別情報を含む、請求項1から5のいずれか1項に記載の3次元人物モデル生成装置。
【請求項7】
前記属性情報は、前記3次元人物モデルの体形に関する情報を含む、請求項1から6のいずれか1項に記載の3次元人物モデル生成装置。
【請求項8】
前記属性情報は、前記3次元人物モデルの肌の色に関する情報を含む、請求項1から7のいずれか1項に記載の3次元人物モデル生成装置。
【請求項9】
前記属性情報は、前記被出力3次元人物モデルを表示部に表示する場合の背景に関する情報を含む、請求項1から8のいずれか1項に記載の3次元人物モデル生成装置。
【請求項10】
前記属性情報は、前記3次元人物モデルが着る服、前記3次元人物モデルが持つバッグ、前記3次元人物モデルのアクセサリ、前記3次元人物モデルのヘアメイク、前記3次元人物モデルの履物のうち、少なくとも1つを含む、請求項1から9のいずれか1項に記載の3次元人物モデル生成装置。
【請求項11】
前記属性情報は、前記3次元人物モデルの顔の表情、年齢、男性または女性の性別、顔や体の角度のうち、少なくとも1つを含む、請求項1から10のいずれか1項に記載の3次元人物モデル生成装置。
【請求項12】
3次元人物モデル生成装置に、
3次元人物モデルを構成可能な人物モデル構成情報、前記人物モデル構成情報によって構成される複数種類の3次元人物モデルのそれぞれに関する評価情報、及び前記複数種類の3次元人物モデルの属性情報を用いて、前記複数種類の3次元人物モデルの評価基準を第1ニューラルネットワークに機械学習させることが可能な評価学習ステップと、
第2ニューラルネットワーク及び前記属性情報を用いて複数種類の被生成3次元人物モデルを生成可能な生成ステップと、
前記複数種類の被生成3次元人物モデルを、前記評価基準及び前記属性情報を用いて評価可能な評価ステップと、
前記複数種類の被生成3次元人物モデルのうち、評価がなされた単数種類の被出力3次元人物モデル、または、評価がなされた複数種類の被出力3次元人物モデルを出力可能な出力ステップと、
前記被出力3次元人物モデルに関し、利用者評価情報を受信可能な受信ステップと、
前記被出力3次元人物モデルによって前記人物モデル構成情報を更新可能にし、前記利用者評価情報によって前記評価情報を更新可能にする更新ステップと、
少なくとも前記第2ニューラルネットワークについて、教師なし学習による機械学習を実行可能な機械学習ステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、3次元人物モデル生成装置、より詳しくは、コンピュータグラフィックスに携わるデザイナーが少ない労力で所望の3次元人物モデルを生成可能な装置に関する。
【背景技術】
【0002】
コンピュータグラフィックスの技術分野において、多数のポリゴン(多角形)を用いて人物を3次元で精細に表示することへの需要がますます高まっている。しかしながら、人物を3次元で精細に表示するには、多大な労力を要する。需要の高まりに応え、より多くの3次元人物モデルを精彩な状態で提供可能にするため、1つあたりの3次元人物モデルの生成に要する労力を軽減することが求められている。
【0003】
労力を軽減し得る技術として、手本である訓練データを用いて予め学習を行った学習済ニューラルネットワークモデルに基づいて着色処理を実行することで、3次元モデルデータ表面の色彩や質感に関するデータ(「テクスチャ」とも称される。)を自動で生成可能な技術が提案されている(特許文献1参照)。特許文献1に記載の技術によると、学習済ニューラルネットワークモデルを用いてテクスチャの生成を自動で行うため、3次元モデル表面に施す色彩や質感を設定するのに必要な労力を軽減し得る。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2020-013390号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
3次元人物モデルの生成においては、デザイナーへの発注者が求める属性や形状に合わせ、デザイナーが発注者のニーズに合わせた3次元人物モデルを容易に生成可能であることが重要である。しかし、特許文献1の技術は、3次元モデルデータ表面の色彩や質感に関するデータの生成を自動で行うことにとどまり、発注者のニーズに合わせることの自動化という点では、なお改良の余地がある。
【0006】
より具体的に説明すると、特許文献1に記載の訓練データを用いたニューラルネットワークの機械学習では、デザイナーが手本である訓練データを用意する。デザイナーへの発注者が所望する属性を備えた3次元人物モデルを生成するニューラルネットワークは、発注者が所望する属性のそれぞれに対応した訓練データを必要とする。このため、デザイナーは、大量の訓練データを用意するために、多大な労力を要する。デザイナーが少ない労力で所望の3次元人物モデルを生成するためには、ニューラルネットワークの学習に要する労力を軽減することが重要である。
【0007】
本開示は、このような事情に鑑みてなされたものであり、その目的は、発注者が所望する3次元人物モデルを、コンピュータグラフィックスに携わるデザイナーができる限り少ない労力で生成可能な3次元人物モデル生成装置を提供することである。
【課題を解決するための手段】
【0008】
本願発明者は、上記課題を解決するために鋭意検討した結果、ニューラルネットワークの教師なし学習を行うことで、上記の目的を達成できることを見出し、本開示を完成させるに至った。具体的に、本開示は以下のものを提供する。
【0009】
第1の開示は、3次元人物モデルを構成可能な人物モデル構成情報、前記人物モデル構成情報によって構成される複数種類の3次元人物モデルのそれぞれに関する評価情報、及び前記複数種類の3次元人物モデルの属性情報を用いて、前記複数種類の3次元人物モデルの評価基準を第1ニューラルネットワークに機械学習させることが可能な評価学習部と、第2ニューラルネットワーク及び前記属性情報を用いて複数種類の被生成3次元人物モデルを生成可能な生成部と、前記複数種類の被生成3次元人物モデルを、前記評価基準及び前記属性情報を用いて評価可能な評価部と、前記複数種類の被生成3次元人物モデルのうち、前記評価部によって評価がなされた単数種類の被出力3次元人物モデル、または評価がなされた複数種類の被出力3次元人物モデルを出力可能な出力部と、前記被出力3次元人物モデルに関し、利用者評価情報を受信可能な受信部と、前記被出力3次元人物モデルによって前記人物モデル構成情報を更新可能にし、前記利用者評価情報によって前記評価情報を更新可能にする更新部と、少なくとも前記第2ニューラルネットワークについて、教師なし学習による機械学習を実行可能な機械学習部と、を備える3次元人物モデル生成装置を提供する。
【0010】
第1の開示によれば、3次元人物モデルの利用者であるグラフィックデザイナーへの発注者が3次元人物モデルに求める属性に関する評価基準を、第1ニューラルネットワークに機械学習させることができる。生成部は、当該利用者が3次元人物モデルに求める属性を有する被生成3次元人物モデルを複数生成できる。そして、出力部は、生成部が生成した複数の被生成3次元人物モデルから、属性に関する評価基準を満たす、すなわち、所望の3次元人物モデルであると認められる、複数種類の被出力3次元人物モデルを選別して出力できる。被出力3次元人物モデルの出力に関する一連の処理が自動で行われるため、デザイナーは、利用者(発注者)が所望する3次元人物モデルをより少ない労力で出力させることができる。
【0011】
評価学習部において、人物モデル構成情報、評価情報、及び属性情報は、機械学習の手本となる訓練データの役割を果たす。更新部が人物モデル構成情報及び評価情報を更新可能であるため、デザイナーは、訓練データを少ない労力で用意できる。すなわち、利用者(デザイナーへの発注者)が3次元人物モデルに求める属性をより一層反映した評価基準を、デザイナーは、少ない労力で得ることができる。これにより、デザイナーは、利用者(発注者)が所望する3次元人物モデルを少ない労力で出力させることができる。
【0012】
第1の開示によれば、生成部は、機械学習された第2ニューラルネットワークを用いることにより、利用者(デザイナーへの発注者)が所望する3次元人物モデルをより精彩な状態で生成できる。教師なし学習による機械学習は、外部から手本となる訓練データが与えられなくても実行できるため、デザイナーの労力を増やすことなく、利用者(発注者)が所望する3次元人物モデルをより精彩な状態で生成できる。
【0013】
したがって、第1の開示によれば、利用者(発注者)が所望する3次元人物モデルを、コンピュータグラフィックスに携わるデザイナーができるだけ少ない労力で生成可能な3次元人物モデル生成装置を提供できる。
【0014】
第2の開示は、第1の開示に加えて、前記機械学習部は、前記第1ニューラルネットワーク及び前記第2ニューラルネットワークの両方について、前記教師なし学習による前記機械学習を実行可能である、3次元人物モデル生成装置を提供する。
【0015】
第2の開示によれば、教師なし学習による機械学習を実行するため、評価学習部は、デザイナーによって与えられた訓練データがなくても、更新された人物モデル構成情報及び評価情報に基づく評価基準を第1ニューラルネットワークに機械学習させることができる。したがって、利用者(発注者)が所望する3次元人物モデルを、デザイナーの労力を増やすことなくより精彩な状態で出力できる。
【0016】
第3の開示は、第1の開示または 第2の開示に加え、前記教師なし学習は、敵対的生成ネットワークによる学習である、3次元人物モデル生成装置を提供する。
【0017】
第3の開示によれば、第2ニューラルネットワークを敵対的生成ネットワークの生成器とし、第1ニューラルネットワークを敵対的生成ネットワークの識別器とする、敵対的生成ネットワークによる機械学習を行える。敵対的生成ネットワークによる機械学習では、生成器がデータを生成し、識別器が生成されたデータを識別する。そして、生成器は、生成したデータが正しいデータであると識別器に識別されることを目的とした機械学習を行う。
【0018】
生成器が被生成3次元人物モデルの生成に関する第2ニューラルネットワークであり、識別器が3次元人物モデルの評価基準を機械学習した第1ニューラルネットワークである敵対的生成ネットワークによる機械学習において、識別器が生成されたデータを正しいデータであると識別することは、評価基準を機械学習した第1ニューラルネットワークが第2ニューラルネットワークに生成された被生成3次元人物モデルを、利用者(発注者)が求める属性を備えた3次元人物モデルであると評価することに相当する。すなわち、第2ニューラルネットワークは、利用者(発注者)が求める属性を備えていると第1ニューラルネットワークに評価されるような被生成3次元人物モデルの生成を目的とした機械学習を行う。これにより、第2ニューラルネットワークを用いる生成部は、所望の3次元人物モデルを、より精彩な状態で生成可能となる。
【0019】
上述の敵対的生成ネットワークによる機械学習は教師なし学習なので、デザイナーの労力を増やすことがない。したがって、第3の開示によれば、利用者(発注者)が所望する3次元人物モデルを、コンピュータグラフィックスに携わるデザイナーが少ない労力で生成できる3次元人物モデル生成装置を提供できる。
【0020】
第4の開示は、第1から第3のいずれかの開示であって、前記属性情報は、人物の特徴に関する情報を含む、3次元人物モデル生成装置を提供する。
【0021】
第4の開示によれば、利用者(発注者)が求める人物の特徴に関する評価基準を第1ニューラルネットワークに機械学習させることができる。これにより、第1ニューラルネットワークは、3次元人物モデルの評価基準を、3次元人物モデルを利用する利用者(3次元人物モデルをデザイナーに発注する発注者)が求める人物の特徴に相当する部分に注目して評価するように機械学習できる。また、デザイナーは、属性情報が含む人物の特徴に関する情報を介して、3次元人物モデルの利用者(発注者)が求める人物の特徴を捉えた3次元人物モデルを容易に生成させ、出力させることができる。
【0022】
第5の開示は、第1から第4のいずれかの開示であって、前記属性情報は、前記3次元人物モデルの利用目的に関する情報を含む、3次元人物モデル生成装置を提供する。
【0023】
第5の開示によれば、3次元人物モデルの利用目的に関する評価基準を第1ニューラルネットワークに機械学習させることができる。また、生成部は、利用目的に応じた被生成3次元人物モデルを生成できる。したがって、デザイナーは、利用目的に応じた3次元人物モデルの属性情報を逐一指定する労力を要することなく、利用目的を指定するだけで、利用者(発注者)が求める3次元人物モデルを生成させることができる。したがって、コンピュータグラフィックスに携わるデザイナーは、利用者(発注者)が所望する3次元人物モデルをより少ない労力で生成できる。
【0024】
第6の開示は、第1から第5のいずれかの開示であって、前記属性情報は、前記単数種類の被出力3次元人物モデルまたは複数種類の被出力3次元人物モデルを識別可能にする識別情報を含む、3次元人物モデル生成装置を提供する。
【0025】
第6の開示によれば、更新された人物モデル構成情報の代わりに、属性情報に含まれる識別情報によって、利用者評価情報によって更新された評価情報と被出力3次元人物モデルとを対応づけることができる。これにより、人物モデル構成情報の更新を行わなくても、被出力3次元モデルに関する評価基準を第1ニューラルネットワークに機械学習させることができる。人物モデル構成情報の更新を行わなわなければ、人物モデル構成情報の更新によってデザイナーを待たせることがなくなり、デザイナーの労力を軽減できる。
【0026】
第7の開示は、第1の開示に係る構成のカテゴリを変更したものである。
【発明の効果】
【0027】
本開示によれば、3次元人物モデルの利用者(発注者)が所望する3次元人物モデルを、コンピュータグラフィックスに携わるデザイナーができる限り少ない労力で生成可能な3次元人物モデル生成装置を提供できる。
【図面の簡単な説明】
【0028】
図1】本実施形態の3次元人物モデル生成装置の構成例を示すブロック図である。
図2】人物モデル情報テーブルの一例を示す図である。
図3】ニューラルネットワークテーブルの一例を示す図である。
図4】本実施形態の3次元人物モデル生成装置を用いた3次元人物モデル生成処理の一例を示すフローチャートである。
図5】敵対的生成ネットワークを用いる場合における機械学習処理の一例を示すフローチャートである。
図6】属性情報を用いた3次元人物モデル生成の一例を示す説明図である。
図7】利用者評価情報を用いた機械学習の一例を示す説明図である。
【発明を実施するための形態】
【0029】
以下、本開示を実施するための好適な形態の一例について図を参照しながら説明する。なお、これはあくまでも一例であって、本開示の技術的範囲はこれに限られるものではない。
【0030】
<3次元人物モデル生成装置1>
図1は、本実施形態の3次元人物モデル生成装置1(以下、単に「生成装置1」とも称する。)の構成の一例を示すブロック図である。生成装置1は、少なくとも、制御部11、記憶部12、表示部13、入力部14、を含んで構成される。
【0031】
[制御部11]
制御部11は、CPU(Central Processing Unit)、RAM(Random Access Memory)、及びROM(Read Only Memory)等を備える。
【0032】
制御部11は、所定のプログラムを読み込み、必要に応じて記憶部12、表示部13、入力部14が協働することで、生成装置1におけるソフトウェア構成の要素である、評価学習部111、生成部112、評価部113、出力部114、受信部115、更新部116、機械学習部117等を実現する。
【0033】
[記憶部12]
記憶部12は、データやファイルが記憶される装置であって、ハードディスクや半導体メモリ、記録媒体、メモリカード等による、データのストレージ部を有する。記憶部12は、ネットワークを介してNAS(Network Attached Storage)、SAN(Storage Area Network)、クラウドストレージ、ファイルサーバ、分散ファイルシステム等の記憶装置、または記憶システムとの接続を可能にする仕組みを有してもよい。
【0034】
記憶部12には、マイクロコンピューターで実行される制御プログラム、人物モデル情報テーブル121、ニューラルネットワークテーブル122等が記憶されている。記憶部12には、制御部11の出力部114から信号及び情報が入力される。また、記憶部12から、制御部11の受信部115へ信号及び情報が送信される。
【0035】
[人物モデル情報テーブル121]
図2は、人物モデル情報テーブル121の一例を示す図である。図2に示す人物モデル情報テーブル121には、人物モデル情報を識別する「ID」と、3次元人物モデルの形状、3次元人物モデル表面の質感、3次元人物モデル表面の色彩を有する「人物モデル構成情報」と、人物モデル構成情報によって構成される3次元人物モデルに関する「評価情報」と、3次元人物モデルの「属性情報」とを紐付けた情報が記憶されている。
【0036】
また、人物モデル情報テーブル121は、IDと人物モデル構成情報と属性情報とを紐付けた情報を追加可能に構成されている。人物モデル情報テーブル121が情報を追加可能に構成されていることにより、更新部116は、被出力3次元人物モデルによって人物モデル構成情報を更新できる。
【0037】
(人物モデル構成情報)
人物モデル構成情報は、3次元人物モデルを構成可能な情報である。3次元人物モデルは、人物または人物の一部を視覚的に表現するための3次元モデルであれば特に限定されない。3次元人物モデルは、男性または女性の何れでもよく、人物が身に着ける着衣、装飾品、小道具の3次元モデルのうち、少なくとも1つを含んでも良い。人物モデル構成情報のフォーマットは、特に限定されず、従来技術のフォーマットの人物モデル構成情報を記憶できる。
【0038】
人物モデル構成情報は、3次元人物モデルの立体的形状に関する情報、3次元人物モデル表面の質感に関する情報、または、3次元人物モデル表面の色彩に関する情報のうち、少なくとも1つの情報を含むことが好ましい。これらの情報を含むことにより、後述する第1ニューラルネットワークN1に手本となる訓練データを提供できる。これにより、第1ニューラルネットワークN1に、3次元人物モデルの立体的形状、3次元人物モデルの表面の色彩、3次元人物モデルの表面の色彩のうち、少なくとも1つに関する評価基準を機械学習させることができる。
【0039】
また、これらの3次元人物モデルに関する各種の情報を含むことにより、人物モデル情報テーブル121は、後述する第2ニューラルネットワークN2に、手本となる訓練データを提供できる。これにより、第2ニューラルネットワークN2は、3次元人物モデルの立体的形状、3次元人物モデルの表面の色彩、3次元人物モデルの表面の色彩のうち、少なくとも1つに関する生成アルゴリズムを機械学習できる。例えば、ID「M1」の行には、形状が細長い顔であり、表面の色彩及び質感が明るい色の髪、ひげ有、及び薄い色の肌である、3次元人物モデルを構成する人物モデル構成情報が格納されている。
【0040】
人物モデル構成情報は、後述する出力部114が出力する被出力3次元人物モデルを構成可能な情報を含んでもよい。被出力3次元人物モデルを構成可能な情報は、被出力3次元人物モデルを構成可能であれば特に限定されず、人物モデル構成情報と同様に、従来技術のフォーマットの被出力3次元人物モデルを構成可能な構成情報を記憶できる。人物モデル構成情報が被出力3次元人物モデルを構成可能な情報を含んでもよいため、後述する更新部116は、被出力3次元人物モデルによって、人物モデル構成情報を更新できる。
【0041】
(評価情報)
評価情報は、人物モデル構成情報によって構成される3次元人物モデルに対して行われる利用者の評価情報である。図2に示す例では、利用者が求める3次元人物モデルに関する評価基準に合致する割合を100点満点で示す評価を評価情報として格納している。評価情報のフォーマットは、評価基準に合致する割合を100点満点で示す評価に限定されず、例えば、3次元人物モデルを利用者が評価した得点に関する情報、3次元人物モデルが備える属性を列挙した情報、3次元人物モデルが備えていない属性を列挙した情報、等を含んでもよい。
【0042】
また、評価基準は、利用者が、発注してから購買した3次元人物モデルの履歴を含んでいてもよい。なお、利用者の評価が受信部115へ入力される経路は、入力部14から受信部115へ入力される経路と、外部装置120及び通信部15を介して受信部115へ入力される経路とを含む。利用者は、デザイナーに3次元人物モデルを発注する発注者である。
【0043】
(属性情報)
属性情報は、人物モデル構成情報によって構成される3次元人物モデルの属性の情報である。属性情報のフォーマットは、特に限定されず、3次元人物モデルの属性に関する任意の情報を含んでよい。
【0044】
属性情報は、“利用者が求める人物の特徴”に関する情報を含むことが好ましい。図2に示す例では、ID「M1」に紐付けられた属性情報として「明るい色の髪」「細長い顔」「ヒゲ有」等の人物の特徴に関する情報が格納されている。人物の特徴に関する情報を含むことにより、利用者(発注者)が求める人物の特徴に関する評価基準を後述する第1ニューラルネットワークN1に機械学習させることができる。これにより、第1ニューラルネットワークN1は、3次元人物モデルを利用する利用者(3次元人物モデルをデザイナーに発注する発注者)が求める人物の特徴に相当する部分に注目して評価するように、3次元人物モデルの評価基準を機械学習できる。また、デザイナーは、属性情報が含む人物の特徴に関する情報を介して、3次元人物モデルの利用者(発注者)が求める人物の特徴を捉えた3次元人物モデルを容易に生成させ、出力させることができる。
【0045】
属性情報は、3次元人物モデルの利用目的に関する情報を含むことが好ましい。図2に示す例では、ID「M1」に紐付けられた属性情報として「北米地域での広告向け」という3次元人物モデルの利用目的に関する情報が格納されている。3次元人物モデルの利用目的に関する情報を含むことにより、利用者(発注者)が求める3次元人物モデルの利用目的に関する評価基準を後述する第1ニューラルネットワークN1に機械学習させることができる。利用目的は、「北米地域での広告向け」、「アジア地域での広告向け」、「欧州地域での広告向け」、「アフリカ地域での広告向け」等、広告する地域を含む。
【0046】
これにより、第1ニューラルネットワークN1は、3次元人物モデルを利用する利用者(3次元人物モデルをデザイナーに発注する発注者)が求める3次元人物モデルの利用目的に適しているか否かに注目して評価するように、3次元人物モデルの評価基準を機械学習できる。また、デザイナーは、属性情報が含む3次元人物モデルの利用目的に関する情報を介して、3次元人物モデルの利用者(発注者)が求める3次元人物モデルの利用目的に適した3次元人物モデルを容易に生成させ、出力させることができる。
【0047】
属性情報が3次元人物モデルの利用目的に関する情報を含むことにより、生成装置1は、属性情報を介して3次元人物モデルの利用目的を受信可能となる。したがって、デザイナーは、利用目的に応じた3次元人物モデルの属性情報を逐一指定する労力を要することなく、利用目的を指定するだけで、利用目的に応じた被生成3次元人物モデルを生成できる。したがって、コンピュータグラフィックスに携わるデザイナーは、利用者(発注者)が所望する3次元人物モデルをより少ない労力で生成できる。
【0048】
属性情報は、被出力3次元人物モデルを識別可能にする識別情報を含むことが好ましい。図2に示す例では、ID「M5」に紐付けられた属性情報として「被出力3次元人物モデル:P1」という被出力3次元人物モデルを識別可能にする情報が格納されている。これにより、更新された人物モデル構成情報の代わりに、属性情報に含まれる識別情報によって、利用者評価情報によって更新された評価情報と被出力3次元人物モデルとを対応づけることができる。これにより、人物モデル情報テーブル121に格納された人物モデル構成情報の更新を行わなくても、被生成3次元モデルに関する評価基準を第1ニューラルネットワークN1に機械学習させることができる。人物モデル構成情報の更新を行わなければ、人物モデル構成情報の更新によってデザイナーを待たせることがなくなり、デザイナーの労力を軽減できる。
【0049】
図2に示す人物モデル情報テーブル121では、IDが格納されているため、人物モデル情報テーブル121に格納された情報の取得及び更新が容易になる。評価情報が格納されているため、後述する第1ニューラルネットワークN1に、手本となる訓練データを提供できる。これにより、第1ニューラルネットワークN1に、3次元人物モデルの評価基準を機械学習させることができる。属性情報が格納されているため、評価学習部111は、3次元人物モデルの利用者であるグラフィックデザイナーへの発注者が3次元人物モデルに求める属性に関する評価基準を、第1ニューラルネットワークN1に機械学習させることができる。
【0050】
生成部112は、当該利用者が3次元人物モデルに求める属性を有する被生成3次元人物モデルを複数生成できる。そして、出力部114は、生成部112が生成した複数の被生成3次元人物モデルから、属性に関する評価基準を満たす、すなわち、所望の3次元人物モデルであると認められる、複数種類の被出力3次元人物モデルを選別して出力できる。
【0051】
例えば、ID「M1」の行には、形状が細長い顔であり、表面の色彩及び質感が明るい色の髪、ひげ有、及び薄い色の肌である、3次元人物モデルを構成する人物モデル構成情報と、この人物モデル構成情報によって構成される3次元人物モデルに関する評価情報「90」と、この人物モデル構成情報によって構成される3次元人物モデルの属性情報「明るい色の髪」「細長い顔」「ヒゲ有」「薄い色の肌」「北米地域での広告向け」とが紐付けられて記憶されている。このように、人物モデル情報テーブル121は、人物モデル構成情報と、評価情報と、属性情報とを紐付けて格納できる。
【0052】
[ニューラルネットワークテーブル122]
図3は、ニューラルネットワークテーブル122の一例を示す図である。ニューラルネットワークテーブル122には、少なくとも、3次元人物モデルの評価基準に関する第1ニューラルネットワークN1(ID「N1」に相当)及び3次元人物モデルの生成に関する第2ニューラルネットワークN2(ID「N2」に相当)が記憶される。
【0053】
第1ニューラルネットワークN1及び第2ニューラルネットワークN2のフォーマットは、特に限定されず、ニューラルネットワークの人工ニューロン(ノードとも称される。)が出力する信号の有無、または信号の強さを決定する活性化関数に関する情報、ニューラルネットワークの人工ニューロンに入力された信号に対する重み付け(シナプスの結合強度または 単に結合強度とも称される。)を表現する重み行列(重みパラメータとも称される。)に関する情報、ニューラルネットワークの人工ニューロンに入力された信号に基準となる重み(バイアスパラメータまたは単にバイアスとも称される。)を与えるバイアスベクトルに関する情報、ニューラルネットワークの人工ニューロン間の接続関係に関する情報、等を含むデータ構造体を含んでもよい。
【0054】
ニューラルネットワークテーブル122が格納する第1ニューラルネットワークN1及び第2ニューラルネットワークN2の種類は、特に限定されず、例えば、順伝播型ニューラルネットワーク(フィードフォワードニューラルネットワーク、または FFNNとも称される。)、畳み込みニューラルネットワーク(Convolutional neural network、CNN、または 、ConvNetとも称される。)、Deep stacking network(DSNとも称される。)、RBFネットワーク(Radial basis function networkとも称される。)、回帰型ニューラルネットワーク(リカレントニューラルネットワーク、または 、RNNとも称される。)、モジュール型ニューラルネットワーク(Modular neural network)、等の従来技術の各種のニューラルネットワークを、第1ニューラルネットワークN1及び第2ニューラルネットワークN2として、ニューラルネットワークテーブル122に格納できる。
【0055】
ニューラルネットワークテーブル122の構成をより詳しくみると、図3に示すニューラルネットワークテーブル122には、ニューラルネットワークを識別する「ID」と、ニューラルネットワークの重み行列A及びBとが紐付けられて格納されている。IDを格納することにより、ニューラルネットワークテーブル122に格納された情報の取得及び更新が容易になる。ニューラルネットワークの重み行列A及びBを格納することにより、ニューラルネットワークを用いた生成、または評価を行うことと、ニューラルネットワークに機械学習させることとを実行できる。
【0056】
ID「N1」の行には、重み行列A1(a111からa179までの要素を含む行列)と、重み行列B1(b111からb194までの要素を含む行列)とによって表される第1ニューラルネットワークN1が格納されている。重み行列A1及び重み行列B1を格納することにより、評価学習部111は、第1ニューラルネットワークN1に評価基準を機械学習させることができる。また、重み行列A1及び重み行列B1を格納することにより、評価部113は、被生成3次元人物モデルを評価できる。
【0057】
ID「N2」の行には、重み行列A2(a211からa249までの要素を含む行列)と、重み行列B2(b211からb297までの要素を含む行列)とによって表される第2ニューラルネットワークN2が格納されている。ニューラルネットワークテーブル122に重み行列A2及び重み行列B2を格納することにより、生成部112は、被生成3次元人物モデルを生成することができる。また、重み行列A2及び重み行列B2を格納することにより、機械学習部117は、第2ニューラルネットワークN2に関する機械学習を実行できる。
【0058】
ニューラルネットワークテーブル122に第1ニューラルネットワークN1が記憶されることにより、評価学習部111は、3次元人物モデルの評価基準を第1ニューラルネットワークN1に学習させることができる。ニューラルネットワークテーブル122に第2ニューラルネットワークN2が記憶されることにより、生成部112は、複数種類の被生成3次元モデルを生成できる。また、ニューラルネットワークテーブル122に第2ニューラルネットワークN2が記憶されることにより、機械学習部117は、第2ニューラルネットワークN2について、教師なし学習による機械学習を実行できる。機械学習は、学習データに正解を与えない状態で学習させる手法である。
【0059】
[表示部13]
表示部13の種類は、特に限定されない。表示部13として、例えば、モニタ、タッチパネル、プロジェクタ、外部装置120に被出力3次元人物モデルを表示させるビデオカード等が挙げられる。表示部13には、制御部11の出力部114から出力される信号及び情報が入力される。
【0060】
[入力部14]
入力部14の種類は、特に限定されない。入力部14として、例えば、キーボード、マウス、タッチパネル、外部装置120から入力を受信する通信デバイス等が挙げられる。入力部14から入力される信号及び情報は、制御部11の受信部115へ入力される。入力部14に入力される利用者の発注情報は、受信部115へ送られる。
【0061】
[通信部15]
生成装置1は、生成装置1と外部装置120との通信を行う通信部15を備えてもよい。通信部15と外部装置120とはネットワーク123を介して接続される。ネットワーク123は、無線または有線の何れによって構築されてもよい。また、外部装置120は、単数または複数の何れであってもよい。生成装置1は、通信部15を備えることにより、出力部114が出力する被出力3次元人物モデルを外部装置120に送信できる。生成装置1は、通信部15を備えることにより、3次元人物モデルの生成に関する指令を、外部装置120から受信できる。生成装置1は、通信部15を備えることにより、外部装置120から人物モデル構成情報、評価情報、属性情報、利用者評価情報等を受信して、利用できる。
【0062】
[外部装置120]
外部装置120は、携帯型端末、固定型端末の何れでもよい。外部装置120は、利用者により操作され、かつ、制御回路125、入力部126、表示部127、記憶部128及び通信部129を有する。制御回路125は、入力ポート、出力ポート及び中央演算処理回路を有するコンピュータである。制御回路125は、入力部126、表示部127、記憶部128及び通信部129に対して、信号の送信及び受信が可能に接続されている。入力部126として、例えば、キーボード、マウス、タッチパネル、外部装置120から入力を受信する通信デバイス等が挙げられる。表示部127として、例えば、モニタ、タッチパネル、プロジェクタ、外部装置120に被出力3次元人物モデルを表示させるビデオカード等が挙げられる。記憶部128は、データやファイルが記憶される装置であって、ハードディスクや半導体メモリ、記録媒体、メモリカード等による、データのストレージ部を有する。通信部129は、ネットワーク123に接続される。
【0063】
<生成装置1で実行される生成処理のメインフローチャート>
図4は、本変形例における生成処理の手順を示すメインフローチャートの一例である。以下では、図4を参照しながら、生成装置1が行う生成処理の好ましい手順について説明する。
【0064】
[ステップS1:評価基準の機械学習]
まず、制御部11は、記憶部12と協働して評価学習部111を実行し、人物モデル情報テーブル121を参照し、複数種類の3次元人物モデルの評価基準を第1ニューラルネットワークN1に機械学習させる処理を実行する(ステップS1)。
【0065】
ステップS1において評価基準を機械学習させるアルゴリズムは、特に限定されず、誤差逆伝播法、Widrow-Hoff法(デルタルールとも称される。)等の確率的勾配降下法、勾配降下法、オンライン学習、バッチ学習、ロジスティック関数、シグモイド関数、最大値関数等の1以上を用いる、既知のニューラルネットワークの教師あり学習に関する機械学習アルゴリズムを利用できる。
【0066】
制御部11は、評価学習部111を実行し、人物モデル情報テーブル121から人物モデル構成情報、評価情報及び属性情報を取得する。そして、制御部11は、ニューラルネットワークテーブル122に格納された第1ニューラルネットワークN1に、人物モデル構成情報、評価情報及び属性情報を用いて評価基準を機械学習させ、ニューラルネットワークテーブル122に格納された第1ニューラルネットワークN1を更新する。言い換えると、制御部11は、人物モデル情報テーブル121から人物モデル構成情報、評価情報及び属性情報を取得し、第1ニューラルネットワークN1に、人物モデル構成情報、評価情報及び属性情報を手本となる訓練データとして用いて評価基準を機械学習させる。
【0067】
その結果、3次元人物モデルの利用者であるグラフィックデザイナーへの発注者が3次元人物モデルに求める属性に関する評価基準を、第1ニューラルネットワークN1に機械学習させることができる。制御部11は、ステップS1の処理を終えると、ステップS2の判断を行う。
【0068】
[ステップS2:属性情報を受信したか否かを判定]
制御部11は、記憶部12及び入力部14と協働して生成部112を実行し、受信部115で属性情報を受信したか否かを判定する(ステップS2)。制御部11は、属性情報を受信したならば、ステップS2でYesと判断し、処理をステップS3の処理を行う。制御部11は、属性情報を受信していないならば、ステップS2でNoと判断し、ステップS7の判断を行う。
【0069】
[ステップS3:被生成3次元人物モデルを生成]
制御部11は、記憶部12と協働して生成部112を実行し、ニューラルネットワークテーブル122に格納された第2ニューラルネットワークN2を取得する。そして、制御部11は、ステップS2で受信した属性情報と、第2ニューラルネットワークN2とを用いて、複数種類の被生成3次元人物モデルを生成する(ステップS3)。
【0070】
生成部112は、ステップS2で受信した属性情報と、重み行列A2及びB2によって表される第2ニューラルネットワークN2とを用いて、ランダムな3次元人物モデルを複数生成できる。これにより、デザイナーは、3次元人物モデルの利用者(発注者)が3次元人物モデルに求める属性を有する被生成3次元人物モデルを、少ない労力で複数生成できる。制御部11は、ステップS3の処理後、ステップS4に進む。
【0071】
[ステップS4:被生成3次元人物モデルを評価]
制御部11は、記憶部12と協働して評価部113を実行し、ニューラルネットワークテーブル122に格納された第1ニューラルネットワークN1を取得する。そして、制御部11は、ステップS2で受信した属性情報と、第1ニューラルネットワークN1とを用いて、ステップS3で生成された複数種類の被生成3次元人物モデルを評価する(ステップS4)。
【0072】
このように、制御部11は、ステップS2で受信した属性情報と、ステップS1で評価基準を機械学習した第1ニューラルネットワークN1とを用いて、ステップS3で生成された複数種類の被生成3次元人物モデルを評価する。このため、生成部112が生成した複数種類の被生成3次元人物モデルに、ステップS2で受信した属性情報が示す属性に関する評価を与えられる。制御部11は、ステップS4の処理後、ステップS5に進む。
【0073】
[ステップS5:被出力3次元人物モデルを出力]
制御部11は、記憶部12及び表示部13と協働して出力部114を実行し、ステップS3で生成された複数種類の被生成3次元人物モデルのうち、ステップS4で所定の評価がなされた被生成3次元人物モデルを、被出力3次元人物モデルとして出力する(ステップS5)。
【0074】
出力部114は、ステップS2で受信した属性情報が示す属性に関して所定の評価がなされている被出力3次元人物モデルを選別して、出力できる。被出力3次元人物モデルの出力に関する一連の処理が自動で行われるため、デザイナーは、利用者(発注者)が所望する3次元人物モデルをより少ない労力で出力させることができる。制御部11は、ステップS5の処理後、ステップS6に進む。
【0075】
[ステップS6:人物モデル構成情報を更新]
制御部11は、記憶部12と協働して更新部116を実行し、新たなIDとステップS5で出力された被出力3次元人物モデルを構成可能な情報を含む人物モデル構成情報と当該被出力3次元人物モデルを識別可能な情報を含む属性情報を紐付けて人物モデル情報テーブル121に追加する(ステップS6)。
【0076】
更新部116が新たなIDとステップS5で出力された被出力3次元人物モデルを構成可能な情報を含む人物モデル構成情報と当該被出力3次元人物モデルを識別可能な情報を含む属性情報を紐付けて人物モデル情報テーブル121に追加することにより、人物モデル情報テーブル121に格納された人物モデル構成情報が更新される。これにより、デザイナーは、ステップS1で実行される処理及び後述するステップS9で実行される処理において用いられる手本となる訓練データを少ない労力で用意できる。すなわち、デザイナーは、利用者(デザイナーへの発注者)が3次元人物モデルに求める属性をより一層反映した評価基準を、少ない労力で得ることができる。これにより、デザイナーは、利用者(発注者)が所望する3次元人物モデルを少ない労力で出力させることができる。
【0077】
このように、制御部11は、属性情報を受信したか否かをステップS2で判定して、その後の処理を行う。制御部11は、属性情報を受信していないときに、属性情報に応じた3次元人物モデルの生成、評価及び出力を行うステップS3からステップS5で実行される処理をスキップできる。また、制御部11は、人物モデル構成情報の更新に関するステップS6をスキップできる。これにより、制御部11で実行される処理の量を軽減できる。制御部11は、ステップS6の処理後、ステップS7に進む。
【0078】
[ステップS7:利用者から評価情報を受信したか否かを判定]
制御部11は、記憶部12及び入力部14と協働して受信部115を実行し、利用者から評価情報を受信したか否かを判定する(ステップS7)。制御部11は、利用者から評価情報を受信したならば、ステップS7でYesと判断し、ステップS8に進む。制御部11は、利用者から評価情報を受信していなければ、ステップS7でNoと判断し、ステップS1に戻る。
【0079】
[ステップS8:評価情報を更新]
制御部11は、記憶部12と協働して更新部116を実行し、利用者から受信した評価情報によって、人物モデル情報テーブル121に格納された、S5で出力された被出力3次元人物モデルに関する評価情報を更新する(ステップS8)。
【0080】
評価情報によって、人物モデル情報テーブル121に格納された評価情報を更新することにより、デザイナーは、ステップS1で実行される処理及び後述するステップS9で実行される処理において用いられる手本となる訓練データを少ない労力で用意できる。すなわち、デザイナーは、利用者(デザイナーへの発注者)が3次元人物モデルに求める属性をより一層反映した評価基準を、少ない労力で得ることができる。これにより、デザイナーは、利用者(発注者)が所望する3次元人物モデルを少ない労力で出力させることができる。制御部11は、ステップS8の処理後、ステップS9に進む。
【0081】
[ステップS9:教師なし学習による機械学習を実行]
制御部11は、記憶部12と協働して機械学習部117を実行し、人物モデル情報テーブル121から人物モデル構成情報、評価情報及び属性情報を取得する。そして、人物モデル構成情報、評価情報及び属性情報を用いて、ニューラルネットワークテーブル122に格納された第2ニューラルネットワークN2に、3次元人物モデルの生成を教師なし学習による機械学習させ、ニューラルネットワークテーブル122に格納された第2ニューラルネットワークN2を更新する(ステップS9)。
【0082】
ステップS9において機械学習を行うアルゴリズムは、教師なし学習であれば特に限定されず、クラスター分析、主成分分析、ベクトル量子化、自己組織化写像、敵対的生成ネットワーク(generative adversarial networkまたは GANとも称される。)、deep belief network (DBNとも称される。)、ヘッブの法則等の1以上を用いる、既知のニューラルネットワークの教師なし学習に関する機械学習アルゴリズムを利用できる。
【0083】
ステップS9で実行される機械学習により、第2ニューラルネットワークN2は、属性情報に関する3次元人物モデルをより精彩な状態で生成できるようになる。これにより、ステップS3において生成部112は、機械学習が行われた第2ニューラルネットワークN2を用い、利用者(デザイナーへの発注者)が所望する3次元人物モデルをより精彩な状態で生成できる。ステップS9で実行される教師なし学習による機械学習は、外部から手本となる訓練データが与えられなくても実行できるため、生成装置1は、デザイナーの労力を増やすことなく、利用者(発注者)が所望する3次元人物モデルをより精彩な状態で生成できる。
【0084】
したがって、ステップS1からステップS9の処理を実行することにより、利用者(発注者)が所望する3次元人物モデルを、コンピュータグラフィックスに携わるデザイナーができるだけ少ない労力で生成可能な3次元人物モデル生成装置1を提供できる。制御部11は、ステップS9の処理後、ステップS1へ戻る。
【0085】
このように、制御部11は、利用者から評価情報を受信したか否かを判定し、制御部11は、利用者から評価情報を受信したときに、“教師なし学習による機械学習”を行うことができる。なお、“教師なし学習による機械学習”は後述する。また、制御部11は、利用者から評価情報を受信していないときに、“教師なし学習による機械学習”を行うことなく、3次元人物モデル生成処理を繰り返せる。
【0086】
ステップS9において機械学習を行うアルゴリズムは、ニューラルネットワークへの入力に対するニューラルネットワークからの出力のばらつきを抑えることが可能であり、また、3次元人物モデルの生成及び評価を含む様々な機能をニューラルネットワーク上で実現可能であることから、敵対的生成ネットワークを含むことが好ましい。
【0087】
第2ニューラルネットワークN2を用いた被生成3次元人物モデルの生成において、受信した属性情報が第2ニューラルネットワークN2への入力に相当し、生成される被生成3次元人物モデルが第2ニューラルネットワークN2からの出力に相当する。入力に対する出力のばらつきを抑えることが可能であるため、第2ニューラルネットワークN2は、受信した属性情報に対して、所望の3次元人物モデルのみを精彩な状態で生成し、所望の3次元人物モデルとは似て非なる3次元人物モデルを生成しないようにできる。すなわち、属性情報に関する3次元人物モデルをより精彩な状態で生成できるようになる。
【0088】
図5は、ステップS9において実行される敵対的生成ネットワークを用いる場合における機械学習処理の流れの一例を示すフローチャートである。以下では、図5を参照しながら、図4のステップS9で実行される機械学習処理の好ましい手順について、機械学習を行うアルゴリズムが敵対的生成ネットワークを含む場合を例にとって説明する。
【0089】
[ステップS11:属性情報を取得]
制御部11は、記憶部12と協働して機械学習部117を実行し、第2ニューラルネットワークN2が更新された回数を示す更新回数を0に設定する。制御部11は、さらに、属性情報を取得する(ステップS11)。制御部11が更新回数を0に設定することにより、機械学習を、所定の回数連続して実行できる。制御部11が属性情報を取得することにより、属性情報に応じた機械学習を実行できる。制御部11は、ステップS11の処理後、ステップS12に進む。
【0090】
[ステップS12:被生成3次元人物モデルを生成]
制御部11は、記憶部12と協働して機械学習部117を実行し、第2ニューラルネットワークN2を用いて被生成人物モデルを生成する(ステップS12)。
【0091】
敵対的生成ネットワークによる機械学習では、生成器(generator)がデータを生成し、識別器(discriminator)が生成されたデータを識別する。そして、生成器は、生成したデータが正しいデータであると識別器に識別されることを目的とした機械学習を行う。制御部11が第2ニューラルネットワークN2を用いて被生成人物モデルを生成することにより、第2ニューラルネットワークN2を、敵対的生成ネットワークにおける生成器にすることができる。制御部11は、ステップS12の処理後、ステップS13に進む。
【0092】
[ステップS13:被生成3次元人物モデルを評価]
制御部11は、記憶部12と協働して機械学習部117を実行し、第1ニューラルネットワークN1を用いてステップS12で生成された被生成人物モデルを評価する(ステップS13)。
【0093】
機械学習部117が第1ニューラルネットワークN1を用いてステップS12で生成された被生成人物モデルを、制御部11がステップS13で評価する。このため、第1ニューラルネットワークN1を、敵対的生成ネットワークにおける識別器にすることができる。したがって、機械学習部117は、第2ニューラルネットワークN2を敵対的生成ネットワークにおける生成器とし、第1ニューラルネットワークN1を敵対的生成ネットワークにおける識別器とする、敵対的生成ネットワークによる機械学習を実行できる。制御部11は、ステップS13の処理後、ステップS14の判定を行う。
【0094】
[ステップS14:属性に関する評価基準を満たすか否かを判定]
制御部11は、記憶部12と協働して機械学習部117を実行し、ステップS12で生成された被生成3次元人物モデルが属性に関する評価基準を満たすか否かを判定する(ステップS14)。制御部11は、属性に関する評価基準を満たすならば、ステップS14でYesと判断し、ステップS15に進む。また、制御部11は、属性に関する評価基準を満たさないならば、ステップS14でNoと判断し、ステップS16に進む。
【0095】
[ステップS15:類似する被生成3次元人物モデルをより多く生成するよう、第2ニューラルネットワークN2を更新]
制御部11は、記憶部12と協働して機械学習部117を実行し、ステップS12で生成された被生成人物モデルに類似する被生成3次元人物モデルをより多く生成するよう、第2ニューラルネットワークN2を更新する(ステップS15)。
【0096】
機械学習部117がステップS12で生成された被生成人物モデルに類似する被生成3次元人物モデルをより多く生成するよう、第2ニューラルネットワークN2を更新することにより、第2ニューラルネットワークN2を用いる生成部112は、ステップS13で所定の評価を得た被生成3次元人物モデルに類似する被生成3次元人物モデルをより多く生成するようになる。すなわち、生成部112は、利用者(発注者)が所望する3次元人物モデルを、より精彩な状態で生成できるようになる。制御部11は、ステップS15の処理後、ステップS17に進む。
【0097】
[ステップS16:類似する被生成3次元人物モデルをより少なく生成するよう、第2ニューラルネットワークN2を更新]
制御部11は、記憶部12と協働して機械学習部117を実行し、ステップS12で生成された被生成人物モデルに類似する被生成3次元人物モデルをより少なく生成するよう、第2ニューラルネットワークN2を更新する(ステップS16)。
【0098】
機械学習部117がステップS12で生成された被生成人物モデルに類似する被生成3次元人物モデルをより少なく生成するよう、第2ニューラルネットワークN2を更新することにより、第2ニューラルネットワークN2を用いる生成部112は、ステップS13で所定の評価を得られなかった被生成3次元人物モデルに類似する被生成3次元人物モデルをより少なく生成するようになる。すなわち、生成部112は、利用者(発注者)が所望する3次元人物モデルを、より精彩な状態で生成できるようになる。
【0099】
このように、制御部11は、ステップS12で生成された被生成3次元人物モデルが属性に関する評価基準を満たすか否かを、ステップS14で判定する。そして、機械学習部117は、属性に関する評価基準を満たすか否かに応じて、類似する被生成3次元人物モデルが生成される割合を変化させるよう、第2ニューラルネットワークN2を更新できる。制御部11は、ステップS15の処理後、または、ステップS16の処理後、ステップS17に進む。
【0100】
[ステップS17:更新回数を1増やす]
制御部11は、記憶部12と協働して機械学習部117を実行し、更新回数を1増やす(ステップS17)。更新回数を1増やすことにより、第2ニューラルネットワークN2の更新が行われた回数を、更新回数に反映させられる。制御部11は、ステップS17の処理後、ステップS18に進む。
【0101】
[ステップS18:更新回数が所定の回数以上であるか否かを判定]
制御部11は、記憶部12と協働して機械学習部117を実行し、更新回数が所定の回数以上であるか否かを判定する(ステップS18)。制御部11は、更新回数が所定の回数未満であると、ステップS18でNoと判断し、
ステップS12に戻る。制御部11は、更新回数が所定の回数以上であると、ステップS18でYesと判断し、図4のステップS1に戻る。
【0102】
このように、制御部11は、更新回数が所定の回数以上であるか否かを判定して処理を変更することにより、敵対的生成ネットワークを用いた機械学習を、所定の回数とちょうど同じ回数だけ、連続して実行できる。
【0103】
制御部11がステップS11からステップS18の処理を実行することにより、機械学習部117は、第2ニューラルネットワークN2を敵対的生成ネットワークの生成器とし、第1ニューラルネットワークN1を敵対的生成ネットワークの識別器とする、敵対的生成ネットワークによる機械学習を行える。敵対的生成ネットワークによる機械学習では、生成器がデータを生成し、識別器が生成されたデータを識別する。そして、生成器は、生成したデータが正しいデータであると識別器に識別されることを目的とした機械学習を行う。
【0104】
生成器が被生成3次元人物モデルの生成に関する第2ニューラルネットワークN2であり、識別器が3次元人物モデルの評価基準を機械学習した第1ニューラルネットワークN1である敵対的生成ネットワークによる機械学習において、識別器が生成されたデータを正しいデータであると識別することは、評価基準を機械学習した第1ニューラルネットワークN1が第2ニューラルネットワークN2に生成された被生成3次元人物モデルを、利用者(発注者)が求める属性を備えた3次元人物モデルであると評価することに相当する。すなわち、第2ニューラルネットワークN2は、利用者(発注者)が求める属性を備えていると第1ニューラルネットワークN1に評価されるような被生成3次元人物モデルの生成を目的とした機械学習を行う。これにより、第2ニューラルネットワークN2を用いる生成部112は、所望の3次元人物モデルを、より精彩な状態で生成可能となる。
【0105】
上述の敵対的生成ネットワークによる機械学習は教師なし学習なので、デザイナーの労力を増やすことがない。したがって、利用者(発注者)が所望する3次元人物モデルを、コンピュータグラフィックスに携わるデザイナーが少ない労力で生成できる3次元人物モデル生成装置1を提供できる。
【0106】
ニューラルネットワークテーブル122に格納された第2ニューラルネットワークN2に、3次元人物モデルの生成を教師なし学習による機械学習させ、ニューラルネットワークテーブル122に格納された第2ニューラルネットワークN2を更新すると、制御部11は、処理を図4のステップS1に戻す。
【0107】
<3次元人物モデル生成装置1の使用例>
続いて、図6及び図7を用いて、本実施形態における3次元人物モデル生成装置1の使用例を説明する。
【0108】
[評価基準を学習]
利用者(発注者)から所望の属性を備える3次元人物モデルの生成を発注されたデザイナーは、3次元人物モデル生成処理を、生成装置1に実行させる。生成装置1は、評価学習部111を実行し、人物モデル情報テーブル121に格納された人物モデル構成情報、評価情報及び属性情報を用いて、第1ニューラルネットワークN1に評価基準を機械学習させる。
【0109】
図2を用いて、第1ニューラルネットワークN1に機械学習させる評価基準の一例を説明する。図2に示す人物モデル情報テーブル121には、3次元人物モデルの形状に関する属性情報について、属性情報「細長い顔」を有する人物モデル構成情報M1及びM3と、属性情報「幅広の顔」を有する人物モデル構成情報M2及びM4とが格納されている。
【0110】
評価学習部111は、人物モデル構成情報M1及びM3に共通する人物モデル構成情報の特徴である「細長い顔」「薄い色の肌」を、属性情報「細長い顔」に関する評価基準として第1ニューラルネットワークN1に機械学習させ、人物モデル構成情報M2及びM4に共通する人物モデル構成情報の特徴である「幅広の顔」「濃い色の肌」「ヒゲ無」「暗い色の髪」を、属性情報「幅広の顔」に関する評価基準として第1ニューラルネットワークN1に機械学習させる。
【0111】
[属性情報を受信]
図6は、属性情報を用いた3次元人物モデル生成の一例を示す説明図である。図6に示す例を用いて、属性情報を用いた3次元人物モデル生成を説明する。デザイナーは、利用者(発注者)が所望する属性を、属性情報として生成装置1に送信(入力)する。図6に示す例では、利用者(発注者)が所望する属性は、属性情報「幅広の顔」であるものとして説明を行う。生成装置1は、図4のステップS2において生成部112を実行し、デザイナーが送信した属性情報「幅広の顔」を受信する。
【0112】
[被出力3次元人物モデルを出力]
生成部112は、第2ニューラルネットワークN2と、属性情報「幅広の顔」とを用いて、ランダムな被生成3次元モデルG1からG4を生成する。
【0113】
評価部113は、第1ニューラルネットワークN1が機械学習した評価基準と、属性情報「幅広の顔」とを用いて、被生成3次元モデルG1からG4のそれぞれを評価する。
【0114】
被生成3次元モデルG1は、「幅広の顔」に関する4つの評価基準のうち、「幅広の顔」「濃い色の肌」「ヒゲ無」「暗い色の髪」の4つを満たしているため、100点満点で「100」点という高い評価を得る。また、被生成3次元モデルG3は、「幅広の顔」に関する4つの評価基準のうち、「幅広の顔」「暗い色の髪」の2つを満たしているため、「50」点という高い評価を得る。
【0115】
一方、被生成3次元モデルG2は、「幅広の顔」に関する4つの評価基準のうち、「ヒゲ無」しか満たしていないため、「25」点という低い評価を得る。また、被生成3次元モデルG4は、「幅広の顔」に関する4つの評価基準のうち、「濃い色の肌」しか満たしていないため、「25」点という低い評価を得る。
【0116】
出力部114は、所定の評価を得た被生成3次元モデルG1及びG3を、被出力3次元人物モデルP1及びP2として出力する。生成部112によって属性情報「幅広の顔」を備える被生成3次元モデルが生成され、評価部113によって評価され、所定の評価を得た被生成3次元モデルG1及びG3が出力されるため、図6に示すように、幅広の顔の特徴を備えた所望の3次元人物モデルである被出力3次元人物モデルP1及びP2が出力される。
【0117】
このように、被出力3次元人物モデルの出力に関する一連の処理が自動で行われるため、デザイナーは、利用者(発注者)が所望する属性情報「幅広の顔」を備えた3次元人物モデルをより少ない労力で出力させることができる。
【0118】
[利用者評価情報を受信]
図7は、利用者評価情報を用いた機械学習の一例を示す説明図である。図7に示す例を用いて、利用者評価情報を用いた機械学習を説明する。利用者(発注者)は、被出力3次元人物モデルP1及びP2に関する評価を、利用者評価情報として生成装置1に送信(入力)する。図7に示す例では、利用者(発注者)は被出力3次元人物モデルP1に「80」点という評価を与え、被出力3次元人物モデルP1に「90」点という評価を与えた。すなわち、利用者(発注者)は、顔の形状がより幅広である被出力3次元人物モデルP2により高い評価を与える、評価基準を用いた評価と異なる評価を行った。そして、利用者(発注者)は、それらの評価を利用者評価情報S1及びS2として生成装置1に送信した。生成装置1は、受信部115及び更新部116を実行し、利用者評価情報の受信と、人物モデル情報テーブル121の更新とを実行する。
【0119】
[教師なし学習による機械学習を実行]
生成装置1は、機械学習部117を実行し、第2ニューラルネットワークN2について、3次元人物モデルの生成を、教師なし学習により機械学習させる。そして、機械学習部117は、ニューラルネットワークテーブル122に格納された第2ニューラルネットワークN2を更新する。
【0120】
上述のとおり、評価部113は、図2に示す当初の人物モデル情報テーブル121に格納された情報をもとに、被出力3次元人物モデルP1に対して、被出力3次元人物モデルP2より高い評価を与えた。
【0121】
しかし、図7(a)に示すように、生成装置1が受信したのは、被出力3次元人物モデルP1に「80」点という評価を与える利用者評価情報S1と、被出力3次元人物モデルP1に「90」点という評価を与える利用者評価情報S2とである。すなわち、利用者(発注者)は、顔の形状がより幅広である被出力3次元人物モデルP2により高い評価を与える、評価基準を用いた評価と異なる評価を行った。これは、図2に示す当初の人物モデル情報テーブル121を用いた機械学習による評価基準が「幅広の顔」とは直接関係しない3次元人物モデル構成情報の特徴である「濃い色の肌」「ヒゲ無」「暗い色の髪」を、属性情報「幅広の顔」に関する評価基準に含めていたためである。
【0122】
更新部116は、被出力3次元人物モデルP1及びP2ならびに利用者評価情報S1及びS2を用いて人物モデル情報テーブル121を更新する。そして、機械学習部117は、更新された人物モデル情報テーブル121を用いて、第2ニューラルネットワークN2について、教師なし学習による機械学習を実行する。これにより、第2ニューラルネットワークN2は、属性情報「幅広の顔」に関する3次元人物モデルの特徴を、上述の評価を踏まえて機械学習する。そして、第2ニューラルネットワークN2は、「幅広の顔」に関する3次元人物モデル構成情報の特徴を、より深く学習したニューラルネットワークとなる。
【0123】
図7(b)に示すように、機械学習後の生成部112は、様々な肌の色、ヒゲの有無、及び髪の色と、幅広の顔とを備える被生成3次元人物モデルG11、G12、G13及びG14を生成する。すなわち、機械学習部117が実行した教師なし学習による機械学習によって、利用者(デザイナーへの発注者)が所望する3次元人物モデルを、より精彩な状態で生成できるようになる。教師なし学習による機械学習は、外部から手本となる訓練データが与えられなくても実行できるため、生成装置1は、デザイナーの労力を増やすことなく、利用者(発注者)が所望する3次元人物モデルをより精彩な状態で生成できる。
【0124】
したがって、本実施形態の3次元人物モデル生成装置1によれば、利用者(発注者)が所望する3次元人物モデルを、コンピュータグラフィックスに携わるデザイナーができるだけ少ない労力で生成できる。
【0125】
[人物モデル情報テーブル121に記憶される情報の他の例]
人物モデル情報テーブル121に記憶される属性情報には、次に情報が含まれていてもよい。人物モデル情報テーブル121は、例えば、利用者が求める3次元人物モデルの体形を記憶できる。また、利用者が求める3次元人物モデルを、表示部13または外部装置120の表示部に表示する場合、人物モデル情報テーブル121は、利用者が求める3次元人物モデルに適した背景の情報を記憶できる。人物モデル情報テーブル121は、利用者が求める3次元人物モデルに適した服の種類、服のデザイン、服の色、服の模様等を記憶できる。さらに、人物モデル情報テーブル121は、利用者が求める3次元人物モデルに適したバッグの種類、バッグのデザインなどを記憶できる。さらにまた、人物モデル情報テーブル121は、利用者が求める3次元人物モデルに適したアクセサリの種類、アクセサリの色を記憶できる。さらにまた、人物モデル情報テーブル121は、利用者が求める3次元人物モデルに適したヘアメイクを記憶できる。さらに、人物モデル情報テーブル121は、利用者が求める3次元人物モデルの体形、服等に適した履物を記憶できる。履物は、靴、下駄、草履、ブーツ、パンプス、ミュール、サンダル等を含む。さらに、人物モデル情報テーブル121は、利用者が求める3次元人物モデルの顔の表情、年齢、男性または女性の性別、顔や体の角度を記憶可能である。性別の情報としては、男性的な要素、または、女性的な要素を入れることもできる。顔の角度は、例えば、胴体の中心線に対する顔の中心線の角度を含む。体の角度は、例えば、ポージングを含む。
【0126】
3次元人物モデルの体形は、例えば、やせ形、標準形、太目形等を含む。3次元人物モデルの背景は、例えば、山、海、市街地、室内、屋外、空等を含む。人物モデルが着る服の種類は、シャツ、ブラウス、セーター、ニット、ジャケット、スカート、カーディガン、ベスト、パンツ等を含む。アクセサリは、ネックレス、ピアス、ブレスレット、サングラス、帽子等を含む。ヘアメイクは、ショートカット、ボブ、ロング、パーマ、ストレート等を含む。
【0127】
3次元人物モデルが着る服の種類、服のデザイン、服の色、服の模様、3次元人物モデルが持つバッグの種類、バッグのデザイン、3次元人物モデルが装着するアクセサリの種類、アクセサリの色、3次元人物モデルのヘアメイク、履物、3次元人物モデルの顔の表情、年齢、男性または女性の性別、顔や体の角度等は、人がアパレル3Dを用いて作成可能である。アパレル3Dでは、発注される3次元人物モデルを人が分析し、基本となるモデルに対して、予め用意されている各種のパターンの切り替え及び変更を行うことで、3次元人物モデルを生成する。
【0128】
利用者が求める3次元人物モデルが着る服の種類、服のデザイン、服の色、服の模様、バッグの種類、バッグのデザイン、アクセサリの種類、アクセサリの色、ヘアメイク、履、3次元人物モデルの顔の表情、年齢、男性または女性の性別、顔や体の角度等は、AIシステムにより作成してもよい。AIシステムは、発注される3次元人物モデルを分析し、発注者の好みにマッチしたデザインの服等の画像を生成するというシステムである。アパレル3Dのシステム、AIシステムは、3次元人物モデル生成装置1より構築されていてもよいし、外部装置120を用いて構築してもよい。
【0129】
[情報の他の例を、図4図5図6図7(a),(b)のフローチャートで用いる手法]
図4図5図6図7(a),(b)のフローチャートでは、属性情報に含まれるモデルの体形、モデルの背景、人物モデルが着る服の種類、服のデザイン、服の色、服の模様、人物モデルが持つバッグの種類、バッグのデザイン、人物モデルが装着するアクセサリの種類、アクセサリの色、人物モデルのヘアメイク、履物、3次元人物モデルの顔の表情、年齢、男性または女性の性別、顔や体の角度等の情報を用いて、各ステップの処理及び判断を行うことが可能である。
【0130】
[補足説明]
以上、本開示の実施形態及び各種変形例について説明したが、本開示は上述したこれらの実施形態及び各種変形例に限るものではない。また、本開示の実施形態及び各種変形例に記載された効果は、本開示から生じる最も好適な効果を列挙したものに過ぎず、本開示による効果は、本開示の実施形態及び各種変形例に記載されたものに限定されるものではない。
【0131】
また、上述した実施の形態は本開示を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。さらに、制御部11は、画像のエンコードの精度を高める、機械学習の回数及び情報量を増やすことにより、表示部13または表示部127で表示される3次元人物モデルの画像の画質及び画像の精度を向上させることができる。図4のステップS1は、機械学習ステップである。ステップS6は、更新ステップである。ステップS7でYesと判断することが、受信ステップである。ステップS5は、出力ステップである。ステップS3は、生成ステップである。ステップS4は、評価ステップである。ステップS1は、評価学習ステップである。
【符号の説明】
【0132】
1 生成装置
11 制御部
111 評価学習部
112 生成部
113 評価部
114 出力部
115 受信部
116 更新部
117 機械学習部
12 記憶部
121 人物モデル情報テーブル
122 ニューラルネットワークテーブル
13 表示部
14 入力部
G1、G2、G3、G4 被生成3次元人物モデル
G11、G12、G13、G14 被生成3次元人物モデル
P1、P2 被出力3次元人物モデル
S1、S2 利用者評価情報
N1 第1ニューラルネットワーク
N2 第2ニューラルネットワーク
【要約】
【課題】3次元人物モデルを、デザイナーができる限り少ない労力で生成可能な3次元人物モデル生成装置を提供する。
【解決手段】3次元人物モデルの評価基準を機械学習させる評価学習部111と、複数種類の被生成3次元人物モデルを生成可能な生成部112と、被生成3次元人物モデルを、評価基準及び属性情報を用いて評価可能な評価部113と、被生成3次元人物モデルのうち評価部113によって所定の評価がなされた被出力3次元人物モデルを出力可能な出力部114と、被出力3次元人物モデルに関する利用者評価情報を受信可能な受信部115と、被出力3次元人物モデル及び利用者評価情報によって人物モデル構成情報及び評価情報を更新可能にする更新部116と、教師なし学習による機械学習を実行可能な機械学習部117と、を有する3次元人物モデル生成装置。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7