(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-05
(45)【発行日】2023-09-13
(54)【発明の名称】領域構成予測方法及び領域構成予測装置
(51)【国際特許分類】
B29C 64/386 20170101AFI20230906BHJP
B29C 64/112 20170101ALI20230906BHJP
B33Y 10/00 20150101ALI20230906BHJP
B33Y 50/00 20150101ALI20230906BHJP
【FI】
B29C64/386
B29C64/112
B33Y10/00
B33Y50/00
(21)【出願番号】P 2020056246
(22)【出願日】2020-03-26
【審査請求日】2023-01-11
(73)【特許権者】
【識別番号】000137823
【氏名又は名称】株式会社ミマキエンジニアリング
(73)【特許権者】
【識別番号】304021831
【氏名又は名称】国立大学法人千葉大学
(74)【代理人】
【識別番号】100166545
【氏名又は名称】折坂 茂樹
(74)【代理人】
【識別番号】100142653
【氏名又は名称】小林 直樹
(72)【発明者】
【氏名】荒井 航
(72)【発明者】
【氏名】八角 邦夫
(72)【発明者】
【氏名】津村 徳道
(72)【発明者】
【氏名】平井 経太
(72)【発明者】
【氏名】福本 健亮
【審査官】田代 吉成
(56)【参考文献】
【文献】特開2002-248692(JP,A)
【文献】特開2010-114506(JP,A)
【文献】特開2017-80933(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B29C 64/386
B29C 64/112
B33Y 10/00
B33Y 50/00
(57)【特許請求の範囲】
【請求項1】
複数色の着色用の材料を用いて形成する領域の構成である領域構成を予測する領域構成予測方法であって、
着色された層状の領域が複数重なる構成である積層構成と所定の質感との関係をコンピュータシミュレーションにより予測する段階
であり、互いに異なる構成で前記層状の領域が重なる複数種類の前記積層構成について、それぞれの前記積層構成により表現される前記質感を予測する質感予測段階と、
前記積層構成と前記質感との関係とを学習させた学習モデルである学習済モデルを機械学習により生成する段階であり、前記複数種類の積層構成に対して前記質感予測段階において予測した前記質感に基づいて前記学習済モデルを生成する学習段階と、
所望の前記質感に対応する前記領域構成を予測する段階であり、前記学習段階で生成した前記学習済モデルを用いて前記質感に対応する前記積層構成を予測し、当該積層構成に基づき、前記所望の質感に対応する前記領域構成を予測する領域構成予測段階と
を備えることを特徴とする領域構成予測方法。
【請求項2】
前記複数色の着色用の材料は、複数色の造形の材料であり、
前記領域構成は、前記複数色の造形の材料を用いて造形物を造形する造形装置において造形しようとする前記造形物の少なくとも一部の領域に対応する構成であることを特徴とする請求項1に記載の領域構成予測方法。
【請求項3】
前記領域構成は、それぞれが着色された複数の層状の領域が前記造形物の表面での法線方向と平行な方向において重なる構成であることを特徴とする請求項2に記載の領域構成予測方法。
【請求項4】
前記領域構成予測段階は、
前記所望の質感が設定されたコンピュータグラフィックス画像に基づき、当該コンピュータグラフィックス画像に設定されている前記質感に対応するパラメータである設定パラメータを算出する設定パラメータ算出段階と、
前記学習済モデルに対する入力として前記設定パラメータ算出段階で算出した前記設定パラメータを用いて、前記積層構成を示す出力を取得する積層構成取得段階と
を有することを特徴とする請求項1から3のいずれかに記載の領域構成予測方法。
【請求項5】
前記質感は、複数の前記層状の領域が重なることで表現される透明感であり、
前記質感予測段階において、前記質感を示すパラメータとして、光の広がり方を示す関数を用いることを特徴とする請求項1から4のいずれかに記載の領域構成予測方法。
【請求項6】
前記質感を示すパラメータとして、線広がり関数(LSF)を用いることを特徴とする請求項5に記載の領域構成予測方法。
【請求項7】
前記質感予測段階において、前記複数色の着色用の材料のそれぞれに対応する吸収係数及び散乱係数を用いてコンピュータシミュレーションを行うことで、前記積層構成により表現される前記質感を予測することを特徴とする請求項1から6のいずれかに記載の領域構成予測方法。
【請求項8】
それぞれの色の前記着色用の材料に対応する試料を作成する各色試料作成段階と、
前記各色試料作成段階で作成した前記試料の光学的な特性を計測することで前記複数色の着色用の材料のそれぞれに対応する吸収係数及び散乱係数を決定する係数決定段階と
を更に備え、
前記質感予測段階において、前記係数決定段階で決定した吸収係数及び散乱係数を用いて、コンピュータシミュレーションを行うことを特徴とする請求項7に記載の領域構成予測方法。
【請求項9】
前記学習段階は、学習対象のニューラルネットワークである学習対象ニューラルネットワークに学習を行わせる段階であり、
前記学習対象ニューラルネットワークは、前記質感を示すパラメータを入力及び出力とし、前記積層構成を示すパラメータを中間出力とするニューラルネットワークであり、
前記質感を示すパラメータを入力とし、前記積層構成を示すパラメータを出力とするニューラルネットワークであるエンコーダ部と、
前記積層構成を示すパラメータを入力とし、前記質感を示すパラメータを出力とするニューラルネットワークであるデコーダ部と
を有することを特徴とする請求項1から8のいずれかに記載の領域構成予測方法。
【請求項10】
前記学習対象ニューラルネットワークは、前記エンコーダ部と前記デコーダ部とをつなげたニューラルネットワークであり、
前記学習段階は、
前記積層構成と前記質感との関係の学習を前記デコーダ部に行わせることで前記デコーダ部における重みを決定するデコーダ部学習段階と、
前記デコーダ部学習段階で決定した前記デコーダ部における重みを固定して前記学習対象ニューラルネットワークに学習を行わせる全体学習段階と
を有することを特徴とする請求項9に記載の領域構成予測方法。
【請求項11】
前記学習段階において、
前記質感予測段階において予測した前記質感に基づいて前記積層構成と前記質感との関係を示すデータであるシミュレーション取得データと、作成した試料に対して光学的な特性を計測することで取得される前記積層構成と前記質感との関係を示すデータである計測取得データとを用いて、前記学習済モデルを生成することを特徴とする請求項1から10のいずれかに記載の領域構成予測方法。
【請求項12】
前記学習段階において、前記シミュレーション取得データと前記計測取得データとを区別せずに用いて、前記学習済モデルを生成することを特徴とする請求項11に記載の領域構成予測方法。
【請求項13】
前記学習段階は、
前記計測取得データを用いず、前記シミュレーション取得データを用いた学習を学習モデルに対して行わせることで前記シミュレーション取得データを反映した学習モデルである中間生成モデルを生成する第1学習段階と、
前記中間生成モデルに対して前記計測取得データを用いた学習を更に行わせることで前記学習済モデルを生成する第2学習段階と
を有することを特徴とする請求項11に記載の領域構成予測方法。
【請求項14】
前記学習段階は、学習対象のニューラルネットワークである学習対象ニューラルネットワークに学習を行わせる段階であり、
前記学習対象ニューラルネットワークは、
前記質感を示すパラメータを入力とし、前記積層構成を示すパラメータを出力とするニューラルネットワークであるエンコーダ部と、
前記積層構成を示すパラメータを入力とし、前記質感を示すパラメータを出力とするニューラルネットワークであるデコーダ部と
をつなげたニューラルネットワークであり、前記質感を示すパラメータを入力及び出力とし、前記積層構成を示すパラメータを中間出力とし、
前記学習段階は、
前記積層構成と前記質感との関係の学習を前記デコーダ部に行わせることで前記デコーダ部における重みを決定する段階であるデコーダ部学習段階と、
前記デコーダ部学習段階で決定した前記デコーダ部における重みを固定して前記学習対象ニューラルネットワークに学習を行わせる全体学習段階と
を有し、
前記デコーダ部学習段階において、前記計測取得データを用いた学習を前記デコーダ部に行わせ、
前記全体学習段階において、前記シミュレーション取得データを用いた学習を前記学習対象ニューラルネットワークに行わせることを特徴とする請求項11に記載の領域構成予測方法。
【請求項15】
前記デコーダ部学習段階において、前記計測取得データを用い、かつ、前記シミュレーション取得データを用いずに、前記デコーダ部に学習を行わせ、
前記全体学習段階において、前記シミュレーション取得データ及び前記計測取得データを用いて、前記学習対象ニューラルネットワークに学習を行わせることを特徴とする請求項14に記載の領域構成予測方法。
【請求項16】
造形装置において造形しようとする造形物を示す造形データを生成する造形データ生成段階を更に備え、
前記造形データは、前記領域構成予測段階で予測した前記領域構成に基づく重ね方で前記造形装置に造形の材料を積層させるデータであることを特徴とする請求項1から15のいずれかに記載の領域構成予測方法。
【請求項17】
複数色の着色用の材料を用いて形成する領域の構成である領域構成を予測する領域構成予測方法であって、
所望の質感に対応する前記領域構成を予測する段階であり、着色された層状の領域が複数重なる構成である積層構成と所定の前記質感との関係をコンピュータシミュレーションにより予測した結果を学習することで生成された学習済モデルを用いて前記質感に対応する前記積層構成を予測し、当該積層構成に基づき、前記所望の質感に対応する前記領域構成を予測する領域構成予測段階を備えることを特徴とする領域構成予測方法。
【請求項18】
複数色の着色用の材料を用いて形成する領域の構成である領域構成を予測する領域構成予測装置であって、
着色された層状の領域が複数重なる構成である積層構成と所定の質感との関係をコンピュータシミュレーションにより予測する質感予測部と、
前記積層構成と前記質感との関係とを学習させた学習モデルである学習済モデルを機械学習により生成する学習済モデル作成部と、
所望の前記質感に対応する前記領域構成を予測する領域構成予測部と
を備え、
前記質感予測部は、互いに異なる構成で前記層状の領域が重なる複数種類の前記積層構成について、それぞれの前記積層構成により表現される前記質感を予測し、
前記学習済モデル作成部は、前記複数種類の積層構成に対して前記質感予測部において予測した前記質感に基づいて前記学習済モデルを生成し、
前記領域構成予測部は、前記学習済モデル作成部で生成した前記学習済モデルを用いて前記質感に対応する前記積層構成を予測し、当該積層構成に基づき、前記所望の質感に対応する前記領域構成を予測することを特徴とする領域構成予測装置。
【請求項19】
複数色の着色用の材料を用いて形成する領域の構成である領域構成を予測する領域構成予測装置であって、
所望の質感に対応する前記領域構成を予測する領域構成予測部を備え、
前記領域構成予測部は、着色された層状の領域が複数重なる構成である積層構成と所定の前記質感との関係をコンピュータシミュレーションにより予測した結果を学習することで生成された学習済モデルを用いて前記質感に対応する前記積層構成を予測し、当該積層構成に基づき、前記所望の質感に対応する前記領域構成を予測することを特徴とする領域構成予測装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、領域構成予測方法及び領域構成予測装置に関する。
【背景技術】
【0002】
従来、インクジェットヘッドを用いて造形物を造形する造形装置(3Dプリンタ)が知られている(例えば、特許文献1参照。)。このような造形装置においては、例えば、インクジェットヘッドにより形成するインクの層を複数層重ねることにより、積層造形法で造形物を造形する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
造形装置で造形物を造形する場合、造形の材料(例えば、インク)で形成される領域(例えば、着色された層状の領域)の重なり方により、造形物の質感に違いが生じる場合がある。例えば、互いに異なる色の複数種類のインクを造形の材料として用い、様々な色の領域を重ねて色を表現する場合、領域の重ね方によって、造形物の表面における透明感等の質感に違いが生じる場合がある。
【0005】
そのため、このような場合、ユーザ(例えば、デザイナ等)の所望の質感が得られる構成で造形の材料の領域が重なるように、造形物の造形を行うことが望まれる。そして、この場合、例えば、領域の重ね方(領域構成)について、所望の質感が得られる構成を適切に予測することが望まれる。そこで、本発明は、上記の課題を解決できる領域構成予測方法及び領域構成予測装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
造形物の造形時において、所望の質感が得られる領域構成を決定するためには、通常、実際に造形物を造形すること等で試行錯誤を行うことが必要である。しかし、造形物の造形には、多くの時間がかかるため、このような試行錯誤が必要になると、造形物の構成を決定するために要する手間が大きく増大することになる。
【0007】
これに対し、本願の発明者は、個々の造形物を造形する毎に試行錯誤を繰り返すのではなく、造形物の構成に対応する積層構成と質感との関係を予めコンピュータに機械学習させておき、所望の質感を入力することで対応する積層構成を出力させることを考えた。また、この場合において、互いに異なる構成で造形の材料の層を積層させた複数の試料を作成し、試料に対して所定の質感に対応する計測を行うことで、積層構成と質感との関係を取得し、その関係を学習する機械学習をコンピュータに行わせることを考えた。また、実際に様々な実験等を行うことで、このような方法で所望の質感に対応する領域構成を適切に決定できることを見出した。更には、このような方法に関し、本願の出願人は、特願2019-63003号として、出願を行った。
【0008】
このような方法で領域構成を決定する場合、例えば機械学習が完了した後においては、短時間で適切に領域構成を決定することができる。しかし、この場合も、機械学習に必要なデータを取得する段階において、多くの手間や時間を要することになる。より具体的に、例えば、上記のような方法で機械学習を行う場合、通常、多数の試料を作成して、それぞれの試料に対する計測を行うことが必要になる。そして、この場合、試料の作成や計測を行う段階において、多くの手間や時間を要することになる。
【0009】
これに対し、本願の発明者は、更なる鋭意研究により、多数の試料を作成することなく、コンピュータシミュレーションにより、積層構成と質感との関係を予測することを考えた。また、実際に様々な実験等を行うことで、このような方法でも、所望の質感に対応する領域構成を適切に決定できることを見出した。
【0010】
また、本願の発明者は、更なる鋭意研究により、このような効果を得るために必要な特徴を見出し、本発明に至った。上記の課題を解決するために、本発明は、複数色の着色用の材料を用いて形成する領域の構成である領域構成を予測する領域構成予測方法であって、着色された層状の領域が複数重なる構成である積層構成と所定の質感との関係をコンピュータシミュレーションにより予測する段階であり、互いに異なる構成で前記層状の領域が重なる複数種類の前記積層構成について、それぞれの前記積層構成により表現される前記質感を予測する質感予測段階と、前記積層構成と前記質感との関係とを学習させた学習モデルである学習済モデルを機械学習により生成する段階であり、前記複数種類の積層構成に対して前記質感予測段階において予測した前記質感に基づいて前記学習済モデルを生成する学習段階と、所望の前記質感に対応する前記領域構成を予測する段階であり、前記学習段階で生成した前記学習済モデルを用いて前記質感に対応する前記積層構成を予測し、当該積層構成に基づき、前記所望の質感に対応する前記領域構成を予測する領域構成予測段階とを備えることを特徴とする。
【0011】
このように構成すれば、例えば、積層構成と質感との関係をコンピュータシミュレーションによって適切に予測することができる。また、様々な構成の積層構成について、積層構成と質感との関係を機械学習で学習させた学習済モデルを生成することで、所望の質感に対応する積層構成を適切に予測することができる。また、予測した積層構成に基づき、所望の質感を得るための領域構成を適切に予測することができる。また、この場合、例えば、実際に多数の試料を作成することや多数の試料に対する計測等を行うことなく、機械学習に必要な多数のデータ(学習データ)を適切に準備することができる。また、これにより、例えば、学習済モデルを生成するために要する手間や時間等を適切に低減することができる。
【0012】
この構成において、複数色の着色用の材料としては、例えば、複数色の造形の材料を用いることが考えられる。この場合、領域構成について、例えば、複数色の造形の材料を用いて造形物を造形する造形装置において造形しようとする造形物の少なくとも一部の領域に対応する構成等と考えることができる。また、領域構成について、例えば、それぞれが着色された複数の層状の領域が造形物の表面での法線方向と平行な方向において重なる構成等と考えることもできる。このように構成すれば、例えば、積層構成に基づいて領域構成を適切に予測することができる。また、これにより、例えば、所望の質感を得るための造形物の構成を適切に予測することができる。
【0013】
尚、着色用の材料として造形の材料以外の材料を用いること等も考えられる。この場合、例えば、媒体(メディア)に対して印刷を行う印刷装置において用いるインク等について、着色用の材料と考えることもできる。また、この場合、印刷装置では、例えば、媒体上に様々な色のインクの層を複数重ねることで様々な質感を表現することが考えられる。そして、この場合、媒体上に重ねて形成されるインクの層の重なり方について、領域構成と考えることができる。また、印刷装置としては、媒体上にインクの層を重ねることで立体的な形状を形成する印刷装置(いわゆる、2.5Dプリンタ)を用いること等も考えられる。この場合、例えば、媒体上に形成される立体的な形状の表面の構成について、領域構成と考えることができる。
【0014】
また、この構成において、学習段階では、例えば、コンピュータに機械学習を行わせることで、学習済モデルを生成する。また、質感としては、例えば、複数の層状の領域が重なることで表現される透明感等を用いることが考えられる。この場合、質感予測段階において、質感を示すパラメータとしては、例えば、光の広がり方を示す関数を用いることが考えられる。また、より具体的に、このような質感を示すパラメータとしては、例えば、線広がり関数(LSF)等を好適に用いることができる。このように構成すれば、例えば、所望の透明感に対応する積層構成等の予測を適切に行うことができる。
【0015】
また、この構成において、領域構成予測段階は、例えば、パラメータ算出段階及び積層構成取得段階を有する。この場合、パラメータ算出段階とは、例えば、所望の質感が設定されたコンピュータグラフィックス画像に基づき、当該コンピュータグラフィックス画像に設定されている質感に対応するパラメータである設定パラメータを算出する段階である。また、積層構成取得段階とは、例えば、学習済モデルに対する入力として設定パラメータ算出段階で算出した設定パラメータを用いて、積層構成を示す出力を取得する段階である。このように構成すれば、例えば、所望の質感の指定を適切に受け付け、その質感に対応する積層構成を適切に出力することができる。
【0016】
また、質感予測段階においては、例えば、複数色の着色用の材料のそれぞれに対応する吸収係数及び散乱係数を用いてコンピュータシミュレーションを行うことで、積層構成により表現される質感を予測する。このように構成すれば、例えば、積層構成に対応する質感の予測をコンピュータシミュレーションによって適切に行うことができる。質感予測段階では、例えば、公知のコンピュータシミュレーションの手法と同一又は同様の手法のコンピュータシミュレーションを用いることができる。例えば、質感予測段階では、光散乱モンテカルロシミュレーション法(MCML法)でのコンピュータシミュレーション等を好適に用いることができる。
【0017】
また、複数色の着色用の材料のそれぞれに対応する吸収係数及び散乱係数については、例えば、少数の試料に対する計測等で取得することが考えられる。この場合、領域構成予測方法は、例えば、各色試料作成段階及び係数決定段階を更に備える。各色試料作成段階とは、例えば、それぞれの色の着色用の材料に対応する試料を作成する段階である。この場合、例えば、造形装置を用いて試料を作成することが考えられる。また、係数決定段階は、例えば、各色試料作成段階で作成した試料の光学的な特性を計測することで複数色の着色用の材料のそれぞれに対応する吸収係数及び散乱係数を決定する段階である。また、この場合、質感予測段階では、例えば、係数決定段階で決定した吸収係数及び散乱係数を用いて、コンピュータシミュレーションを行う。このように構成すれば、例えば、複数色の着色用の材料のそれぞれに対応する吸収係数及び散乱係数を適切に決定することができる。また、これにより、例えば、質感予測段階でのコンピュータシミュレーションを高い精度で適切に行うことができる。
【0018】
また、学習段階において、機械学習としては、例えば、深層学習(ディープラーニング)等を好適に用いることができる。この場合、学習段階について、例えば、学習対象のニューラルネットワークである学習対象ニューラルネットワークに学習を行わせる段階等と考えることができる。また、この場合、学習対象ニューラルネットワークとしては、例えば、質感を示すパラメータを入力及び出力とし、積層構成を示すパラメータを中間出力とするニューラルネットワーク等を好適に用いることができる。また、より具体的に、このような学習対象ニューラルネットワークとしては、例えば、エンコーダ部及びデコーダ部を有するニューラルネットワーク等を好適に用いることができる。この場合、エンコーダ部について、例えば、質感を示すパラメータを入力とし、積層構成を示すパラメータを出力とするニューラルネットワーク等と考えることができる。また、デコーダ部について、例えば、積層構成を示すパラメータを入力とし、質感を示すパラメータを出力とするニューラルネットワーク等と考えることができる。このように構成すれば、例えば、積層構成と質感との関係を学習させた学習済モデルを適切に生成することができる。また、エンコーダ部及びデコーダ部のそれぞれとしては、例えば、3層以上の多層のニューラルネットワークを用いることが好ましい。
【0019】
また、この場合、学習対象ニューラルネットワークについて、例えば、エンコーダ部とデコーダ部とをつなげたニューラルネットワーク等と考えることができる。また、このような学習対象ニューラルネットワークを用いる場合、例えば、先にデコーダ部に学習を行わせ、その後に学習対象ニューラルネットワークの全体に学習を行わせることが考えられる。より具体的に、この場合、学習段階は、例えば、デコーダ部学習段階及び全体学習段階を有する。デコーダ部学習段階については、例えば、積層構成と質感との関係の学習をデコーダ部に行わせることでデコーダ部における重みを決定する段階等と考えることができる。全体学習段階については、例えば、積層構成と質感との関係の学習を学習対象ニューラルネットワークの全体に行わせる段階等と考えることができる。また、この場合、全体学習段階では、例えば、デコーダ部学習段階で決定したデコーダ部における重みを固定して、学習対象ニューラルネットワークに学習を行わせる。このように構成すれば、例えば、学習済モデルの生成を適切に行うことができる。
【0020】
ここで、ニューラルネットワークにおける重みとは、ニューラルネットワークを構成するニューロン間に設定される重みのことである。また、このような学習対象ニューラルネットワークを用いる場合、領域構成予測段階では、例えば、学習対象ニューラルネットワークに学習を行わせることで作成した学習済モデルを用いて、質感に対応する積層構成を予測する。このように構成すれば、例えば、所望の質感に対応する積層構成の予測を適切に行うことができる。
【0021】
また、所望の質感に対応する積層構成の予測をより高い精度で行おうとする場合には、コンピュータシミュレーション以外の方法で取得したデータを更に用いること等も考えられる。この場合、例えば、様々な積層構成に対応する試料を実際に作成して、注目する質感に対応する計測を試料に対して行うこと等が考えられる。このように構成した場合も、コンピュータシミュレーションにより取得したデータを用いることで、例えば、必要な試料の数を大幅に削減することができる。
【0022】
また、より具体的に、この場合、学習段階では、例えば、シミュレーション取得データ及び計測取得データを用いて、学習済モデルを生成する。シミュレーション取得データとは、例えば、質感予測段階において予測した質感に基づいて積層構成と質感との関係を示すデータである。また、計測取得データとは、例えば、造形装置等を用いて作成した試料に対して光学的な特性を計測することで取得される積層構成と質感との関係を示すデータである。このように構成すれば、例えば、高い精度で質感と積層構成との関係を予測できる学習済モデルを適切に生成することができる。
【0023】
また、この場合、学習段階では、例えば、シミュレーション取得データと計測取得データとを区別せずに用いて、学習済モデルを生成することが考えられる。この場合、シミュレーション取得データと計測取得データとを区別せずに用いることについては、例えば、学習済モデルを生成するための学習時において、それぞれのデータがシミュレーション取得データ及び計測取得データのいずれであるかによって扱い方を変えずに、同じように扱うことである。また、このような動作については、例えば、計測取得データを追加することで学習に用いるデータの数を増やす動作等と考えることもできる。このように構成すれば、例えば、容易かつ適切にシミュレーション取得データ及び計測取得データを用いることができる。
【0024】
また、シミュレーション取得データ及び計測取得データについては、それぞれの特徴を活かすように、異なる用い方で用いることも考えられる。より具体的に、シミュレーション取得データについては、例えば、多数のデータをより容易に作成できると考えることができる。また、計測取得データについては、例えば、質感と積層構成との関係をより高い精度で示していると考えることができる。そして、この場合、例えば、最初にシミュレーション取得データを用いた学習を行わせて学習を進めた学習モデルを生成し、その学習モデルに対して計測取得データを用いた学習を行わせること等が考えられる。また、このような動作については、例えば、シミュレーション取得データを反映した学習モデルに対する調整を計測取得データを用いて行う動作等と考えることもできる。
【0025】
また、この場合、学習段階は、例えば、第1学習段階及び第2学習段階を有する。この場合、第1学習段階では、例えば、計測取得データを用いず、シミュレーション取得データを用いた学習を学習モデルに対して行わせることで、シミュレーション取得データを反映した学習モデルである中間生成モデルを生成する。また、第2学習段階では、例えば、中間生成モデルに対して計測取得データを用いた学習を更に行わせることで学習済モデルを生成する。このように構成すれば、例えば、シミュレーション取得データ及び計測取得データについて、それぞれの特徴を活かすよう適切に用いることができる。また、これにより、例えば、より高い精度で質感と積層構成との関係を予測できる学習済モデルを適切に生成することができる。
【0026】
また、エンコーダ部及びデコーダ部を有する学習対象ニューラルネットワークを用いる場合、学習対象ニューラルネットワークの構成に合わせてシミュレーション取得データ及び計測取得データを用いること等も考えられる。より具体的に、この場合、例えば、先に行うデコーダ部学習段階において、計測取得データを用いた学習をデコーダ部に行わせることが考えられる。また、この場合、全体学習段階では、例えば、シミュレーション取得データを用いた学習を学習対象ニューラルネットワークに行わせる。このように構成すれば、例えば、実際に作成した試料の特性を学習済モデルにより適切に反映させることができる。また、更に具体的に、この場合、デコーダ部学習段階では、例えば、計測取得データを用い、かつ、シミュレーション取得データを用いずに、デコーダ部に学習を行わせる。また、全体学習段階では、例えば、シミュレーション取得データ及び計測取得データを用いて、学習対象ニューラルネットワークに学習を行わせる。このように構成すれば、例えば、実際に作成した試料の特性を学習済モデルにより適切に反映させることができる。
【0027】
また、複数色の着色用の材料として複数色の造形の材料を用いる場合等において、所望の質感に対応する積層構成を予測した後には、例えば、予測結果に基づき、造形しようとする造形物を示す造形データを生成することが考えられる。この場合、領域構成予測方法は、例えば、造形データを生成する造形データ生成段階を更に備える。造形データとしては、例えば、領域構成予測段階で予測した領域構成で造形物の少なくとも一部が形成されるように造形装置に造形の材料を積層させるデータを生成することが考えられる。このように構成すれば、例えば、所望の質感が得られる造形物の造形を造形装置に適切に行わせることができる。
【0028】
また、本発明の構成として、上記の一部の特徴から構成される領域構成予測方法等を考えることもできる。この場合、例えば、領域構成予測段階の動作に着目した領域構成予測方法等を考えることもできる。また、本発明の構成として、例えば、上記の領域構成予測方法に対応する領域構成予測装置を用いること等も考えられる。これらの場合も、例えば、上記と同様の効果を得ることができる。
【発明の効果】
【0029】
本発明によれば、例えば、所望の質感を得るための領域構成を適切に予測することができる。
【図面の簡単な説明】
【0030】
【
図1】本発明の一実施形態に係る領域構成予測方法を実行する造形システム10について説明をする図である。
図1(a)は、造形システム10の構成の一例を示す。
図1(b)は、造形装置12の要部の構成の一例を示す。
図1(c)は、造形装置12におけるヘッド部102の構成の一例を示す。
【
図2】造形物50の構成について説明をする図である。
図2(a)は、造形装置12において造形する造形物50の構成の一例を示す断面図である。
図2(b)は、造形物50における着色領域154の構成の一例を示す。
【
図3】着色領域154を用いて表現する造形物の質感の一例を示す図である。
図3(a)は、人間の肌の構成を簡略化して示す断面図である。
図3(b)は、肌の質感を表現する場合に用いる着色領域154の構成の一例を示す。
図3(c)は、着色領域154を構成する各領域の層数を異ならせた例を示す。
【
図4】学習済モデルを用いて領域構成を予測する動作について説明をする図である。
図4(a)は、制御PC14の構成の一例を示す。
図4(b)は、制御PC14において造形データを生成する動作の一例を示すフローチャートである。
【
図5】学習済モデルを生成する動作について説明をする図である。
図5(a)は、学習済モデルを生成する動作の一例を示すフローチャートである。
図5(b)は、ステップS102の動作をより詳細に示すフローチャートである。
【
図6】インクサンプルに対して行う計測等について更に詳しく説明をする図である。
図6(a)は、インクサンプルの一例を示す写真である。
図6(b)は、インクサンプルに対する計測時に撮影する写真の例を示す。
図6(c)は、本例において用いるダイポールモデルを表す数式を示す。
【
図7】本例において行うシミュレーションについて更に詳しく説明をする図である。
【
図8】本例において実行する機械学習で利用する学習モデルの構成の一例を示す図である。
図8(a)は、学習モデルとして用いる深層ニューラルネットワーク(DNN)の構成の一例を示す。
図8(b)は、学習モデルに対する入力、出力、及び中間出力の例を示す。
【
図9】本例において行う機械学習について説明をする図である。
図9(a)は、学習モデルに学習を行わせる動作の一例を示すフローチャートである。
図9(b)は、デコーダ部604の学習曲線の一例を示す。
図9(c)は、エンコーダ部602の学習曲線の一例を示す。
【
図10】シミュレーション取得データ及び計測取得データを用い方の変形例について説明をする図である。
図10(a)は、シミュレーション取得データ及び計測取得データを用いて学習済モデルを生成する動作の変形例を示すフローチャートである。
図10(b)は、シミュレーション取得データ及び計測取得データを用い方の更なる変形例を示す。
【発明を実施するための形態】
【0031】
以下、本発明に係る実施形態を、図面を参照しながら説明する。
図1は、本発明の一実施形態に係る領域構成予測方法を実行する造形システム10について説明をする図である。
図1(a)は、造形システム10の構成の一例を示す。以下において説明をする点を除き、造形システム10は、公知の造形システムと同一又は同様の特徴を有してよい。
【0032】
本例において、造形システム10は、立体的な造形物を造形するシステムであり、造形装置12及び制御PC14を備える。造形装置12は、造形物の造形を実行する装置であり、造形の材料としてインクを用い、インクの層を積層することにより、積層造形法で造形物を造形する。この場合、積層造形法とは、例えば、複数の層を重ねて造形物を造形する方法のことである。造形物とは、例えば、立体的な三次元構造物のことである。インクについては、例えば、機能性の液体等と考えることができる。また、本例において、インクは、造形の材料の一例である。インクについては、例えば、インクジェットヘッドから吐出する液体等と考えることもできる。この場合、インクジェットヘッドとは、インクジェット方式で液体を吐出する吐出ヘッドのことである。
【0033】
また、本例において、造形装置12は、互いに異なる色の複数色のインクを用いて、着色された造形物を造形する。このような造形装置12としては、例えば、公知の造形装置を好適に用いることができる。より具体的に、造形装置12としては、例えば、ミマキエンジニアリング社製の造形装置(3Dプリンタ)等を好適に用いることができる。また、本例において、インクとしては、紫外線の照射により液体状態から硬化する紫外線硬化型のインク(UVインク)を用いる。
【0034】
制御PC14は、所定のプログラムに応じて動作するコンピュータであり、造形しようとする造形物を示す造形データを造形装置12へ供給することにより、造形装置12の動作を制御する。また、より具体的に、本例において、制御PC14は、造形しようとする造形物の形状等を示す立体データに対し、所望の質感の設定等を行って、造形データを生成する。この場合、制御PC14は、造形物を示すコンピュータグラフィック画像(以下、CG画像という)を立体データに基づいて生成し、立体データを作成したデザイナ等のユーザに対してCG画像を示しつつ、質感の設定等を、ユーザから受け付ける。そして、設定された質感で造形装置12に造形物を造形させる造形データを生成する。また、本例において、制御PC14は、領域構成予測装置の一例である。制御PC14において造形データを生成する動作については、後に更に詳しく説明をする。
【0035】
続いて、造形装置12のより具体的な構成や造形装置12において造形する造形物の構成等について、更に詳しく説明をする。
図1(b)は、造形装置12の要部の構成の一例を示す。以下に説明をする点を除き、造形装置12は、公知の造形装置と同一又は同様の特徴を有してよい。より具体的に、以下に説明をする点を除き、造形装置12は、インクジェットヘッドを用いて造形物50の材料となる液滴を吐出することで造形を行う公知の造形装置と同一又は同様の特徴を有してよい。また、造形装置12は、図示した構成以外にも、例えば、造形物50の造形等に必要な各種構成を更に備えてよい。
【0036】
本例において、造形装置12は、積層造形法により立体的な造形物50を造形する造形装置(3Dプリンタ)であり、ヘッド部102、造形台104、走査駆動部106、及び制御部110を備える。ヘッド部102は、造形物50の材料を吐出する部分である。また、上記においても説明をしたように、本例において、造形物50の材料としては、紫外線硬化型のインクを用いる。この場合、紫外線硬化型のインクは、所定の条件に応じて硬化するインクの一例である。また、より具体的に、ヘッド部102は、造形物50の材料として、複数のインクジェットヘッドから、紫外線硬化型のインクを吐出する。そして、着弾後のインクを硬化させることにより、造形物50を構成する各層を重ねて形成する。また、ヘッド部102は、造形物50の材料に加え、サポート層52の材料を更に吐出する。これにより、ヘッド部102は、造形物50の周囲等に、必要に応じて、サポート層52を形成する。サポート層52とは、例えば、造形中の造形物50の少なくとも一部を支持する積層構造物のことである。サポート層52は、造形物50の造形時において、必要に応じて形成され、造形の完了後に除去される。
【0037】
造形台104は、造形中の造形物50を支持する台状部材であり、ヘッド部102におけるインクジェットヘッドと対向する位置に配設され、造形中の造形物50及びサポート層52を上面に載置する。また、本例において、造形台104は、少なくとも上面が積層方向(図中のZ方向)へ移動可能な構成を有しており、走査駆動部106に駆動されることにより、造形物50の造形の進行に合わせて、少なくとも上面を移動させる。この場合、積層方向については、例えば、積層造形法において造形の材料が積層される方向等と考えることができる。また、本例において、積層方向は、造形装置12において予め設定される主走査方向(図中のY方向)及び副走査方向(図中のX方向)と直交する方向である。
【0038】
走査駆動部106は、造形中の造形物50に対して相対的に移動する走査動作をヘッド部102に行わせる駆動部である。この場合、造形中の造形物50に対して相対的に移動するとは、例えば、造形台104に対して相対的に移動することである。また、ヘッド部102に走査動作を行わせるとは、例えば、ヘッド部102が有するインクジェットヘッドに走査動作を行わせることである。また、本例において、走査駆動部106は、走査動作として、主走査動作(Y走査)、副走査動作(X走査)、及び積層方向走査動作(Z走査)をヘッド部102に行わせる。主走査動作とは、例えば、造形中の造形物50に対して相対的に主走査方向へ移動しつつインクを吐出する動作のことである。また、副走査動作とは、例えば、主走査方向と直交する副走査方向へ造形中の造形物50に対して相対的に移動する動作のことである。副走査動作については、例えば、予め設定された送り量だけ副走査方向へ造形台104に対して相対的に移動する動作等と考えることもできる。本例において、走査駆動部106は、主走査動作の合間に、ヘッド部102に副走査動作を行わせる。また、積層方向走査動作とは、例えば、造形中の造形物50に対して相対的に積層方向へヘッド部102を移動させる動作のことである。走査駆動部106は、例えば、造形の動作の進行に合わせてヘッド部102に積層方向走査動作を行わせることにより、積層方向において、造形中の造形物50に対するインクジェットヘッドの相対位置を調整する。
【0039】
制御部110は、例えば造形装置12のCPUを含む構成であり、造形装置12の各部を制御することにより、造形装置12における造形の動作を制御する。より具体的に、制御部110は、例えば造形すべき造形物50の形状情報や、カラー情報等に基づき、造形装置12の各部を制御する。本例によれば、造形物50を適切に造形できる。
【0040】
また、本例において、造形装置12におけるヘッド部102は、例えば
図1(c)に示す構成を有する。
図1(c)は、ヘッド部102の構成の一例を示す。本例において、ヘッド部102は、複数のインクジェットヘッド、複数の紫外線光源124、及び平坦化ローラ126を有する。また、複数のインクジェットヘッドとして、図中に示すように、インクジェットヘッド122s、インクジェットヘッド122w、インクジェットヘッド122y、インクジェットヘッド122m、インクジェットヘッド122c、インクジェットヘッド122k、及びインクジェットヘッド122tを有する。これらの複数のインクジェットヘッドは、例えば、副走査方向における位置を揃えて、主走査方向へ並べて配設される。また、それぞれのインクジェットヘッドは、造形台104と対向する面に、所定のノズル列方向へ複数のノズルが並ぶノズル列を有する。本例において、ノズル列方向は、副走査方向と平行な方向である。
【0041】
また、これらのインクジェットヘッドのうち、インクジェットヘッド122sは、サポート層52の材料を吐出するインクジェットヘッドである。サポート層52の材料としては、例えば、サポート層用の公知の材料を好適に用いることができる。インクジェットヘッド122wは、白色(W色)のインクを吐出するインクジェットヘッドである。また、本例において、白色のインクは、光反射性のインクの一例であり、例えば造形物50において光を反射する性質の領域(光反射領域)を形成する場合に用いられる。この光反射領域は、例えば、造形物50表面に対してフルカラー表現での着色を行う場合に、造形物50の外部から入射する光を反射する。フルカラー表現については、例えば、プロセスカラーのインクによる減法混色法の可能な組み合わせで行う色の表現等と考えることができる。
【0042】
インクジェットヘッド122y、インクジェットヘッド122m、インクジェットヘッド122c、インクジェットヘッド122kは、着色された造形物50の造形時に用いられる着色用のインクジェットヘッドであり、着色に用いる複数色のインク(着色用のインク)のそれぞれのインクを吐出する。より具体的に、インクジェットヘッド122yは、イエロー色(Y色)のインクを吐出する。インクジェットヘッド122mは、マゼンタ色(M色)のインクを吐出する。インクジェットヘッド122cは、シアン色(C色)のインクを吐出する。また、インクジェットヘッド122kは、ブラック色(K色)のインクを吐出する。この場合、YMCKの各色は、フルカラー表現に用いるプロセスカラーの一例である。また、本例において、YMCKの各色のインクは、複数色の着色用の材料及び複数色の造形の材料の一例である。また、インクジェットヘッド122tは、クリアインクを吐出するインクジェットヘッドである。クリアインクとは、例えば、可視光に対して無色で透明(T)なインクのことである。
【0043】
複数の紫外線光源124は、インクを硬化させるための光源(UV光源)であり、紫外線硬化型のインクを硬化させる紫外線を発生する。また、本例において、複数の紫外線光源124のそれぞれは、間にインクジェットヘッドの並びを挟むように、ヘッド部102における主走査方向の一端側及び他端側のそれぞれに配設される。紫外線光源124としては、例えば、UVLED(紫外LED)等を好適に用いることができる。また、紫外線光源124として、メタルハライドランプや水銀ランプ等を用いることも考えられる。平坦化ローラ126は、造形物50の造形中に形成されるインクの層を平坦化するための平坦化手段である。平坦化ローラ126は、例えば主走査動作時において、インクの層の表面と接触して、硬化前のインクの一部を除去することにより、インクの層を平坦化する。
【0044】
以上のような構成のヘッド部102を用いることにより、例えば、造形物50を構成するインクの層を適切に形成できる。また、複数のインクの層を重ねて形成することにより、例えば、造形物50を適切に造形できる。また、ヘッド部102の具体的な構成については、上記において説明をした構成に限らず、様々に変形することもできる。例えば、ヘッド部102は、着色用のインクジェットヘッドとして、上記以外の色用のインクジェットヘッドを更に有してもよい。また、ヘッド部102における複数のインクジェットヘッドの並べ方についても、様々に変形可能である。例えば、一部のインクジェットヘッドについて、他のインクジェットヘッドと副走査方向における位置をずらしてもよい。
【0045】
続いて、本例の造形装置12において造形する造形物50の構成の例について、説明をする。
図2は、造形物50の構成について説明をする図である。
図2(a)は、造形装置12において造形する造形物50の構成の一例を示す断面図である。
図2(b)は、造形物50における着色領域154の構成の一例を示す。本例において、造形装置12は、表面の少なくとも一部が着色された造形物50を造形する。この場合、造形物50の表面については、例えば、造形物50の外部から色彩を視認できる領域等と考えることができる。また、上記においても説明をしたように、本例において、造形装置12は、積層造形法で造形物50の造形を行う。そして、この場合、造形装置12は、所定の厚さのインクの層を積層方向へ重ねることで、造形物50の造形を行う。より具体的に、この場合、造形装置12は、例えば、図中において造形単位層502として示すインクの層を重ねて形成することで、造形物50の造形を行う。
【0046】
また、本例において、造形装置12は、例えば図中に示すように、内部領域152及び着色領域154を備える造形物50を造形する。内部領域152は、造形物50の内部を構成する領域であり、着色領域154により周囲を囲まれるように、造形物50の内部に形成される。また、本例において、内部領域152は、白色のインク等の光反射性のインクで形成されることで、光反射領域を兼ねた領域として形成される。造形物50の構成の変形例においては、内部領域152とは別に光反射領域を形成してもよい。この場合、内部領域152については、例えば、任意の色のインクで形成することができる。また、この場合、光反射領域は、例えば、内部領域152と着色領域154との間に形成される。
【0047】
着色領域154は、造形物50において着色がされる領域であり、着色用の複数色のインクを用いて、造形物50の表面における法線方向での厚さ(外周面からの深さ)が一定になるように造形物50の表面に形成されることで、様々な色に着色がされた状態で形成される。また、本例において、造形装置12は、例えば、CMYKの各色及びクリアインクを用いて、造形物50における着色領域154を形成する。また、造形装置12は、着色用のインクとして、例えばW色のインク等を更に用いてもよい。
【0048】
また、本例において、造形装置12は、
図2(b)に示すように、複数の層状領域202が重なる構成の着色領域154を形成する。また、この場合において、造形装置12は、それぞれの層状領域202について、個別に様々な色での着色を行って形成する。また、複数の層状領域202について、造形物50の表面における法線方向と平行な方向において重なるように形成する。この場合、造形物50の表面における法線方向については、例えば、造形物50の表面の各位置において表面と直交する方向等と考えることができる。このように構成すれば、例えば、着色領域154において多様な質感を表現することができる。また、
図2(b)では、それぞれの層状領域202の色の違いについて、図示の便宜上、網掛け模様を異ならせて示している。
【0049】
ここで、本例において、着色領域154を構成する層状領域202については、例えば、厚さが略一定であり、かつ、法線方向と直交する方向へ広がる領域等と考えることができる。また、上記においても説明をしたように、本例において、造形装置12は、積層造形法で造形物50の造形を行う。この場合、積層造形法での積層方向における上面側や下面側では、積層造形法で積層するそれぞれのインクの層である造形単位層502について、着色領域154を構成するそれぞれの層状領域202としてそのまま用いることが考えられる。また、上面や下面に対して交差する造形物50の側面において、着色領域154は、法線方向における厚さが一定になるように、側面に沿って形成される。また、この場合、着色領域154の構成は、側面に沿った層状領域202が複数重なる構成になる。そして、この場合、層状領域202について、造形単位層502とは別の層状の領域等と考えることができる。また、層状領域202については、例えば、着色領域154において質感を表現するための層状の領域等と考えることもできる。また、着色領域154を構成するそれぞれの層状領域202については、予め設定された一定の厚さで形成することが好ましい。そのため、本例においては、層状領域202の色の違いによって層状領域202の厚さに差が生じないように、無色で透明なインクであるクリアインクを用いて、適宜インクの量の補填を行う。この場合、クリアインクを用いた補填については、例えば、それぞれの層状領域202の色の違いによって生じる有色のインクの使用量の差に対する補填等と考えることができる。
【0050】
また、上記においても説明をしたように、本例によれば、複数の層状領域202を重ねた構成の着色領域154を形成することで、着色領域154において多様な質感を表現することができる。この場合、質感として、例えば、透明感等を表現することが考えられる。また、透明感を表現することで、例えば、人間の肌の質感等を高い品質で再現する着色領域154を形成すること等が考えられる。また、この場合、例えば、
図3を用いて以下において説明をする構成の着色領域154を形成すること等が考えられる。
【0051】
図3は、着色領域154を用いて表現する造形物の質感の一例を示す図であり、人間の肌の質感を表現する場合の着色領域154の構成の一例を示す。
図3(a)は、人間の肌の構成を簡略化して示す断面図である。図中に示すように、人間の肌は、皮下組織の上に真皮及び表皮が重なる多層構造を有している。そこで、本例においては、例えば、肌の多層構造を模した領域構成(層構造)で層状領域202を重ねた着色領域154を用いることで、肌の質感を再現する。この場合、領域構成については、例えば、造形物の少なくとも一部の領域に対応する構成等と考えることができる。
【0052】
図3(b)は、肌の質感を表現する場合に用いる着色領域154の構成の一例を示す。この場合、着色領域154は、図中に示すように、真皮領域302、表皮領域304、及びクリア領域306を有する。真皮領域302は、人間の肌における真皮に対応する領域である。また、人間の肌において、真皮は、通常、皮下組織にある血管を流れる血液の影響等により、赤みを帯びた色になる。そのため、本例において、真皮領域302については、赤色系の色の層状領域202を重ねることで形成する。また、表皮領域304は、人間の肌における表皮に対応する領域である。この場合、表皮については、例えば、人間の肌の表面の色である肌色を示す領域と考えることができる。そのため、表皮領域304については、肌色系の色の層状領域202を重ねることで形成する。
【0053】
また、人間の肌の質感においては、透明感が重要であると考えられる。そのため、本例においては、真皮領域302及び表皮領域304の上(外側)に、クリアインクで形成される領域であるクリア領域306を形成する。この場合、クリア領域306については、クリアインクのみで形成することが考えられる。また、求められる肌の質感によっては、クリア領域306について、例えば、微量の有色のインクを混ぜた状態で、主にクリアインクを用いて形成すること等も考えられる。また、この場合、真皮領域302、表皮領域304、及びクリア領域306のそれぞれを構成する層状領域202の層数や、それぞれの層状領域202の色を変化させることで、様々な質感を表現することができる。
【0054】
図3(c)は、着色領域154を構成する各領域の層数を異ならせた例を示す。図中において、左側の図は、真皮領域302を構成する層状領域202の層数を4とし、表皮領域304を構成する層状領域202の層数を2とし、クリア領域306を構成する層状領域202の層数を3とする場合の例を示す。また、右側の図は、真皮領域302を構成する層状領域202の層数を3とし、表皮領域304を構成する層状領域202の層数を5とし、クリア領域306を構成する層状領域202の層数を2とする場合の例を示す。本例によれば、例えば、各領域を構成する層状領域202の層数や色を変化させることで、様々な質感を表現することができる。また、求められる質感によっては、これらの領域のうちの一部を省略してもよい。
【0055】
ここで、着色領域154を構成する層状領域202の層数が多すぎる場合、それぞれの層状領域202において吸収される光の量が多くなることで、着色領域154の色が暗くなることが考えられる。そのため、着色領域154における層状領域202の合計については、10層以下程度にすることが好ましい。また、本例においては、着色領域154を構成する層状領域202の合計について、10層に固定している。そのため、いずれかの領域を構成する層状領域202の数が増加又は減少した場合、他のいずれかの領域を構成する層状領域202の数が減少又は増加することになる。このように構成すれば、例えば、着色領域154により表現する質感が変化した場合にも、着色領域154の厚みを一定に保つことができる。
【0056】
また、真皮領域302を構成するそれぞれの層状領域202の色や、表皮領域304を構成するそれぞれの層状領域202の色については、予め用意された色群から選択することが考えられる。この場合、色群とは、例えば、複数の色を含む群のことである。また、本例において用いる色群については、例えば、造形装置12(
図1参照)において表現可能な全ての色の一部の色のみを含む群等と考えることもできる。この場合、各領域に対応する色群として、互いに異なる組み合わせで色を含む色群を用いることが考えられる。より具体的に、例えば、真皮領域302を構成する層状領域202において用いる色を含む色群については、赤色系の複数の色を含む色群を用いることが考えられる。表皮領域304を構成する層状領域202において用いる色を含む色群としては、肌色系の複数の色を含む色群を用いることが考えられる。
【0057】
このように、本例においては、様々な色で着色された層状領域202を重ねた構成の着色領域154を形成することで、様々な質感を表現することができる。しかし、この場合、複数の層状領域202が重なる領域構成について取り得る構成が多様になることで、どのような領域構成によりどのような質感が得られるかについて、予測が難しくなることが考えられる。また、その結果、例えば、求められる質感に対応する領域構成を探すことが難しくなること等が考えられる。
【0058】
これに対し、本例においては、領域構成における層状領域202の重なり方に対応する重なり方でインクの層が重なる積層構成と質感との関係についての機械学習を予め行わせることで作成した学習済モデルを用いて、所望の質感に対応する積層構成の予測を行う。また、積層構成の予測結果に基づき、積層構成に対応する領域構成の予測を行う。また、この場合において、学習済モデルを生成するためのデータとして、コンピュータシミュレーションを行うことで取得したデータ(以下、シミュレーション取得データという)を用いる。そこで、以下、学習済モデルを用いて領域構成を予測する動作や、シミュレーション取得データを用いて学習済モデルを生成する動作等について、説明をする。
【0059】
図4は、学習済モデルを用いて領域構成を予測する動作について説明をする図である。本例においては、例えば、造形システム10における制御PC14において、領域構成の予測を行う。そして、この場合、例えば
図4(a)に示す構成の制御PC14を用いることが考えられる。
図4(a)は、制御PC14の構成の一例を示す。本例において、制御PC14は、表示部402、受付部404、通信I/F部406、及び制御部408を有する。また、上記においても説明をしたように、制御PC14としては、例えば、所定のプログラムに応じて動作するコンピュータを用いることが考えられる。この場合、コンピュータの各部について、制御PC14の各部として動作すると考えることができる。
【0060】
表示部402は、文字や画像等を表示する表示装置である。表示部402としては、例えば、コンピュータのモニタ等を好適に用いることができる。また、本例において、表示部402は、例えば、造形装置12(
図1参照)において造形しようとする造形物を示すCG画像等を表示する。受付部404は、ユーザの指示を受け付ける入力装置である。受付部404としては、例えば、コンピュータの入力装置(例えば、マウス、キーボード等)を好適に用いることができる。また、本例において、受付部404は、例えば、表示部402に表示しているCG画像に対し、質感を設定する指示をユーザから受け付ける。また、この場合、本例において、質感としては、透明感に対応する質感の設定を受け付ける。
【0061】
通信I/F部406は、制御PC14の外部の装置との通信を行うためのインターフェース部である。通信I/F部406としては、例えば、コンピュータにおける通信インターフェース部等を好適に用いることができる。また、本例において、制御PC14は、通信I/F部406を介して、造形装置12や、他のコンピュータとの通信を行う。この場合、造形装置12との通信では、例えば、造形データの供給等を行うことが考えられる。また、他のコンピュータとの通信としては、例えば、学習済モデルを格納しているコンピュータとの間で通信を行うこと等が考えられる。この場合、制御PC14は、通信I/F部406を介して他のコンピュータと通信することにより、例えば、CG画像に設定された質感に対して学習済モデルを用いて予測を行った予測結果を他のコンピュータから取得する。このように構成すれば、制御PC14において、例えば、学習済モデルを用いた予測の動作を適切に行うことができる。また、この場合、学習済モデルを用いた予測の動作については、例えば、機械学習の結果を利用した予測の動作等と考えることもできる。また、制御PC14は、例えば、他のコンピュータと通信を行うことなく、図示を省略した制御PC14の記憶部等に記憶した学習済モデルを用いて、学習済モデルを用いた予測を行ってもよい。
【0062】
制御部408は、制御PC14における各部の動作を制御する構成である。制御部408としては、例えば、コンピュータのCPU等を好適に用いることができる。また、本例において、制御PC14は、ユーザによりCG画像に対して設定される質感に基づき、造形データを生成する。この場合、制御部408は、例えば、学習済モデルを用いて行う予測の結果に基づき、ユーザにより指定される質感(所望の質感)に対応する造形物50の領域構成の予測を行う。そして、予測した領域構成に基づき、造形データを生成する。また、制御部408は、生成した造形データについて、通信I/F部406を介して、造形装置12へ供給(出力)する。このように構成すれば、例えば、所望の質感を再現する造形物の造形を造形装置12に適切に行わせることができる。
【0063】
また、制御PC14においては、例えば
図4(b)に示す動作を行うことで、質感の設定をユーザから受け付けて、造形データを生成する。
図4(b)は、制御PC14において造形データを生成する動作の一例を示すフローチャートである。本例において造形データを生成する動作において、制御PC14は、先ず、造形物を示すCG画像を表示部402に表示して、受付部404を介して、質感を指定する指示をユーザから受け付ける(S102)。また、これにより、制御PC14は、CG画像に対し、質感の設定を行う。CG画像に質感を設定するとは、例えば、CG画像が示すオブジェクトの少なくとも一部に対して質感を設定することであってよい。また、本例において、CG画像に対して設定する質感としては、上記においても説明をしたように、透明感に対応する質感を用いる。また、この場合、制御PC14は、例えば、造形物の形状を示す立体データに基づき、造形物を示すCG画像を作成して、表示部402に表示する。この場合、立体データとしては、例えば、造形しようとする造形物の形状等を汎用の形式で示すデータ等を好適に用いることができる。制御PC14の動作の変形例においては、例えば、制御PC14において質感の設定をユーザから受け付けるのではなく、予め質感が設定されたCG画像を制御PC14の外部から受け取ってもよい。
【0064】
また、ステップS102の動作に続いて、制御PC14は、質感が設定されたCG画像に基づき、CG画像に設定されている質感に対応するパラメータである設定パラメータの算出を行う(S104)。この場合、ステップS104の動作は、パラメータ算出段階の動作の一例である。また、ステップS104において、制御PC14は、例えば、CG画像に対して光を照射するシミュレーション(コンピュータシミュレーション)を行うことで、設定パラメータを算出する。また、より具体的に、本例において、質感に対応する設定パラメータとしては、光の広がり方を示す関数を用いる。パラメータとして所定の関数を用いることについては、例えば、所定の関数によって算出される値をパラメータとして用いること等と考えることができる。また、本例において、このような関数としては、線広がり関数(LSF)を用いる。
【0065】
また、この場合、設定パラメータを算出する動作については、例えば、ユーザにより指定される質感をCG画像に対して行った上で、質感に対応するLSFについて、シミュレーションによって取得する。また、より具体的に、この場合、例えば、質感が設定されているCG画像に対して光(例えば、レーザ光)を照射するシミュレーションを行うことで、質感に対応するLSFを取得する。また、このシミュレーションとしては、例えば、実際に作成した試料(パッチ)や造形物に対してLSFの計測を行う場合等と同様にして、線状の光を照射するシミュレーションを行うことが考えられる。また、実用上は、例えば、CG画像が示す物体の表面にスポットライトで点状の光を照射するシミュレーションを行うことでも、画素値の推移からLSFを適切に取得することができる。この場合、点状の光を照射するシミュレーションを行うことで点広がり関数(PSF)を算出し、点広がり関数に基づいてLSFを算出すること等が考えられる。
【0066】
また、設定パラメータを算出した後、制御PC14は、予め作成された学習済モデルを用いて、設定パラメータに対応する積層構成(レイアウト)の取得を行う(S106)。この場合、積層構成については、例えば、着色された層状の領域が複数重なる構成等と考えることができる。また、この積層構成については、例えば、造形物50の着色領域154を構成する複数の層状領域202(
図2参照)の重なり方を示すために学習済モデルの作成時に用いる構成等と考えることもできる。また、この積層構成については、例えば、造形時に積層するそれぞれの造形単位層502が着色領域154における1つの層状領域202に一致する場合における造形単位層502(
図2参照)の重なり方に対応する構成等と考えることもできる。また、より具体的に、本例において、積層構成については、造形物50における着色領域154(
図2参照)の領域構成に対応する重なり方でインクの層が重なる構成等と考えることができる。
【0067】
また、ステップS106の動作については、例えば、ステップS104において算出した設定パラメータを学習済モデルに対する入力として用いて、積層構成を示す出力を取得する動作等と考えることもできる。この場合、入力として設定パラメータを用いることについては、例えば、学習済モデルへ入力可能な形式で表現した設定パラメータを与えること等と考えることができる。このように構成すれば、例えば、CG画像に設定されている質感に対応する積層構成について、学習済モデルを利用して適切に取得することができる。また、これにより、例えば、所望の質感に対応する積層構成の予測を適切に行うことができる。
【0068】
また、本例において、制御PC14は、積層構成の予測結果に基づき、造形物50の着色領域154において複数の層状領域202が重なる領域構成の予測を行う。この場合、領域構成を予測することについては、例えば、ユーザの指定された質感を表現するための着色領域154の構成を予測すること等と考えることができる。また、上記においても説明をしたように、本例において、学習済モデルを用いて予測する積層構成については、造形物50における着色領域154の領域構成に対応する重なり方でインクの層が重なる構成等と考えることができる。そして、この場合、制御PC14は、領域構成として、積層構成におけるインクの層の重なり方に対応する重なり方で複数の層状領域202が重なる構成を予測する。このように構成すれば、例えば、領域構成の予測を適切に行うことができる。また、この場合、制御PC14について、例えば、領域構成予測装置として機能していると考えることができる。また、本例において、ステップS106の動作は、積層構成取得段階の動作の一例である。また、ステップS104~S106において行う一連の動作は、領域構成予測段階の動作の一例である。この場合、領域構成予測段階とは、例えば、所望の質感に対応する領域構成を予測する段階のことである。また、領域構成予測段階については、例えば、学習済モデルを用いて質感に対応する積層構成を予測し、当該積層構成に基づき、所望の質感に対応する領域構成を予測する段階等と考えることもできる。また、本例においては、S102~S106において行う一連の動作について、領域構成予測段階の動作の一例と考えることもできる。
【0069】
また、ユーザにより指定される質感に対応する領域構成の予測を行った後、制御PC14は、予測結果に基づき、造形しようとする造形物を示す造形データを生成する(S108)。本例において、ステップS108の動作は、造形データ生成段階の動作の一例である。また、ステップS108において、制御PC14は、造形データとして、例えば、ステップS106で取得した領域構成で着色領域154が形成されるように造形装置12にインクの層を積層させるデータを生成する。本例によれば、例えば、所望の質感に対応する領域構成の予測を適切に行うことができる。また、領域構成の予測結果に基づいて造形データを生成することで、例えば、所望の質感が得られる造形物の造形を造形装置12に適切に行わせることができる。
【0070】
続いて、学習済モデルを生成する動作等について、説明をする。
図5は、学習済モデルを生成する動作について説明をする図である。
図5(a)は、学習済モデルを生成する動作の一例を示すフローチャートである。上記においても説明をしたように、本例においては、学習済モデルを生成するためのデータとして、シミュレーション(コンピュータシミュレーション)を行うことで取得したシミュレーション取得データを用いる。また、この場合、シミュレーションにおいては、造形装置12(
図1参照)において造形に使用するインクの特性を示すパラメータを用いる。そして、本例においては、このインクの特性について、各色のインクに対応する試料であるインクサンプル(3Dプリンタインクサンプル)を作成し、インクサンプルに対して所定の計測を行うことで取得する。
【0071】
また、この場合、本例においては、先ず、造形装置12において用いる少なくとも一部の色のインクについてインクサンプルを作成し、インクサンプルに対する所定の計測を行うことで、インクの特性を取得する(S202)。より具体的に、本例において、ステップS202では、この計測の結果に基づき、インクの特性として、各色のインクの吸収係数及び散乱係数を決定する。また、この場合、インクの吸収係数及び散乱係数については、計測によって直接取得するのではなく、吸収係数及び散乱係数を反映した所定の状態を計測して、所定の算出処理を行うことで、取得する。
【0072】
そして、ステップS202に続いて、ステップS202において取得したインクの特性を利用して、シミュレーションを実行する(S204)。また、本例において、このシミュレーションでは、互いに異なる構成で着色された層状の領域が複数重なる複数種類の積層構成に対し、それぞれの積層構成により表現される質感の予測を行う。また、これにより、ステップS204では、積層構成と所定の質感との関係をシミュレーションにより予測する。
【0073】
また、本例において、ステップS204の動作は、質感予測段階の動作の一例である。ステップS204において、質感としては、例えば、透明感に対応する質感を用いることが考えられる。この場合、透明感については、例えば、複数の層状の領域が重なることで表現される透明感等と考えることができる。また、本例において、積層構成により表現される質感を示すパラメータとしては、光の広がり方を示す関数を用いる。より具体的に、このような関数としては、線広がり関数(LSF)を用いる。また、本例においては、ステップS204において行うシミュレーションで予測した質感に基づいて積層構成と質感との関係を示すデータについて、シミュレーション取得データと考えることができる。また、本例において、シミュレーションについては、例えば、指定した入力に対応する状態の予測をコンピュータでの演算により行うこと等と考えることができる。また、この場合、コンピュータでの演算について、例えば、入力に対応する出力を予め指定し規則に従って計算する動作等と考えることができる。また、この規則については、例えば、数式により記述される規則等と考えることができる。
【0074】
また、ステップS204でシミュレーションを行った後には、その結果を利用してコンピュータに機械学習を行わせることで、学習済モデルを生成する(S206)。また、より具体的に、本例において、ステップS206では、複数種類の積層構成に対してステップS204において予測した質感に基づき、学習済モデルを機械学習により生成する。この場合、学習済モデルについて、例えば、積層構成と質感との関係とを学習させた学習モデル等と考えることができる。また、本例において、ステップS206の動作は、学習段階の動作の一例である。ステップS206において、機械学習としては、例えば、深層学習(ディープラーニング)等を好適に用いることができる。この場合、ステップS206について、例えば、学習対象のニューラルネットワークである学習対象ニューラルネットワークに学習を行わせる段階等と考えることができる。本例によれば、例えば、領域構成の予測に用いる学習済モデルを適切に作成することができる。
【0075】
続いて、
図5(a)のフローチャートにおける各ステップの動作について、更に詳しく説明をする。
図5(b)は、ステップS102の動作をより詳細に示すフローチャートである。上記においても説明をしたように、インクの特性の計測時には、造形装置12において用いる少なくとも一部の色のインクについてインクサンプルを作成する(S212)。また、本例においては、YMCKの各色のインク、及びクリアインクについて、インクサンプルを作成する。この場合、各色用のインクサンプルについて、例えば、計測対象の試料の一例と考えることができる。また、YMCKの各色のインクに対応するサンプルについては、例えば、着色用の材料に対応する試料の一例と考えることができる。また、本例において、ステップS212の動作は、各色試料作成段階の動作の一例である。各色試料作成段階については、例えば、それぞれの色の着色用の材料に対応する試料を作成する段階等と考えることができる。
【0076】
また、インクサンプルを作成した後には、所定の計測を行うことで各色のインクの特性を取得し(S214)、その結果に基づき、各色のインクの吸収係数及び散乱係数を決定する(S216)。インクサンプルに対して行う計測や、吸収係数及び散乱係数の決定の仕方等については、後に更に詳しく説明をする。また、本例において、ステップS214及びS216において行う動作は、係数決定段階の動作の一例である。係数決定段階については、例えば、各色試料作成段階で作成した試料の光学的な特性を計測することで複数色の着色用の材料のそれぞれに対応する吸収係数及び散乱係数を決定する段階等と考えることができる。本例によれば、例えば、少数のインクサンプルに対する計測を行うことで、それぞれの色のインクに対応する吸収係数及び散乱係数を適切に決定することができる。
【0077】
図6は、インクサンプルに対して行う計測等について更に詳しく説明をする図である。
図6(a)は、インクサンプルの一例を示す写真であり、本願の発明者が実際に作成したインクサンプルの例を示す。
図6(b)は、インクサンプルに対する計測時に撮影する写真の例を示す。
図6(c)は、本例において用いるダイポールモデルを表す数式を示す。
【0078】
上記においても説明をしたように、本例においては、YMCKの各色のインク、及びクリアインクについて、インクサンプルを作成する。この場合、造形装置12(
図1参照)において、それぞれの色のインクの層を複数重ねて形成することで、その色のインクサンプルを作成する。各色のインクサンプルについては、例えば、1つの色のインクの層を重ねた試料等と考えることもできる。また、インクサンプルとしては、上記以外の色用のサンプルを更に作成してもよい。この場合、例えば、白色用のインクサンプルを更に作成すること等が考えられる。
【0079】
また、本例において、インクサンプルに対する計測としては、それぞれのインクサンプルの上面に対して点光源による光の照射を行って、インクサンプルの写真を撮影することで、光の散乱現状の計測を行う。また、より具体的に、この場合、点光源としては、レッド色(R色)、グリーン色(G色)、及びブルー色(B色)のレーザ光を用いる。そして、例えば、
図6(b)に示すように、露光時間を1/1000秒、1/250秒、1/60秒、1/15秒、1/4秒、1秒、及び4秒のそれぞれに設定して、インクサンプルの写真の撮影を行う。レーザ光の光源としては、公知のスマートビームレーザプロジェクタ等を好適に用いることができる。また、撮影については、暗室にて、公知のデジタルカメラで行うことが考えられる。また、この場合、カメラのレンズの前に偏光板を装着して、表面反射成分の影響を低減することが好ましい。また、レーザ光の照射時には、画像中央部にのみ高い画素値を持つ画像をプロジェクタで投影し、かつ、例えばスリットで投影光を絞ることで、擬似的に点光源を再現することが考えられる。この場合、投影する画像の解像度については、プロジェクタの解像度に合わせることが考えられる。
【0080】
また、本例においては、このようにしてインクサンプルの写真を撮影する動作について、インクサンプルに対する計測を行う動作と考えることができる。そして、このようにしてインクサンプルに対する計測を行った後には、撮影された写真に基づき、各色のインクの吸収係数及び散乱係数を決定する。また、本例においては、撮影された写真が示すデータをダイポールモデルに当てはめることで、吸収係数及び散乱係数を決定する。より具体的に、例えば、
図6(c)に示す数式で表現されるダイポールモデルにおいて、散乱項は、吸収係数及び散乱係数をパラメータとして持つ項と考えることができる。そして、この場合、散乱現象を計測した結果をダイポールモデルで近似することで、吸収係数及び散乱係数を推定することができる。この場合、吸収係数及び散乱係数を決定する動作について、例えば、ダイポールモデルを利用して吸収係数及び散乱係数を推定する動作等と考えることができる。また、この場合、例えば、非等方性パラメータや相対屈折率等の値を所定の値に固定して、ダイポールモデルへのフィッティングを行うことで、吸収係数及び散乱係数を決定することが考えられる。
【0081】
また、ダイポールモデルへのフィッティング時には、必要に応じて、適宜補正を行ってもよい。このような補正としては、例えば、それぞれのインクサンプルの反射率を考慮した補正を行うことが考えられる。また、この場合、インクサンプルの反射率については、別途計測を行って取得することが考えられる。また、本例において、ダイポールモデルは、吸収係数及び散乱係数を用いてインクサンプルの特性を示すモデルの一例である。吸収係数及び散乱係数の決定の仕方の変形例においては、ダイポールモデル以外のモデルを用いてもよい。また、この場合、インクサンプルに対する計測について、使用するモデルに合わせた計測を行うことが考えられる。本例によれば、例えば、造形装置12において用いる各色のインクに対応する吸収係数及び散乱係数を適切に決定することができる。また、これにより、例えば、その後に行うシミュレーションにおいて、使用するインクの特性を反映したシミュレーションを適切に行うことができる。
【0082】
図7は、本例において行うシミュレーションについて更に詳しく説明をする図である。上記においても説明をしたように、本例においては、予め取得したインクの特性を利用して、シミュレーションを実行することで、質感の予測を行う。また、このシミュレーションでは、互いに異なる構成の複数種類の積層構成に対し、それぞれの積層構成により表現される質感の予測を行う。また、この場合、例えば図中に示すように、様々な色のインクの層が重ねられた積層構成を考え、それぞれの積層構成により得られる質感(積層構造により表現される質感)について、各色のインクの吸収係数及び散乱係数を用いて、コンピュータシミュレーションにより算出する。
【0083】
また、本例において、積層構成としては、下地となる白色の層を最下層として、その上に所定の数の層が重なる構成を考える。また、この場合、最下層以外の各層の色として、造形装置12において使用する複数色のインクの組み合わせで表現可能な様々な色を用いる。この場合、積層構成における層の数については、造形物50の着色領域154(
図2参照)を構成する層状領域202(
図2参照)の数と同じにすることが考えられる。また、積層構成における各層の色については、予め用意された色群から選択することが考えられる。このような色群としては、層状領域202の色として用いる複数種類の色を含む色群を用いることが考えられる。より具体的に、
図3等を用いて上記において説明をしたように、着色領域154としては、人間の肌の多層構造を模した領域構成で層状領域202を重ねた領域を用いることが考えられる。そして、この場合、
図7に示す積層構成として、真皮領域302、表皮領域304、及びクリア領域306(
図3参照)の各領域の層状領域202に対応する層が重なる構成を用いる。また、真皮領域302及び表皮領域304の層状領域202に対応する層の色について、真皮領域302用の色群及び表皮領域304用の色群に含まれる色から選択することが考えられる。
【0084】
また、造形物50の造形時に実際に着色領域154を形成する動作においては、各色のインクを吐出する吐出位置の割合を様々に変化させることで、それぞれの層状領域202の色について、面積的に表現を行う。しかし、本例において行うシミュレーションにおいて、このようにして面積的に色を表現しようとすると、必要な処理が複雑になると考えられる。そのため、本例において行うシミュレーションでの各層の色については、単位体積に含まれる各色のインクの比率により、体積的に表現する。
【0085】
また、本例において行うシミュレーションでは、各層の色が設定された積層構成に対し、各色のインクの吸収係数及び散乱係数を用いて、光散乱モンテカルロシミュレーション法(MCML法)により、その積層構成により得られる質感の予測を行う。光散乱モンテカルロシミュレーション法については、例えば、対象物質が多層混濁媒質である場合に輸送方程式の解を得るためのモンテカルロ法等と考えることができる。また、光散乱モンテカルロシミュレーション法においては、例えば図中に示すように、積層構成におけるそれぞれの層の中で入射光に対して生じる散乱及び吸収を確率的に計算して、反射光の予測を行う。積層構成に対する光散乱モンテカルロシミュレーション法の適用については、光散乱モンテカルロシミュレーション法の公知の利用の仕方と同一又は同様に行うことができる。
【0086】
また、上記においても説明をしたように、本例においては、このシミュレーションにより予測する質感を示すパラメータとして、光の広がり方を示す関数を用いる。また、このような関数として、線広がり関数(LSF)を用いる。本例によれば、例えば、積層構成に対応する試料の作成や試料に対する計測等を行うことなく、様々な積層構成に対し、対応する質感の予測を適切に行うことができる。また、これにより、例えば、多数の積層構成について、積層構成と質感との関係を示すデータを容易かつ適切に取得することができる。
【0087】
続いて、本例において学習済モデルを生成する動作や、学習済モデルを利用する動作等について、更に詳しく説明をする。
図8は、本例において実行する機械学習で利用する学習モデルの構成の一例を示す。
図8(a)は、学習モデルとして用いる深層ニューラルネットワーク(DNN)の構成の一例を示す。
図8(b)は、学習モデルに対する入力、出力、及び中間出力の例を示す。学習モデルについては、例えば、機械学習を行うことで変更されるパラメータを有するモデル等と考えることができる。また、学習済モデルについては、例えば、所定の学習を行わせることでパラメータの調整を行った後の学習モデル等と考えることができる。また、上記において説明をしたように、本例において、機械学習としては、深層学習を用いる。そして、学習モデルとしては、DNNを用いる。この場合、学習を行わせる学習モデルについて、学習対象ニューラルネットワークの一例と考えることができる。
【0088】
また、本例において、学習モデルとしては、
図8(a)に示すように、エンコーダ部602及びデコーダ部604を有するニューラルネットワークを用いる。この場合、エンコーダ部602については、例えば、所定のパラメータを入力とし、入力とは異なる所定のパラメータを出力するニューラルネットワーク等と考えることができる。また、デコーダ部604については、例えば、エンコーダ部602が出力するパラメータを入力とし、エンコーダ部602の入力と同じパラメータを出力として出力するニューラルネットワーク等と考えることができる。また、この場合、本例において用いる学習モデルについて、例えば、エンコーダ部602とデコーダ部604とをつなげたニューラルネットワーク等と考えることもできる。エンコーダ部602及びデコーダ部604のそれぞれとしては、3層以上の多層のニューラルネットワークを用いることが考えられる。
【0089】
また、本例においては、エンコーダ部602への入力について、学習モデル(学習モデルの全体)に対する入力と考えることができる。エンコーダ部602の出力について、学習モデルにおける中間出力と考えることができる。また、デコーダ部604の出力について、学習モデルの出力と考えることができる。また、本例においては、学習モデルの入力及び出力として、
図8(b)に示すように、線広がり関数(LSF)を用いる。この場合、図中に示すように、線広がり関数の値をR成分、G成分、及びB成分に分けて入力及び出力として用いることが考えられる。また、より具体的に、この場合、例えば、RGBの各成分を要素数100程度のベクトルで表して入力及び出力として用いることが考えられる。また、この場合、学習モデルの入力及び出力として用いるLSFについて、質感を示すパラメータの一例と考えることができる。
【0090】
また、本例において、学習モデルの中間出力となるエンコーダ部602の出力としては、積層構成(レイアウト)を示すパラメータを用いる。この場合、積層構成とは、
図7を用いて説明をしたシミュレーションで質感の予測を用いるために用いた積層構成である。また、この場合、積層構成を示すパラメータとしては、積層構成で重ねられるそれぞれの層の色を示すパラメータを用いる。より具体的に、本例においては、積層構成で積層される層数を一定にして、それぞれの層の色を示す番号(色番号)により構成されるベクトルを用いて、積層構成を示す。この場合、色番号については、例えば、複数の色を含む色群を用意して、色群に含まれるそれぞれの色に番号を対応付けることが考えられる。また、
図8(b)においては、図示の便宜上、それぞれの層の色の違いについて、網掛け模様を異ならせて図示をしている。
【0091】
また、積層構成での層の数については、例えば10層程度にすることが考えられる。また、また、本例において、色番号としては、それぞれの色に対応付けられる整数値を用いる。そのため、エンコーダ部602においては、出力される値が整数値に近い値になるように、出力の直前に、ソフト量子化層を設けている。ソフト量子化層については、例えば、微分可能な関数によって出力値を整数値に近づける構成等と考えることができる。ソフト量子化層としては、このような目的で用いられる公知の関数を好適に用いることができる。例えば、ソフト量子化層として、微分可能なように滑らかに変化する略階段状の関数を用いること等が考えられる。
【0092】
また、本例においては、このような学習モデルに対し、上記においても説明をしたように、
図7等を用いて説明をしたシミュレーションにより取得されるシミュレーション取得データを用いて、機械学習を行わせる。
図9は、本例において行う機械学習について説明をする図である。
図9(a)は、学習モデルに学習を行わせる動作の一例を示すフローチャートである。本例において、学習モデルに学習を行わせる場合、先にデコーダ部604に学習を行わせ、その後に、学習モデルの全体に学習を行わせる。
【0093】
より具体的に、この場合、先ず、シミュレーション取得データを用いて、積層構成と質感との関係の学習をデコーダ部604に行わせることでデコーダ部604における重みを決定する(S302)。この場合、積層構成と質感との関係の学習をデコーダ部604に行わせることについては、例えば、様々な積層構成に対してシミュレーションによって計算された質感に基づき、積層構成と質感との対応関係を再現するようにデコーダ部604の重みを調整すること等と考えることができる。また、エンコーダ部602及びデコーダ部604のようなニューラルネットワークにおける重みとは、ニューラルネットワークを構成するニューロン間に設定される重みのことである。また、デコーダ部604に学習を行わせる動作については、例えば、
図8(a)に示す学習モデルの全体における中間出力と出力との関係がシミュレーション取得データを反映させるように学習モデルに学習を行わせる動作等と考えることもできる。また、本例において、ステップS302の動作は、デコーダ部学習段階の一例である。
【0094】
また、デコーダ部604に対して学習を行わせた後には、エンコーダ部602とデコーダ部604とを結合して(S304)、積層構成と質感との関係の学習を学習モデルの全体に行わせる(S306)。より具体的に、本例において、ステップS306では、ステップS302で決定したデコーダ部604における重みを固定して、学習モデルの全体に学習を行わせる。また、この場合において、エンコーダ部602への入力とデコーダ部604からの出力とが同じになるように、エンコーダ部602における重みの調整を行う。
【0095】
このように構成すれば、例えば、デコーダ部604に学習させた積層構成と質感との関係を保持しつつ、シミュレーション取得データが示す積層構成と質感との関係を反映するように、エンコーダ部602における重みの調整を行うことができる。また、これにより、例えば、学習モデルの全体に対し、シミュレーション取得データに基づく学習を適切に行わせることができる。また、本例において、ステップS306の動作は、全体学習段階の動作の一例である。また、この場合、このようにして学習を行わせた学習モデルについて、積層構成の予測時に用いる学習済モデルと考えることができる。
【0096】
ここで、上記においても説明をしたように、本例においては、積層構成を示すパラメータについて、学習モデルにおける中間出力として用いている。そのため、積層構成の予測時には、積層構成を示す値として、この中間出力を用いることが考えられる。このように構成すれば、例えば、所望の質感に対応する積層構成の予測を適切に行うことができる。また、この中間出力は、学習モデルにおけるエンコーダ部602の出力になっている。そのため、積層構成の予測時には、学習済のエンコーダ部602を学習済モデルとして使用してもよい。この場合も、学習済モデルの作成時には、エンコーダ部602及びデコーダ部604を有するニューラルネットワークを学習対象ニューラルネットワークとして用いることが好ましい。このように構成した場合も、例えば、所望の質感に対応する積層構成の予測を適切に行うことができる。
【0097】
尚、学習済のエンコーダ部602を学習済モデルとして使用する場合、わざわざデコーダ部604を用いずに、エンコーダ部602のみに対し、シミュレーション取得データに基づく学習を行わせればよいようにも思われる。しかし、デコーダ部604を用いずに、シミュレーション取得データに基づく学習をエンコーダ部602に直接行わせる場合、学習が完了するまでの時間がより多くかかることが考えられる。また、例えば、必要なシミュレーション取得データの数が大幅に増大すること等も考えられる。また、この場合、シミュレーション取得データの数を大幅に増やしたとしても、適切に学習が完了しなくなるおそれもある。これに対し、本例によれば、例えば、先にデコーダ部604の重みを設定して、その後にエンコーダ部602の重みを調整することで、エンコーダ部602の学習を効率的かつ適切に行わせることができる。
【0098】
また、本願の発明者は、実際に、積層構成(レイアウト)と質感(LSF)との関係について、1413組のデータをシミュレーション取得データとして準備して、デコーダ部604及び学習モデルの全体に対し、学習を行わせた。また、この場合において、8割のデータを学習データとして用い、2割のデータをテストデータとして用いた。
図9(b)は、デコーダ部604の学習曲線の一例を示す。
図9(c)は、エンコーダ部602の学習曲線の一例を示す。
図9(b)、(c)において、横軸は、エポック数である。縦軸は、損失関数の出力結果を示す。また、この場合、エンコーダ部602の学習曲線については、例えば、エンコーダ部602とデコーダ部604とを結合した学習モデル全体の学習曲線等と考えることもできる。
【0099】
図示した学習曲線等から理解できるように、デコーダ部604においては、早々に学習が収束していることがわかる。また、エンコーダ部602においても、エポック数が20に差し掛かるあたりで収束していることがわかる。更に、エンコーダ部602及びデコーダ部604の両方において、バリデーションデータに対しも十分に高い精度での推定ができていることがわかる。また、先に分割しておいたテストデータに対するロス値は、0.1460であり、未知のデータに対しても学習データと同程度の精度で推定を行うことが可能であった。また、エンコーダ部602に学習が収束した時点でのロス値も十分に小さく、積層構成の予測を適切に行えていることが確認できた。
【0100】
このように、本例によれば、例えば、積層構成と質感との関係を適切に学習させた学習済モデルを適切に生成することができる。また、このような学習済モデルを用いることで、例えば、透明感等の質感について、所望の質感に対応する積層構成の予測等を適切に行うことができる。また、上記においても説明をしたように、本例においては、シミュレーションにより取得するシミュレーション取得データを用いて、学習済モデルを生成する。そして、この場合、例えば、実際に多数の試料を作成することや多数の試料に対する計測等を行うことなく、学習に必要な多数のデータを適切に準備することができる。また、これにより、例えば、学習済モデルを生成するために要する手間や時間等を適切に低減することができる。
【0101】
また、上記においては、主に、学習データとしてシミュレーション取得データのみを用いて学習済モデルを生成する動作の例について、説明をした。しかし、学習済モデルを生成する動作の変形例においては、シミュレーション取得データ以外のデータを更に用いて、学習済モデルを生成してもよい。例えば、所望の質感に対応する積層構成の予測をより高い精度で行おうとする場合等において、実際に試料(パッチ)を作成して計測を行うことで取得されたデータ(以下、計測取得データという)を更に用いること等も考えられる。この場合、例えば、様々な積層構成に対応する試料を実際に作成して、透明感等の質感(注目する質感)に対応する計測を試料に対して行うことで、計測取得データを取得する。そして、シミュレーション取得データ及び計測取得データを用いて学習モデルに学習を行わせることで、学習済モデルを生成する。このように構成した場合も、シミュレーション取得データを用いることで、例えば計測取得データのみを用いて学習済モデルを生成する場合等と比べ、必要な試料の数を大幅に削減することができる。
【0102】
また、計測取得データについては、例えば、造形装置等を用いて作成した試料に対して光学的な特性を計測することで取得される積層構成と質感との関係を示すデータ等と考えることができる。また、学習モデルの作成時には、例えば、シミュレーション取得データと計測取得データとを区別せずに用いて、学習済モデルを生成することが考えられる。この場合、シミュレーション取得データと計測取得データとを区別せずに用いることについては、例えば、学習済モデルを生成するための学習時において、それぞれのデータがシミュレーション取得データ及び計測取得データのいずれであるかによって扱い方を変えずに、同じように扱うことである。また、このような動作については、例えば、計測取得データを追加することで学習に用いるデータの数を増やす動作等と考えることもできる。このように構成すれば、例えば、容易かつ適切にシミュレーション取得データ及び計測取得データを用いることができる。
【0103】
尚、機械学習として深層学習を用いる場合において、シミュレーション取得データと計測取得データとの間でデータの傾向の差が大きい場合、両者を区別せずに用いると、データ全体でのデータの傾向が薄まることで、学習の精度が低下する場合もある。そのため、シミュレーション取得データと計測取得データとの間でデータの傾向の差が大きい場合には、計測取得データを用いずに、シミュレーション取得データのみを用いて学習済モデルを生成することが好ましい。これに対しシミュレーション取得データと計測取得データとの間でデータの傾向の差が小さい場合には、上記のようにシミュレーション取得データ及び計測取得データを用いることで、例えば、高い精度での学習を適切に行うことができる。また、これにより、例えば、高い精度で質感と積層構成との関係を予測できる学習済モデルを適切に生成することができる。
【0104】
シミュレーション取得データ及び計測取得データを用いる場合、シミュレーション取得データ及び計測取得データについて、それぞれの特徴を活かすように、異なる用い方で用いることが考えられる。この場合、シミュレーション取得データについては、例えば、多数のデータをより容易に作成できるデータ等と考えることができる。また、計測取得データについては、例えば、質感と積層構成との関係をより高い精度で示しているデータ等と考えることができる。そして、この場合、例えば
図10に示すように、シミュレーション取得データ及び計測取得データを用いることが考えられる。
図10は、シミュレーション取得データ及び計測取得データを用い方の変形例について説明をする図である。
図10(a)は、シミュレーション取得データ及び計測取得データを用いて学習済モデルを生成する動作の変形例を示すフローチャートである。
【0105】
本変形例においては、最初にシミュレーション取得データを用いた学習(初期学習)を行わせて学習を進めた学習モデルを生成し(S402)、その学習モデルに対して計測取得データを用いた学習(追加学習)を行わせる(S404)。このような動作については、例えば、シミュレーション取得データを反映した学習モデルに対する調整を計測取得データを用いて行う動作等と考えることもできる。また、この場合、ステップS402の動作は、第1学習段階の動作の一例である。第1学習段階については、例えば、計測取得データを用いず、シミュレーション取得データを用いた学習を学習モデルに対して行わせる段階等と考えることができる。また、本変形例において、ステップS402では、計測取得データを用いる学習により、シミュレーション取得データを反映した学習モデルである中間生成モデルを生成する。また、ステップS404の動作は、第2学習段階の動作の一例である。第2学習段階については、例えば、第1学習段階の後に計測取得データを用いた学習を学習モデルに対して行わせる段階等と考えることができる。また、本変形例において、ステップS404では、ステップS402で生成した中間生成モデルに対して計測取得データを用いた学習を更に行わせることで学習済モデルを生成する。
【0106】
本変形例によれば、例えば、シミュレーション取得データ及び計測取得データについて、それぞれの特徴を活かすよう適切に用いることができる。また、これにより、例えば、実際に作成した試料の特性を反映させた学習済モデルを効率的に作成することができる。また、例えば、より高い精度で質感と積層構成との関係を予測できる学習済モデルを適切に生成することができる。また、本変形例において学習済モデルを生成する動作については、例えば、転移学習を行う動作等と考えることができる。この場合、ステップS402で生成される中間生成モデルについて、例えば、シミュレーション取得データを用いた学習により生成される第1の学習済モデルと考えることができる。また、ステップS402で生成される学習済モデルについて、計測取得データ及び第1の学習済モデルを用いた転移学習により生成される第2の学習済モデル等と考えることができる。また、この場合、このような方法で転移学習を行うことで、例えば計測取得済データのみを用いた学習を行う場合等と比べ、計測取得データを反映した学習済モデルを効率的かつ適切に作成することができる。
【0107】
また、例えば
図8(a)に示すようなエンコーダ部602及びデコーダ部604(
図8参照)を有するニューラルネットワークを学習モデルとして用いる場合、学習モデルの構成に合わせてシミュレーション取得データ及び計測取得データを用いること等も考えられる。この場合、ステップS402において、計測取得データを用いた学習をデコーダ部604に行わせること等が考えられる。また、ステップS404において、シミュレーション取得データを用いた学習を学習モデルの全体に行わせることが考えられる。また、この場合、ステップS402の動作について、デコーダ部学習段階の一例にもなっていると考えることができる。ステップS404の動作について、全体学習段階の一例にもなっていると考えることができる。このように構成すれば、例えば、学習モデルの構成に合わせて、シミュレーション取得データ及び計測取得データを適切に用いることができる。また、これにより、例えば、実際に作成した試料の特性を反映させた学習済モデルを効率的に作成することができる。
【0108】
また、上記においても説明をしたように、エンコーダ部602及びデコーダ部604を有するニューラルネットワークを用いる場合、デコーダ部604の学習については、比較的早期に収束すると考えられる。そのため、例えばシミュレーション取得データと比べて数の少ない計測取得データのみを用いる場合でも、デコーダ部604については、学習を適切に行わせることが可能である。そのため、ステップS404では、例えば、計測取得データを用い、かつ、シミュレーション取得データを用いずに、デコーダ部604に学習を行わせることが考えられる。このように構成すれば、例えば、先に重みを決定するデコーダ部604について、計測取得データをより適切に反映した学習を行わせることができる。また、この場合、その後に行うステップS404での学習では、上記においても説明をしたように、デコーダ部604の重みを固定して学習を行う。そのため、このように構成すれば、ステップS404において行う学習においても、計測取得データを反映した学習を適切に行うことができる。また、ステップS404において学習モデルの全体に対して行う学習においては、学習データの数が多い方が好ましいと考えられる。そのため、ステップS404においては、シミュレーション取得データ及び計測取得データを用いて、学習モデルに学習を行わせることが考えられる。また、学習の目的等に応じて、ステップS404では、シミュレーション取得データを用い、かつ、計測取得データを用いずに、学習モデルに学習を行わせてもよい。
【0109】
また、シミュレーション取得データ及び計測取得データについては、同じ学習モデルの学習用データとして用いるのではなく、例えば
図10(b)に示すように、互いに異なる学習モデルに対する学習用データとして用いてもよい。
図10(b)は、シミュレーション取得データ及び計測取得データを用い方の更なる変形例を示す。
【0110】
本変形例において、学習済モデルとしては、質感(LSF等)から積層構成(レイアウト)を予測するために用いる予測用モデルと、積層構成に対応する質感を確認するために用いる確認用モデルとを用いる。この場合、予測用モデルとしては、例えば、上記において説明をした積層構成の予測用の学習済モデルを好適に用いることができる。本変形例において、予測用モデルの作成時には、シミュレーション取得データを用い、かつ、計測取得データを用いずに、学習モデルに学習を行わせる。また、より具体的に、予測用モデルとしては、例えば
図8等を用いて説明した学習モデルに対してシミュレーション取得データを用いた学習を行わせることで作成する学習済モデル等を好適に用いることができる。また、本変形例において、確認用モデルは、予測用モデルでの予測の結果を確認するために用いる学習済モデルである。確認用モデルとしては、例えば、
図8等を用いて説明をした学習モデルにおけるデコーダ部604に対応するニューラルネットワーク等を好適に用いることができる。また、本変形例において、確認用モデルの作成時には、計測取得データを用い、かつ、シミュレーション取得データを用いずに、学習モデルに学習を行わせる。
【0111】
また、本変形例では、例えば、積層構成の予測時において、予測用モデルを用いて積層構成の予測を行った上で、更に、確認用モデルを用いて予測結果の確認を行うことが考えられる。より具体的に、この場合、例えば、予測用モデルが出力する積層構成について、確認用モデルの入力として更に用いることが考えられる。そして、確認用モデルの出力について、予測用モデルの入力として用いた所望の質感(LSF等)と比較を行うことが考えられる。このように構成すれば、例えば、予測用モデルを用いて行う積層構成の予測の結果について、所望の質感が得られる結果であるか否かについて、より適切に確認をすることができる。また、この場合、必要に応じて、例えば所望の質感が得られるように、積層構成の予測の結果を調整すること等が考えられる。このように構成すれば、例えば、所望の質感に対応する積層構成をより適切に取得することができる。
【0112】
また、シミュレーション取得データ及び計測取得データの用い方の更なる変形例においては、例えば、シミュレーション取得データを用いて行う学習を行った後に、学習結果を利用して、計測の対象とする試料の作成を行うこと等も考えられる。より具体的に、この場合、例えば、シミュレーション取得データを用いた学習を行うことで、学習を行うために必要な学習データの量を確認することが考えられる。また、この場合、確認した学習データの必要量に合わせて、計測取得データを取得するために用いる試料を作成することが考えられる。このように構成すれば、例えば、必要以上に多くの試料を作成することなく、学習に必要な量の計測取得データを適切に取得することができる。また、この場合、所望の質感に対応する層構成を予測するための学習済モデルについて、シミュレーション取得データを用いずに、計測取得データのみを用いて作成することが考えられる。このように構成した場合も、シミュレーション取得データ及び計測取得データを用いて、所望の質感に対応する層構成の予測等を適切に行うことができる。
【0113】
続いて、上記において説明をした各構成に関する補足説明等を行う。また、以下においては、説明の便宜上、上記において説明をした変形例等も含めて、本例という。上記においても説明をしたように、本例において、制御PC14(
図1参照)は、領域構成予測装置の一例である。また、例えば
図4(a)に図示をしたように、本例において、制御PC14は、表示部402、受付部404、通信I/F部406、及び制御部408を有する。この場合、制御部408は、例えば、所定のプログラムに従って動作することで、領域構成予測装置の各部として動作する。より具体的に、制御部408は、所定のプログラムに従って動作することで、例えば、質感予測部、学習済モデル作成部、領域構成予測部、及び造形データ生成部等として動作する。この場合、質感予測部については、例えば、質感予測段階の動作を実行する構成等と考えることができる。学習済モデル作成部については、例えば、学習段階の動作を実行する構成等と考えることができる。領域構成予測部については、例えば、領域構成予測段階の動作を実行する構成等と考えることができる。また、造形データ生成部については、例えば、造形データ生成段階の動作を実行する構成等と考えることができる。また、制御部408は、制御PC14における他の構成について、領域構成予測装置の各構成として動作させてもよい。
【0114】
また、上記においては、積層構成を予測する動作に関し、主に、造形装置12(
図1参照)において造形する造形物の一部の領域構成に対応する積層構成を予測する動作について、説明をした。しかし、積層構成を予測する動作の変形例においては、このような造形物以外の物の少なくとも一部の領域構成に対応する積層構成の予測を行ってもよい。例えば、2次元の画像を印刷する印刷装置(例えば、インクジェットプリンタ)においては、印刷対象の媒体(メディア)上に様々な色のインクの層を複数重ねることで様々な質感を表現すること等も考えられる。そして、この場合、例えば、媒体上に重ねて形成されるインクの層の重なり方を領域構成と考えて、このような領域構成に対応する積層構成の予測を行ってもよい。また、例えば媒体上にインクの層を重ねることで立体的な形状を形成する印刷装置(いわゆる、2.5Dプリンタ)を用いる場合、媒体上に形成される立体的な形状の表面の構成を領域構成と考えて、このような領域構成に対応する積層構成の予測を行ってもよい。これらの場合にも、上記と同様にして作成した学習済モデルを用いることで、積層構成の予測等を適切に行うことができる。
【産業上の利用可能性】
【0115】
本発明は、例えば領域構成予測方法に好適に利用できる。
【符号の説明】
【0116】
10・・・造形システム、12・・・造形装置、14・・・制御PC、50・・・造形物、52・・・サポート層、102・・・ヘッド部、104・・・造形台、106・・・走査駆動部、110・・・制御部、122・・・インクジェットヘッド、124・・・紫外線光源、126・・・平坦化ローラ、152・・・内部領域、154・・・着色領域、202・・・層状領域、302・・・真皮領域、304・・・表皮領域、306・・・クリア領域、402・・・表示部、404・・・受付部、406・・・通信I/F部、408・・・制御部、502・・・造形単位層、602・・・エンコーダ部、604・・・デコーダ部