特許 7267068 学習済みモデル生成装置、プログラム及び学習済みモデル生成システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-21

(45)【発行日】2023-05-01

(54)【発明の名称】学習済みモデル生成装置、プログラム及び学習済みモデル生成システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230424BHJP

   G06N 20/00 20190101ALI20230424BHJP

【ＦＩ】

G06T7/00 350B

G06N20/00 130

【請求項の数】 6

(21)【出願番号】P 2019065335

(22)【出願日】2019-03-29

(65)【公開番号】P2020166473

(43)【公開日】2020-10-08

【審査請求日】2022-02-25

(73)【特許権者】

【識別番号】507291969

【氏名又は名称】三井情報株式会社

(74)【代理人】

【識別番号】100112335

【弁理士】

【氏名又は名称】藤本 英介

(74)【代理人】

【識別番号】100101144

【弁理士】

【氏名又は名称】神田 正義

(74)【代理人】

【識別番号】100101694

【弁理士】

【氏名又は名称】宮尾 明茂

(74)【代理人】

【識別番号】100124774

【弁理士】

【氏名又は名称】馬場 信幸

(74)【代理人】

【識別番号】100209842

【弁理士】

【氏名又は名称】中村 俊一

(72)【発明者】

【氏名】青木 賢太郎

(72)【発明者】

【氏名】澤勢 一史

(72)【発明者】

【氏名】山田 薫

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１９－０２３８５８（ＪＰ，Ａ）

【文献】特開２０１８－１６３５５４（ＪＰ，Ａ）

【文献】国際公開第２０１１／０８６８８９（ＷＯ，Ａ１）

【文献】国際公開第２０１６／１５７４９９（ＷＯ，Ａ１）

【文献】国際公開第２０１９／０２１４５６（ＷＯ，Ａ１）

【文献】特開２０１８－１２４９３９（ＪＰ，Ａ）

【文献】特開２０１８－１６９６９０（ＪＰ，Ａ）

【文献】特開２０１５－２０７１０５（ＪＰ，Ａ）

【文献】特開２０１４－１９９５５９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

３Ｄデータに基づいて疑似画像データを生成する画像データ生成部と、
３Ｄデータに含まれる３Ｄモデルデータと、パラメータとから疑似画像データの位置の座標を示すアノテーションデータを生成するアノテーションデータ生成部と、
前記疑似画像データと、前記アノテーションデータとを含む学習用データを生成する学習用データ生成部と、
前記学習用データを用いて入力用データから出力用データを推論するための学習済みモデルを生成する学習済みモデル生成部と、
を備えたことを特徴とする学習済みモデル生成装置。

【請求項2】

前記疑似画像データの位置を示す座標は、２次元の座標又は３次元の座標であることを特徴とする請求項１に記載の学習済みモデル生成装置。

【請求項3】

前記疑似画像データを生成するとき及び前記アノテーションデータを生成するときに、前記パラメータを決定するパラメータ決定部を更に備えることを特徴とする請求項２に記載の学習済みモデル生成装置。

【請求項4】

実画像データを取得する取得部を更に備え、
前記アノテーションデータ生成部は、前記実画像データに基づいてアノテーションデータを生成し、
前記学習用データ生成部は、更に実画像データと、前記アノテーションデータとを含む学習用データを生成する、
ことを特徴とする請求項１から３の何れか一項に記載の学習済みモデル生成装置。

【請求項5】

コンピュータに、
３Ｄデータに基づいて疑似画像データを生成する画像データ生成機能と、
３Ｄデータに含まれる３Ｄモデルデータと、パラメータとから疑似画像データの位置の座標を示すアノテーションデータを生成するアノテーションデータ生成機能と、
前記疑似画像データと、前記アノテーションデータとを含む学習用データを生成する学習用データ生成機能と、
前記学習用データを用いて入力用データから出力用データを推論するための学習済みモデルを生成する学習済みモデル生成機能と、
を実現させるためのプログラム。

【請求項6】

３Ｄデータに基づいて疑似画像データを生成する画像データ生成手段と、
３Ｄデータに含まれる３Ｄモデルデータと、パラメータとから疑似画像データの位置の座標を示すアノテーションデータを生成するアノテーションデータ生成手段と、
前記疑似画像データと、前記アノテーションデータとを含む学習用データを生成する学習用データ生成手段と、
前記学習用データを用いて入力用データから出力用データを推論するための学習済みモデルを生成する学習済みモデル生成手段と、
を備えたことを特徴とする学習済みモデル生成システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習済みモデル生成装置等に関する。

【背景技術】

【0002】

従来から、機械学習において、学習済みモデルを生成するためには、学習対象となるデータと、学習対象となるデータに対する正解データ（アノテーションデータ）とを含む学習用データ（教師データ、訓練データ）を学習モデルに投入する必要があった。

【0003】

例えば、学習用画像データに正解データを付加することで学習済みモデルを生成する発明（例えば、特許文献１参照）や、サンプル画像と、正解データとを与えることにより学習済みモデルを生成したりする発明（例えば、特許文献２参照）が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－５６４０号公報

【文献】特開２０１０－２１１４６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来は、学習済みモデルを生成するためには、学習用データを利用者が準備する必要があった。学習済みモデルの精度を上げるためには、学習対象となるデータを利用者は大量に準備する必要があった。

【0006】

また、学習対象のデータを準備したとしても、学習対象のデータにアノテーションを利用者が与える作業が必要であった。学習対象のデータが膨大になれば、アノテーションを与える作業量も多くなってしまうという問題点があった。

【0007】

本開示は、３Ｄモデルに基づいた学習対象のデータを用いることにより、適切な学習済みモデルを生成可能な学習済みモデル生成装置等を提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示の一態様に係る学習済みモデル生成装置は、３Ｄデータに基づいて疑似画像データを生成する画像データ生成部と、３Ｄデータに基づいてアノテーションデータを生成するアノテーションデータ生成部と、前記疑似画像データと、前記アノテーションデータとを含む学習用データを生成する学習用データ生成部と、前記学習用データを用いて入力用データから出力用データを推論するための学習済みモデルを生成する学習済みモデル生成部と、を備えている。

【0009】

本開示の一態様に係るプログラムは、コンピュータに、３Ｄデータに基づいて疑似画像データを生成する画像データ生成機能と、３Ｄデータに基づいてアノテーションデータを生成するアノテーションデータ生成機能と、前記疑似画像データと、前記アノテーションデータとを含む学習用データを生成する学習用データ生成機能と、前記学習用データを用いて入力用データから出力用データを推論するための学習済みモデルを生成する学習済みモデル生成機能と、を実現させる。

【0010】

本開示の一態様に係る学習済みモデル生成システムは、３Ｄデータに基づいて疑似画像データを生成する画像データ生成手段と、３Ｄデータに基づいてアノテーションデータを生成するアノテーションデータ生成手段と、前記疑似画像データと、前記アノテーションデータとを含む学習用データを生成する学習用データ生成手段と、前記学習用データを用いて入力用データから出力用データを推論するための学習済みモデルを生成する学習済みモデル生成手段と、を備えている。

【発明の効果】

【0011】

本開示によれば、３Ｄモデルに基づいた学習対象となるデータを用いることにより、多くの人手をかけず、短時間で、適切な学習済みモデルを生成することができる。

【図面の簡単な説明】

【0012】

【図1】本実施形態におけるシステム全体を説明するための図である。

【図2】本実施形態における３Ｄデータ、疑似画像データ、アノテーションデータとの概要を説明するための図である。

【図3】本実施形態における学習済みモデル生成装置の機能構成を説明するための図である。

【図4】本実施形態における学習済みモデルを生成する処理を説明するための動作フロー図である。

【図5】本実施形態における動作例を説明するための図である。

【図6】本実施形態における対象物推論装置の概要を説明するための図である。

【図7】本実施形態の変形例を説明するための図である。

【図8】別の実施形態を説明するための図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して本発明を実施するための一実施形態について説明する。なお、以下の実施形態は、本発明を説明するための一例であり、特許請求の範囲に記載した発明の技術的範囲が、以下の記載に限定されるものではない。

【0014】

［１．システム構成］
図１は、学習済みモデル生成装置を含むシステムＡを説明するための図である。システムＡの概要を、以下説明する。システムＡは、学習済みモデル生成装置１と、対象物推論装置３とを含んでいる。

【0015】

まず、学習済みモデル生成装置１の動作の概要について説明する。利用者やシステムは、学習用データの構造を決定する（１０）。学習済みモデル（２０）として、どのようなモデルを生成するかが利用者又はシステムにより決定される。

【0016】

素材データ（１２）は、学習対象となる画像データ（疑似画像データ）を生成するための素材となるデータである。本実施形態では、素材として３Ｄデータを使用する。３Ｄデータは、例えば、少なくとも３Ｄモデルデータを含んでおり、パラメータ、素材の画像データを１又は複数含まれる。

【0017】

３Ｄモデルデータは、対象物の３Ｄモデルを生成するためのデータである。例えば、ある座標空間上の座標として、対象物の頂点や、特徴点の座標により構成されている。また、パラメータは、３Ｄモデルから対象物を生成するときに利用される。例えば、パラメータとしては、対象物の角度、傾き、倍率、色、材質、基準となる座標空間のデータ等が利用可能である。素材の画像データは、対象物のテクスチャ画像（例えば、木目調の画像や、金属の材質を示す画像、結晶の種類に応じた画像等）や、背景画像（例えば、対象物が水中にある場合や、景色の中にある場合等、それらの背景となる画像）等の種々の画像が利用可能である。

【0018】

すなわち、３Ｄデータは、３Ｄモデルデータを少なくとも含み、更にパラメータを含むことが可能である。また、上述したように素材の画像データは、３Ｄデータに含まれてもよいし、３Ｄデータとは別に用意されてもよい。また、３Ｄデータに必要な情報について、これらのデータに限定されるものではなく、当業者が容易に想到できるものが更に含まれてもよい。

【0019】

学習済みモデル生成装置１は、学習用データ生成処理（１４）を実行することで、素材データ（１２）から、利用者又はシステムにより決定された学習データの構造に対応する学習用データ（１６）を生成する。学習用データには、画像データ（疑似画像データ）と、正解データであるアノテーションデータとが含まれている。

【0020】

本実施形態における画像データ（疑似画像データ）は、静止画像データだけでなく、アニメーションデータや動画像データをも含む概念である。

【0021】

また、本実施形態におけるアノテーションデータとは、画像データ（実画像データや疑似画像データ）において、その画像データに含まれる対象物の位置を示す座標や、対象物の種類（分類のための番号および名前など）である。

【0022】

例えば、３Ｄデータに基づいて生成された対象物の相対的な座標が、学習で必要な空間上の座標に変換され、アノテーションデータとなる。

【0023】

また、学習済みモデル生成装置１は、学習用データ生成処理として、画像データを生成する画像データ生成処理と、アノテーションデータを生成するアノテーションデータ生成処理とを実行する。

【0024】

学習済みモデル生成装置１は、画像データ生成処理を実行し、例えば素材データ（１２）に含まれている３Ｄモデルデータや、画像データを利用して疑似画像データを生成する。また、学習済みモデル生成装置１は、アノテーションデータ生成処理を実行し、３Ｄモデルデータを利用して、疑似画像データに対するアノテーションデータを生成する。

【0025】

図２は、学習用データ生成処理において生成される疑似画像データと、アノテーションデータとを説明するための図である。例として、本図を参照して、結晶の画像を含む疑似画像データを生成する場合について説明する。

【0026】

図２（ａ）は、結晶１つ分の疑似画像データを模式的に示した図である。学習済みモデル生成装置１は、画像データ生成処理を実行し、３Ｄデータ（３Ｄモデルデータ）に基づいて疑似画像データを生成する。また、学習済みモデル生成装置１は、画像データ生成処理において、疑似画像データに対して、更に素材データ（１２）に含まれている画像データに基づくテクスチャデータを付加してもよい。また、学習済みモデル生成装置１は、画像データ生成処理において、疑似画像データを生成するときに、パラメータによって大きさ、回転、方向等を随時決定してもよい。

【0027】

学習済みモデル生成装置１は、アノテーション生成処理を実行し、疑似画像データに対するアノテーションデータを生成する。アノテーションデータは、３Ｄモデルデータ、パラメータから生成される結晶を対象物とした場合、疑似画像データに含まれる結晶の画像の位置とすることができる。例えば、図２（ａ）の結晶は、疑似画像データにおいて（ｘ１，ｙ１）－（ｘ２，ｙ２）の位置に存在することを算出することが可能である。

【0028】

すなわち、３Ｄモデルデータは、図２（ａ）で示される対象物の頂点座標（直方体の場合は少なくとも３点の３次元の座標、その他の立体形状であれば各頂点の３次元の座標）を示している。これを、疑似画像データが含まれる２次元の座標や、３次元の座標として座標変換されたものがアノテーションデータとなる。

【0029】

これにより、アノテーション生成処理において、例えば図２（ｂ）の疑似画像データに含まれている結晶の位置を示すアノテーションデータを随時生成することが可能となる。例えば、学習済みモデル生成装置１は、アノテーション生成処理は、疑似画像データＰ１０、Ｐ１２、Ｐ１４等のアノテーションデータを、３Ｄモデルデータ、パラメータから生成する。

【0030】

学習用のＡＩプログラム（１８）は、学習用データ（１６）を利用することで学習済みモデル（２０）を生成する。ここで、学習用データから、学習済みモデルを生成する方法としては、公知である何れかの機械学習の手法を利用することとする。例えば、機械学習の手法としては、ディープラーニングを活用したクラシフィケーション、セグメンテーション、オブジェクトデテクション、キーポイントデテクションなどといった手法を用いることができる。

【0031】

学習済みモデル生成装置１で生成された学習済みモデル（２０）は、何れかの装置で利用することができる。なお、本実施形態の学習済みモデルは、人工知能ソフトウエアの一部であるプログラムモジュールとして利用されてもよい。

【0032】

対象物推論装置３は、入力データから、学習済みモデルを利用することで、入力データを推論した出力データを出力する装置である。例えば、対象物推論装置３では、学習済みモデル生成装置１で生成された学習済みモデル（２０）を利用している。

【0033】

具体的には、ＡＩプログラム（３０）は、入力された入力データ（画像データや、メタデータ等）を認識したり、推論したりする場合に学習済みモデル（２０）を利用する。これにより、ＡＩプログラム（３０）は、認識した結果データ（３４）を出力する（出力データとして出力する）ことができる。

【0034】

本実施形態によれば、学習用データ（１６）を効率的に生成することにより、より適切な学習済みモデル（２０）を生成することができる。以下、本実施形態における処理を説明する。

【0035】

［２．機能構成］
学習済みモデル生成装置１の機能構成について図３を参照して説明する。

【0036】

制御部１００は、学習済みモデル生成装置１の全体を制御する。制御部１００は、記憶部１２０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、１又は複数の演算装置（例えば、ＣＰＵ（Central Processing Unit））により構成されている。

【0037】

また、制御部１００は、記憶部１２０に記憶されているプログラムを実行することにより、以下の機能部として動作する。

【0038】

また、制御部１００は、学習用データを生成する学習用データ生成部１１０と、学習済みモデルを生成する学習済みモデル生成部１０２の機能を実現する。

【0039】

学習用データ生成部１１０は、疑似画像データと、アノテーションデータとに基づいた学習用データを生成する。

【0040】

画像データ生成部１１２は、画像データ生成処理を実行する。画像データ生成部１１２は、学習対象となる疑似画像データを３Ｄモデルデータ記憶領域１２２に記憶されている３Ｄモデルデータに基づき、必要に応じてパラメータを参照して生成する。

【0041】

また、画像データ生成部１１２は、疑似画像データを生成するとき、更にパラメータ記憶領域１２４に記憶されているパラメータを利用してもよい。

【0042】

また、画像データ生成部１１２は、疑似画像データを生成するとき、更に画像データ記憶領域１２６に記憶されているテクスチャ画像データや、背景画像データを利用してもよい。

【0043】

具体的には、画像データ生成部１１２は、質感や、材質等といった属性を疑似画像データ与えるときに、テクスチャ画像データを利用する。

【0044】

また、画像データ生成部１１２は、３Ｄモデルが人間等の場合に、人間の後ろに写っている山や湖といった実画像データを背景画像データとして利用し、疑似画像データを生成してもよい。

【0045】

アノテーションデータ生成部１１４は、アノテーションデータ生成処理を実行する。アノテーションデータ生成部１１４は、疑似画像データの３Ｄモデルデータや、パラメータに基づいてアノテーションデータを生成する。

【0046】

アノテーションデータ生成部１１４は、３Ｄモデルデータに基づいて、疑似画像データに含まれる対象物の位置を求めることができ、当該位置がアノテーションデータとなる。また、アノテーションデータ生成部１１４は、３Ｄモデルデータからパラメータを参照して生成された疑似画像データに基づき、アノテーションデータを生成することもできる。

【0047】

パラメータ決定部１１６は、画像データ生成部１１２が疑似画像データを生成するときに利用するパラメータを決定する。例えば、３Ｄモデルデータに基づいて、回転、拡大、縮小、反転といった画像処理を施した疑似画像データが生成されるようにパラメータを決定する。また、パラメータ決定部１１６は、同じ３Ｄモデルデータであっても、複数回実行することにより、異なるパラメータを決定する。これにより、画像データ生成部１１２は、異なる疑似画像データを生成することができる。また、アノテーションデータ生成部１１４も同様に、異なるアノテーションデータを生成することができる。

【0048】

パラメータ決定部１１６は、利用者がパラメータを任意に決定してもよいし、所定の処理に基づいて決定されてもよい。例えば、一定値毎にパラメータを変えたり、乱数を利用したりしてもよい。

【0049】

学習済みモデル生成部１０２は、学習用データから学習済みモデルを生成する。学習済みモデル生成部１０２は、生成した学習モデルを学習済みモデル記憶領域１３０に記憶する。

【0050】

ここで、本実施形態における学習済みモデルを生成する処理とは、学習用データに基づいて新たに学習済みモデルを生成する処理だけでなく、学習済みモデル記憶領域１３０に記憶されている学習済みモデルを更新する処理を含むものである。

【0051】

記憶部１２０は、学習済みモデル生成装置１の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部１２０は、例えば、半導体メモリであるＳＳＤ（Solid State Drive）や、ＨＤＤ（Hard Disk Drive）等により構成されている。

【0052】

３Ｄモデルデータ記憶領域１２２は、対象物を含む疑似画像データを生成するための３Ｄモデルのデータ（３Ｄモデルデータ）を記憶している。また、パラメータ記憶領域１２４は、３Ｄモデルデータに対応するパラメータを記憶している。パラメータ記憶領域１２４に記憶されるパラメータは、パラメータ決定部１１６において利用され、新たに決定されたパラメータを記憶する。また、パラメータ記憶領域１２４が記憶するパラメータは、３Ｄモデルデータに対応して予めパラメータを記憶してもよいし、３Ｄモデルデータを読み込んだときにパラメータを記憶してもよい。

【0053】

画像データ記憶領域１２６は、画像データを記憶する。例えば、画像データ記憶領域１２６は、疑似画像データ、テクスチャ画像データ、背景画像データといった種々の画像データを記憶することができる。

【0054】

アノテーションデータ記憶領域１２８は、疑似画像データに対応するアノテーションデータが記憶される。具体的には、アノテーションデータ生成部１１４から出力されたアノテーションデータが記憶される。

【0055】

この画像データ記憶領域１２６に記憶されている疑似画像データと、アノテーションデータ記憶領域１２８に記憶されているアノテーションデータと含んだ情報が、学習用データとなる。

【0056】

学習済みモデル記憶領域１３０は、学習済みモデル生成部１０２から出力された学習済みモデルを記憶する。学習済みモデル記憶領域１３０は、学習済みモデルが１又は複数記憶されている。

【0057】

なお、上述した記憶部１２０に記憶されるデータ、情報は、学習済みモデル生成装置１に接続された外部の記憶装置、記憶媒体に記憶されてもよいし、通信部１６０を介して接続されるＮＡＳ（Network Attached Storage）や、クラウドサーバ上の記憶領域に記憶されてもよい。

【0058】

入力部１４０は、利用者からの操作指示の入力を受け付け、出力部１５０は利用者に書く指示を出力する。例えば、入力部１４０は、キーボードやマウスである。また、出力部１５０は、表示装置（例えば、液晶ディスプレイ等）である。

【0059】

また、入力部１４０、出力部１５０を一体としてタッチパネルとして構成してもよい。また、入力部１４０、出力部１５０は、通常インタフェースとして実装されていればよく、例えば、ＵＳＢ（Universal Serial Bus）に外部の装置を接続することで実現可能である。

【0060】

通信部１６０は、外部の装置や、サーバ等と通信を行う。例えば、ネットワークインタフェースにより、ＬＡＮ（Local Area Network）に接続し、他の装置等と通信を行う。また、それ以外にも、無線ＬＡＮや、ＬＴＥ（Long Term Evolution）／５Ｇ通信により実現してもよい。

【0061】

また、通信部１６０は、他にもカメラ装置から画像データを受信したりするインタフェースであってもよい。この場合は、ＵＳＢやＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等のインタフェースで実現される。

【0062】

また、入力部１４０、出力部１５０、通信部１６０は、必要に応じて１又は複数実装すればよく、実装していなくてもよい。

【0063】

また、クラウド上に設けられた記憶領域に、記憶部１２０に記憶している各データ、プログラムを記憶することで、ネットワークを経由して、本実施形態の処理を実行する構成、システムとしてもよい。この場合、必要に応じて端末装置からデータ（例えば、３Ｄモデルデータ、画像データ、パラメータ等）を受信し、学習用データ生成部１１０、学習済みモデル生成部１２０がクラウド上で実行されてもよい。

【0064】

また、一部の機能はハードウェアで実現されてもよいし、ソフトウエアで実現されてもよい。学習済みモデル生成装置１は、上述した構成以外にも必要な機能を更に備えていてもよい。

【0065】

［３．処理の流れ］
本実施形態における制御部１００（学習済みモデル生成部１０２）が実行する処理について、図４を参照して説明する。

【0066】

画像データ生成部１１２は、３Ｄモデルデータ記憶領域１２２から、３Ｄモデルデータを入力する（ステップＳ１０２）。ここで、テクスチャ画像データや、背景画像データ等がある場合、画像データ生成部１１２は、当該画像データを画像データ記憶領域１２６から併せて入力する。

【0067】

つづいて、パラメータ決定部１１６は、パラメータを決定する（ステップＳ１０４）。パラメータ決定部１１６は、３Ｄモデルデータに対応したパラメータを決定するが、予め決められたパラメータを利用してもよい。なお、３Ｄモデルデータのみから疑似画像データを生成する場合、パラメータについて利用しなくてもよい。

【0068】

なお、画像データ生成部１１２は、パラメータの扱い（利用方法）については、上述した以外にも他の方法が考えられる。以下、画像データ生成部１１２におけるパラメータの利用方法について説明する。

【0069】

（１）記憶されているパラメータを利用する
画像データ生成部１１２は、ステップＳ１０２において、３Ｄモデルデータと併せてパラメータを入力する。この場合、パラメータ記憶領域１２４には、３Ｄモデルデータに対応するパラメータが記憶されている。パラメータ記憶領域１２４に記憶されているパラメータを、画像データ生成部１１２は、ステップＳ１０４において随時読み込んで利用する。

【0070】

（２）初期パラメータを利用する
画像データ生成部１１２は、ステップＳ１０２において、３Ｄモデルデータと併せてパラメータを入力する。この場合、パラメータ記憶領域１２４には、３Ｄモデルデータに対応するパラメータが記憶されている（初期状態）。また、パラメータ決定部１１６は、初期状態のパラメータに基づいて、新たなパラメータをステップＳ１０４で決定する。画像データ生成部１１２は、２回目以降は、パラメータ決定部１１６で決定したパラメータを利用する。なお、パラメータ決定部１１６は、途中で予め記憶されているパラメータを途中で利用してもよい。

【0071】

つづいて、画像データ生成部１１２は、３Ｄモデルデータと、決定されたパラメータに基づいて画像データ（疑似画像データ）を生成する（ステップＳ１０６）。このとき、テクスチャ画像データや背景画像データ等の素材の画像データがある場合は、画像データ生成部１１２は、当該素材の画像データも利用する。画像データ生成部１１２は、生成した疑似画像データを、画像データ記憶領域１２６に記憶する。なお、上述したようにパラメータを利用しない場合は、３Ｄモデルデータや、３Ｄモデルデータと素材の画像データとから疑似画像データを生成する。

【0072】

つづいて、アノテーションデータ生成部１１４は、アノテーションデータ生成処理を実行することにより、３Ｄデータに基づいてアノテーションデータを生成する（ステップＳ１０８）。アノテーションデータ生成部１１４は、生成したアノテーションデータをアノテーションデータ記憶領域１２８に記憶する。

【0073】

つづいて、制御部１００（学習用データ生成部１１０）は、疑似画像データと、アノテーションデータとに基づき、学習用データを生成する（ステップＳ１１０）。

【0074】

学習済みモデル生成部１０２は、学習用データに基づいて学習済みモデルを生成する（ステップＳ１１２）。学習済みモデル生成部１０２は、学習済みモデルを学習済みモデル記憶領域１３０に記憶する。また、学習済みモデル生成部１０２は、既に学習済みモデル記憶領域１３０に学習済みモデルが存在する場合には、更新する処理を行ってもよい。

【0075】

ここで、更に異なるパラメータを利用して学習済みモデルを生成する場合、学習済みモデル生成部１０２は、ステップＳ１０４から処理を繰り返し実行する（ステップＳ１１４；Ｙｅｓ→ステップＳ１０４）。このとき、パラメータ決定部１１６は、パラメータをランダムに決定してもよいし、一定量ずつずらして決定してもよい。例えば、パラメータ決定部１１６は、パラメータの一つとして回転角度を９０度ずつずらすようにパラメータを決定してもよい。

【0076】

ここで、学習済みモデル生成部１０２は、疑似画像データに基づく学習用データのみで学習済みモデルを生成（更新）しているが、実画像の画像データ（実画像データ）に基づいて学習済みモデルを更新してもよい。

【0077】

実画像データによる学習用データを生成する場合（ステップＳ１１６；Ｙｅｓ）、例えば、制御部１００は、通信部１６０から実画像データを受信し、画像データ記憶領域１２６に記憶する。この画像データ記憶領域１２６が記憶している実画像データを処理に利用する。

【0078】

つづいて、アノテーションデータ生成部１１４は、実画像データに対応するアノテーションデータを作成する（ステップＳ１２０）。ここのアノテーションデータは、例えば利用者が実画像データを確認し、アノテーションデータを生成してもよい。また、別の画像認識機能を利用し、アノテーションデータを生成してもよい。

【0079】

そして、制御部１００（学習用データ生成部１１０）は、ステップＳ１１８で入力された実画像データと、ステップＳ１２０で作成されたアノテーションデータとに基づき、学習用データを生成する（ステップＳ１２２）。

【0080】

学習済みモデル生成部１０２は、ステップＳ１２２で生成した学習用データを利用して学習済みモデル生成処理を実行する（ステップＳ１３０）。当該処理により、既にステップＳ１１２で生成された学習済みモデルが更新されることになる。

【0081】

このように、図４の処理が実行されることにより、疑似画像データに基づく学習済みモデルが生成される。更に、実画像データに基づく学習済みデータが生成されることにより、より精度の高い学習済みモデルが生成されることとなる。

【0082】

図５は、学習用データの画像を示す図である。例えば、従来であれば図５（ａ）の画像から、作業者が手動でアノテーションを付加する必要があった。

【0083】

しかし、本実施形態によれば、個別の疑似画像データのアノテーションは自動的に算出されている。したがって、図５（ｂ）に示すように、作業者が手動でアノテーションを付加することなく、自動的にアノテーションデータが生成されることとなる。

【0084】

なお、生成された学習済みモデルを利用した対象物推論処理を実行することができる。図６は、対象物推論処理の一例を示す図である。対象物推論処理は、例えば対象物推論装置３のＡＩプログラム３０に含まれる処理である。

【0085】

入力部１０００は、入力データを入力する。入力データとしては、例えば画像データ（入力画像データ）を入力する。つづいて、推論部１１００は、学習済みモデル生成部１０２で生成した学習済みモデル１２００とＡＩプログラム３０を利用して、入力画像データから、対象物が入力画像データのどの位置に含まれているかの推論を行う。つづいて、出力部１３００は、推論の結果として、対象物が含まれている領域を示すデータや、対象物の種別を出力データとしてする。なお、推論部１１００は、画像データに対する対象物によって、対応する学習済みモデル１２００とＡＩプログラム３０を使用する。

【0086】

例えば、対象物が人物であれば、推論部１１００は画像データに写り込んだ人物について学習した学習済みモデルを用いて、入力部１０００に入力された入力画像データについて推論を行う。また、対象物が結晶であれば、入力画像データに含まれている結晶の数、大きさについて推論を行うことができる。このようにして、本実施形態を適用した学習済みモデルを利用することにより、対象物を適切に決定することができる。

【0087】

［４．他の実施形態］
上述した実施形態とは別に、学習済みモデル生成装置、対象物推論装置等をサーバで実現してもよい。図８は、サーバクライアントのモデルを利用したシステムＢについて説明する図である。

【0088】

例えば、サーバ５０は、１又は複数のサーバにより構成されている。サーバ５０は、上述した学習済みモデル生成処理（例えば、図４）を実行することができる。

【0089】

端末装置６０は、ネットワークＮＷを介してサーバ装置５０に接続する。例えば、学習済みモデル生成処理を、ＡＳＰ（Application Service Provider）／ＳａａＳ（Software as a Service）等のように提供してもよい。例えば、端末装置６０はＷｅｂブラウザや、専用アプリケーションを利用してサーバ装置５０に接続し、学習済みモデル生成処理を実行する。

【0090】

このとき、サーバ装置５０は、素材データ１２を端末装置６０から受信して学習済みモデル２０を生成して端末装置６０に返してもよい。また、サーバ装置５０は、学習済みモデル生成処理で使用する学習用データ１６を生成し、端末装置６０に返してもよい。この場合、端末装置６０は、受信した学習用データ１６を利用して学習済みモデルを生成する。すなわち、学習済み生成モデル生成処理は、サーバ装置５０と、端末装置６０とで実行される。

【0091】

また、携帯端末装置７０は、ネットワークＮＷを介してサーバ装置５０に接続する。例えば、サーバ装置５０において、対象物推論処理が実行されることで、携帯端末装置７０は、カメラで撮影した画像に含まれる対象物の推論を行うことができる。

【0092】

このように、本明細書に記載されている処理、データについては、技術的に矛盾のない範囲で分散して記憶したり、分散して処理したりすることが可能である。すなわち、説明の都合上、学習済みモデル生成装置、対象物推論装置として説明しているが、必ずしも１つの装置で構成されることに限定されるものではない。

【0093】

また、学習用データ生成部１１０や、学習済みモデル生成部１０２が実行する処理を含む各処理は、アプリケーションで提供されてもよい。例えば、サーバに限られず、市販のコンピュータ（情報処理装置）や、携帯型端末装置（タブレット等）にインストールし、実行することで、学習済みモデル生成装置、対象物推論装置として機能することとなる。

【0094】

［５．変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。

【0095】

上述した実施形態において、疑似画像データとして結晶の画像データを一例として説明したが、他の画像データであってもよい。

【0096】

例えば、図７は、３Ｄデータとして動物のデータを示している。この場合、制御部１００（学習用データ生成部１１０）は、動物の３Ｄデータとして３Ｄモデルデータ及びパラメータから疑似画像データを生成する。

【0097】

また、制御部１００は、動物の３Ｄデータとして３Ｄモデルデータ及びパラメータに対応する座標をそれぞれ算出する。そして、制御部１００（アノテーションデータ生成部１１４）は、算出した座標が含まれるように、アノテーションデータを生成する。これにより、制御部１００（学習用データ生成部１１０）は、疑似画像データ及びアノテーションデータから、学習用データを生成することができる。このように、疑似画像データとしては、その他にも、人、自動車、建物といった種々のデータを利用できる。

【0098】

また、上述した実施形態においては、疑似画像データを画像データ記憶領域１２６に記憶しているが、そのまま学習済みモデル生成部１０２が利用してもよい。すなわち、疑似画像データは、一時的に記憶部１２０に記憶されたり、処理の実行時に、その都度生成されたりしてもよい。

【0099】

また、上述した実施形態において、学習済みモデル生成装置１はサーバ装置等の単体の装置として説明しているが、必要に応じてネットワークに接続されたサーバ装置や、相互に接続された装置に機能を分散させてもよい。３Ｄモデルを入力し、学習済みモデルが出力される学習済みモデル生成システムとして、実現されればよい。

【0100】

また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等の演算装置を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、ケーブルを介しての接続やネットワークを介しての接続などに関わらず、各種ＲＯＭやＨＤＤ、ＳＳＤの記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。

【0101】

また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。

【符号の説明】

【0102】

１００ 制御部
１０２ 学習済みモデル生成部
１１０ 学習用データ生成部
１１２ 画像データ生成部
１１４ アノテーションデータ生成部
１１６ パラメータ決定部
１２０ 記憶部
１２２ ３Ｄモデルデータ記憶領域
１２４ パラメータ記憶領域
１２６ 画像データ記憶領域
１２８ アノテーションデータ記憶領域
１３０ 学習済みモデル記憶領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】