特開 2024-114087 生成プログラム、生成方法、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024114087

(43)【公開日】2024-08-23

(54)【発明の名称】生成プログラム、生成方法、および情報処理装置

(51)【国際特許分類】

   G06V 10/774 20220101AFI20240816BHJP

   G06T 7/00 20170101ALI20240816BHJP

   G06T 7/11 20170101ALI20240816BHJP

   G06T 7/55 20170101ALI20240816BHJP

【ＦＩ】

G06V10/774

G06T7/00 350B

G06T7/11

G06T7/55

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023019502

(22)【出願日】2023-02-10

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100104190

【弁理士】

【氏名又は名称】酒井 昭徳

(72)【発明者】

【氏名】岡田 義紀

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096EA45

5L096FA02

5L096FA41

5L096GA59

(57)【要約】

【課題】訓練データを効率的に生成すること。
【解決手段】情報処理装置１００は、例えば、それぞれ異なる方向から対象物１０１を撮影した複数の画像１１０それぞれについて、当該画像１１０のうち対象物１０１が映った領域１２０を取得する。情報処理装置１００は、例えば、取得した領域１２０それぞれについて、当該領域１２０をテクスチャに適用した、当該領域１２０に対応する対象物１０１の一面を表す３次元オブジェクトデータ１３０を生成する。情報処理装置１００は、例えば、生成した３次元オブジェクトデータ１３０それぞれに基づいて、所定の画像１４０に対して当該３次元オブジェクトデータ１３０を合成することにより、モデルを機械学習により訓練する際に用いられる、対象物１０１が映った領域１２０を判別可能な訓練データを生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

それぞれ異なる方向から対象物を撮影した複数の画像それぞれについて、当該画像のうち前記対象物が映った領域を取得し、
取得した前記領域それぞれについて、当該領域をテクスチャに適用した、当該領域に対応する前記対象物の一面を表す３次元オブジェクトデータを生成し、
生成した前記３次元オブジェクトデータそれぞれに基づいて、所定の画像に対して当該３次元オブジェクトデータを合成することにより、入力された画像に映った前記対象物を認識するモデルを機械学習により訓練する際に用いられる、前記対象物が映った領域を判別可能な訓練データを生成する、
処理をコンピュータに実行させることを特徴とする生成プログラム。

【請求項2】

前記所定の画像は、所定の空間を撮影した画像であって、
前記複数の画像は、前記対象物が配置された前記所定の空間を撮影することにより、それぞれ異なる方向から前記対象物を撮影した２以上の画像である、ことを特徴とする請求項１に記載の生成プログラム。

【請求項3】

前記複数の画像は、前記所定の空間に配置された前記対象物の位置または向きを変更しつつ前記所定の空間を撮影することにより、それぞれ異なる方向から前記対象物を撮影した２以上の画像であって、
前記取得する処理は、
前記複数の画像を取得し、取得した前記複数の画像それぞれについて、当該画像のうち前記対象物が映った領域を抽出することにより、当該領域を取得する、ことを特徴とする請求項２に記載の生成プログラム。

【請求項4】

前記訓練データを生成する処理は、
複数の条件それぞれについて、生成した前記３次元オブジェクトデータに基づいて、当該条件を満たすよう前記所定の画像に対して当該３次元オブジェクトデータを合成することにより、前記対象物が映った領域を判別可能な前記訓練データを生成する、ことを特徴とする請求項３に記載の生成プログラム。

【請求項5】

前記モデルを機械学習により訓練する際に用いられる訓練データを生成する機能を有するツールを利用して、生成した前記３次元オブジェクトデータそれぞれに基づいて、所定の画像に対して当該３次元オブジェクトデータを合成することにより、前記モデルを機械学習により訓練する際に用いられる、前記対象物が映った領域を判別可能な訓練データを生成する、ことを特徴とする請求項１～４のいずれか一つに記載の生成プログラム。

【請求項6】

それぞれ異なる方向から対象物を撮影した複数の画像それぞれについて、当該画像のうち前記対象物が映った領域を取得し、
取得した前記領域それぞれについて、当該領域をテクスチャに適用した、当該領域に対応する前記対象物の一面を表す３次元オブジェクトデータを生成し、
生成した前記３次元オブジェクトデータそれぞれに基づいて、所定の画像に対して当該３次元オブジェクトデータを合成することにより、入力された画像に映った前記対象物を認識するモデルを機械学習により訓練する際に用いられる、前記対象物が映った領域を判別可能な訓練データを生成する、
処理をコンピュータが実行することを特徴とする生成方法。

【請求項7】

それぞれ異なる方向から対象物を撮影した複数の画像それぞれについて、当該画像のうち前記対象物が映った領域を取得し、
取得した前記領域それぞれについて、当該領域をテクスチャに適用した、当該領域に対応する前記対象物の一面を表す３次元オブジェクトデータを生成し、
生成した前記３次元オブジェクトデータそれぞれに基づいて、所定の画像に対して当該３次元オブジェクトデータを合成することにより、入力された画像に映った前記対象物を認識するモデルを機械学習により訓練する際に用いられる、前記対象物が映った領域を判別可能な訓練データを生成する、
制御部を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生成プログラム、生成方法、および情報処理装置に関する。

【背景技術】

【0002】

従来、画像と、当該画像に映った物体を認識した結果の正解とを対応付けた訓練データに基づいて、入力された画像に映った物体を認識した結果を出力するモデルを機械学習により訓練する技術がある。モデルは、例えば、ディープニューラルネットワークである。モデルは、例えば、畳み込みニューラルネットワークである。

【0003】

先行技術としては、例えば、物体の３次元モデルに、撮影画像のうち物体が映る画像領域をテクスチャマッピングしたテクスチャ付３次元モデルをレンダリングすることにより、２次元画像を示す２次元画像情報を取得するものがある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０２２／１２３６３６号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、入力された画像に映った物体を精度よく認識可能なモデルを機械学習により訓練するために、多様な訓練データを用意することが難しい。例えば、用意する訓練データの数を増やすほど、訓練データを形成する画像を撮影する作業者にかかる作業負担および作業時間の増大化を招く。例えば、用意する訓練データの数を増やすほど、訓練データを形成する画像と、当該画像に映った物体を認識した結果の正解とを対応付けるアノテーション作業を実施する作業者にかかる作業負担および作業時間の増大化を招く。

【0006】

１つの側面では、本発明は、訓練データを効率的に生成することを目的とする。

【課題を解決するための手段】

【0007】

１つの実施態様によれば、それぞれ異なる方向から対象物を撮影した複数の画像それぞれについて、当該画像のうち前記対象物が映った領域を取得し、取得した前記領域それぞれについて、当該領域をテクスチャに適用した、当該領域に対応する前記対象物の一面を表す３次元オブジェクトデータを生成し、生成した前記３次元オブジェクトデータそれぞれに基づいて、所定の画像に対して当該３次元オブジェクトデータを合成することにより、入力された画像に映った前記対象物を認識するモデルを機械学習により訓練する際に用いられる、前記対象物が映った領域を判別可能な訓練データを生成する生成プログラム、生成方法、および情報処理装置が提案される。

【発明の効果】

【0008】

一態様によれば、訓練データを効率的に生成することが可能になる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施の形態にかかる生成方法の一実施例を示す説明図である。

【図2】図２は、物体認識支援システム２００の一例を示す説明図である。

【図3】図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。

【図4】図４は、管理者側装置２０１のハードウェア構成例を示すブロック図である。

【図5】図５は、情報処理装置１００の機能的構成例を示すブロック図である。

【図6】図６は、３次元オブジェクトデータを生成する一例を示す説明図（その１）である。

【図7】図７は、３次元オブジェクトデータを生成する一例を示す説明図（その２）である。

【図8】図８は、３次元オブジェクトデータを生成する一例を示す説明図（その３）である。

【図9】図９は、訓練データを生成する一例を示す説明図（その１）である。

【図10】図１０は、訓練データを生成する一例を示す説明図（その２）である。

【図11】図１１は、訓練データを生成する一例を示す説明図（その３）である。

【図12】図１２は、モデルを機械学習により訓練する一例を示す説明図である。

【図13】図１３は、アノテーション領域に基づく効果の一例を示す説明図（その１）である。

【図14】図１４は、アノテーション領域に基づく効果の一例を示す説明図（その２）である。

【図15】図１５は、作業時間の一例を示す説明図（その１）である。

【図16】図１６は、作業時間の一例を示す説明図（その２）である。

【図17】図１７は、物体を認識する精度の一例を示す説明図である。

【図18】図１８は、全体処理手順の一例を示すフローチャートである。

【図19】図１９は、生成処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に、図面を参照して、本発明にかかる生成プログラム、生成方法、および情報処理装置１００の実施の形態を詳細に説明する。

【0011】

（実施の形態にかかる生成方法の一実施例）
図１は、実施の形態にかかる生成方法の一実施例を示す説明図である。情報処理装置１００は、モデルを機械学習により訓練する際に用いられる訓練データを生成するためのコンピュータである。情報処理装置１００は、例えば、サーバ、または、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などである。

【0012】

モデルは、例えば、画像の入力を受け付ける。モデルは、例えば、入力された画像に映った物体を認識した結果を出力する機能を有する。モデルは、例えば、ディープニューラルネットワークである。モデルは、畳み込みニューラルネットワークである。訓練データは、例えば、画像と、当該画像に映った物体を認識した結果の正解とを対応付けたデータである。訓練データは、具体的には、画像と、当該画像のうち物体が映った領域と、当該物体を認識した結果の正解とを対応付けたデータである。モデルは、例えば、複数の訓練データに基づいて機械学習により訓練される。

【0013】

ここで、入力された画像に映った物体を精度よく認識可能なモデルを機械学習により訓練するために、多様な訓練データを用意することが望まれる。例えば、用意する訓練データの数を増やすことが望まれる。例えば、同一の物体がそれぞれ異なる映り方をした複数の画像それぞれを含む訓練データを用意することが望まれる。例えば、異なる物体が映った複数の画像それぞれを含む訓練データを用意することが望まれる。例えば、用意した訓練データの数が多いほど、用意した当該訓練データに基づいて機械学習により訓練するモデルが、入力された画像に映った物体を認識する精度が高くなり易いと考えられる。

【0014】

しかしながら、従来では、多様な訓練データを用意することが難しい。

【0015】

例えば、作業者が、物体が映った画像を撮影し、撮影した当該画像のうち当該物体が映った領域に対して、当該物体を認識した結果の正解を対応付けるアノテーション作業を実施することにより、訓練データを作成する場合が考えられる。この場合、例えば、用意する訓練データの数を増やそうとするほど、作業者が撮影する画像の枚数が多くなるため、作業者にかかる作業負担および作業時間の増大化を招く。この場合、例えば、用意する訓練データの数を増やそうとするほど、作業者がアノテーション作業を実施する回数が多くなるため、作業者にかかる作業負担および作業時間の増大化を招く。

【0016】

これに対し、例えば、作業者が、物体の実物を表す３次元モデルを作成し、作成した３次元モデルを配置した画像を作成することにより、訓練データを作成する手法１が考えられる。この手法１は、例えば、作成した画像と、当該画像のうち物体が映った領域と、当該物体を認識した結果の正解とを対応付けた訓練データを作成する。

【0017】

この手法１でも、多様な訓練データを用意することが難しい場合がある。例えば、作業者が、３次元モデリングソフトウェアを用いて、物体の実物を表す３次元モデルを作成することになるため、作業者にかかる作業負担および作業時間の増大化を招く。例えば、作業者が、３次元モデリングソフトウェアの扱い方に詳しくなければ、物体の実物を表す３次元モデルを作成することが難しく、訓練データを作成することが難しい。

【0018】

また、この手法１では、有用な訓練データを用意することが難しい場合がある。有用な訓練データは、例えば、物体の実物を撮影した実際の画像と類似すると考えられる、３次元モデルを配置した架空の画像を含む訓練データである。例えば、作業者が、物体の実物を精度よく表す３次元モデルを作成しなければ、物体の実物を撮影した実際の画像と類似すると考えられる、３次元モデルを配置した架空の画像を作成することが難しく、有用な訓練データを作成することが難しい。

【0019】

従って、この手法１では、入力された画像に映った物体を精度よく認識可能なモデルを機械学習により訓練するために、多様かつ有用な訓練データを用意することが難しい。この手法１では、用意した訓練データに基づいて、機械学習により訓練するモデルが入力された画像に映った物体を認識する精度の向上を図ることが難しい。

【0020】

一方で、作業者が、３次元スキャナを用いて、物体の実物をスキャンすることにより、物体の実物を表す３次元モデルを作成し、作成した３次元モデルを配置した画像を作成することにより、訓練データを作成する手法２が考えられる。この手法２は、例えば、作成した画像と、当該画像のうち物体が映った領域と、当該物体を認識した結果の正解とを対応付けた訓練データを作成する。

【0021】

この手法２でも、多様な訓練データを用意することが難しい場合がある。例えば、３次元スキャナは、表面に光沢を有する物体、または、透明な部分を有する物体などを精度よく表す３次元モデルを作成することができない傾向がある。例えば、作業者は、３次元スキャナ、および、３次元スキャナを用いたスキャン結果に基づいて物体の実物を表す３次元モデルを作成するソフトウェアなどを用意することになる。このため、物体の実物を表す３次元モデルを作成する作業コストの増大化を招くという問題がある。

【0022】

また、作業者が、物体の実物を撮影した画像のうち、当該物体の実物が映った領域を切り抜き、切り抜いた当該領域を合成した複数の画像それぞれを含む訓練データを作成する手法３が考えられる。この手法３は、例えば、切り抜いた領域を合成した複数の画像それぞれについて、当該画像と、当該領域と、当該領域に映った物体を認識した結果の正解とを対応付けて、訓練データを作成することになる。

【0023】

この手法３では、有用な訓練データを用意することが難しい場合がある。有用な訓練データは、例えば、モデルが認識する対象の物体が映っており、対象の物体とは異なる他の物体が映っていない画像を含む訓練データである。例えば、切り抜いた領域に、モデルが認識する対象の物体とは異なる他の物体が映っていると、切り抜いた当該領域を合成した複数の画像それぞれも、当該他の物体が映っている画像になるため、有用な訓練データを作成することができない。また、例えば、作業者が、切り抜いた領域に、モデルが認識する対象の物体とは異なる他の物体が映らないよう、当該物体の実物を撮影した画像のうち、当該物体の実物のみが映った領域を切り抜く場合、作業者にかかる作業負担および作業時間の増大化を招く。

【0024】

そこで、本実施の形態では、訓練データを効率的に生成することができる生成方法について説明する。

【0025】

図１において、情報処理装置１００は、モデルを機械学習により訓練する際に用いられる訓練データを生成する。モデルは、画像１１０の入力を受け付ける。モデルは、入力された画像１１０に映った物体を認識する機能を有する。モデルは、入力された画像１１０に映った物体を認識した結果を出力する。訓練データは、モデルに入力され得るサンプル画像と、当該サンプル画像のうち物体が映った領域１２０と、当該物体を認識した結果の正解とを対応付けたデータである。訓練データは、物体が映った領域１２０を判別可能に示す。

【0026】

（１－１）情報処理装置１００は、例えば、それぞれ異なる方向から対象物１０１を撮影した複数の画像１１０それぞれについて、当該画像１１０のうち対象物１０１が映った領域１２０を取得する。対象物１０１は、機械学習により訓練するモデルが認識する対象となり得る物体である。複数の画像１１０は、例えば、対象物１０１の状態を変更しつつ対象物１０１を複数回撮影することにより得られる。状態は、例えば、位置、または、向きなどである。

【0027】

情報処理装置１００は、具体的には、それぞれ異なる方向から対象物１０１を撮影した複数の画像１１０を取得する。情報処理装置１００は、具体的には、取得した複数の画像１１０それぞれについて、当該画像１１０のうち対象物１０１が映った領域１２０を抽出することにより、当該領域１２０を取得する。

【0028】

（１－２）情報処理装置１００は、例えば、取得した領域１２０それぞれについて、当該領域１２０をテクスチャに適用した、当該領域１２０に対応する対象物１０１の一面を表す３次元オブジェクトデータ１３０を生成する。情報処理装置１００は、具体的には、取得した領域１２０それぞれについて、当該領域１２０に対応する対象物１０１の一面を表すテクスチャとして当該領域１２０を貼り付けた、厚みを有さない３次元オブジェクトデータ１３０を生成する。

【0029】

（１－３）情報処理装置１００は、例えば、生成した３次元オブジェクトデータ１３０それぞれに基づいて、所定の画像１４０に対して当該３次元オブジェクトデータ１３０を合成することにより、訓練データを生成する。訓練データは、対象物１０１が映った領域１２０を判別可能である。訓練データは、モデルを機械学習により訓練する際に用いられる。所定の画像１４０は、モデルに入力され得るサンプル画像の雛型である。所定の画像１４０は、例えば、予め利用者によって設定される。

【0030】

情報処理装置１００は、具体的には、３次元オブジェクトデータ１３０それぞれについて、対象物１０１が映った領域１２０を適用したテクスチャが所定の画像１４０上に残るよう、所定の画像１４０に対して当該３次元オブジェクトデータ１３０を合成する。これにより、情報処理装置１００は、所定の画像１４０に対して当該３次元オブジェクトデータ１３０を合成した、新たな１以上の合成画像１５０を生成する。新たな合成画像１５０は、モデルに入力され得るサンプル画像に対応する。情報処理装置１００は、より具体的には、３次元オブジェクトデータ１３０それぞれについて、所定の画像１４０に対して当該３次元オブジェクトデータ１３０をそれぞれ異なる位置に合成した、新たな複数の合成画像１５０を生成してもよい。

【0031】

情報処理装置１００は、具体的には、生成した合成画像１５０それぞれについて、当該合成画像１５０のうち３次元オブジェクトデータ１３０を合成した領域１２０を、当該合成画像１５０のうち対象物１０１が映った領域１２０として設定する。情報処理装置１００は、具体的には、生成した合成画像１５０それぞれについて、当該合成画像１５０と、設定した当該合成画像１５０のうち対象物１０１が映った領域１２０と、当該対象物１０１を認識した結果の正解とを対応付けた訓練データを生成する。

【0032】

これにより、情報処理装置１００は、多様な訓練データを用意し易くすることができる。情報処理装置１００は、訓練データを用意しようとする際に作業者にかかる作業負担および作業時間の低減化を図ることができる。

【0033】

情報処理装置１００は、例えば、撮影した画像１１０の１枚あたり、当該画像１１０に基づいて生成した３次元オブジェクトデータ１３０を合成した、複数の新たな合成画像１５０を生成することができ、複数の訓練データを生成することができる。情報処理装置１００は、例えば、用意しようとする訓練データの数が増加しても、撮影する画像１１０の枚数が増加し難くすることができ、作業者にかかる作業負担および作業時間の増大化を抑制することができる。

【0034】

情報処理装置１００は、具体的には、作業者が、用意しようとする訓練データの数分の画像１１０を撮影せずに済ませることができる。情報処理装置１００は、具体的には、作業者が、用意しようとする訓練データの数よりも少ない数分の画像１１０を撮影すれば済むようにすることができる。情報処理装置１００は、例えば、用意しようとする訓練データの数を増やし易くすることができる。

【0035】

情報処理装置１００は、例えば、生成した合成画像１５０のうち３次元オブジェクトデータ１３０を合成した領域１２０を、当該合成画像１５０のうち対象物１０１が映った領域１２０として設定することができる。このため、情報処理装置１００は、作業者が、アノテーション作業を実施せずに済むようにすることができる。情報処理装置１００は、設定した合成画像１５０のうち対象物１０１が映った領域１２０に、対象物１０１とは異なる他の物体が含まれ難くすることができ、有用な訓練データを生成し易くすることができる。情報処理装置１００は、作業者が、合成画像１５０のうち対象物１０１が映った領域１２０を指定せずに済むようにすることができ、作業者にかかる作業負担および作業時間の増大化を抑制することができる。

【0036】

情報処理装置１００は、例えば、対象物１０１を実際に撮影した画像１１０に基づいて、３次元オブジェクトデータ１３０を生成することができる。情報処理装置１００は、具体的には、作業者が、３次元モデリングソフトウェアの扱い方に詳しくなくても、３次元オブジェクトデータ１３０を生成することができ、作業者にかかる作業負担および作業時間の低減化を図ることができる。

【0037】

情報処理装置１００は、例えば、対象物１０１が映った領域１２０をテクスチャに適用することができる。情報処理装置１００は、対象物１０１が映るよう実際に撮影した、モデルに入力され得るサンプル画像と類似すると考えられる、３次元オブジェクトデータ１３０を合成した架空の合成画像１５０を生成することができる。情報処理装置１００は、有用な訓練データを生成し易くすることができる。

【0038】

情報処理装置１００は、例えば、３次元スキャナがなくても、訓練データを生成することができ、訓練データを生成する際にかかる作業コストの低減化を図ることができる。情報処理装置１００は、例えば、対象物１０１が、表面に光沢を有する物体、または、透明な部分を有する物体などであっても、訓練データを生成することができる。

【0039】

このように、情報処理装置１００は、入力された画像１１０に映った物体を精度よく認識可能なモデルを機械学習により訓練するために、多様かつ有用な訓練データを用意し易くすることができる。情報処理装置１００は、入力された画像１１０に映った物体を精度よく認識可能なモデルを機械学習により訓練し易くすることができる。

【0040】

ここでは、情報処理装置１００が、複数の画像１１０それぞれについて、当該画像１１０のうち対象物１０１が映った領域１２０を抽出することにより、当該領域１２０を取得する場合について説明したが、これに限らない。例えば、情報処理装置１００が、複数の画像１１０それぞれについて、当該画像１１０のうち対象物１０１が映った領域１２０を、他のコンピュータから受信することにより取得する場合があってもよい。

【0041】

ここでは、情報処理装置１００が、単独で動作する場合について説明したが、これに限らない。例えば、情報処理装置１００が、他のコンピュータと協働する場合があってもよい。例えば、複数のコンピュータが協働して、情報処理装置１００としての機能を実現する場合があってもよい。具体的には、クラウド上に、情報処理装置１００としての機能が実現される場合があってもよい。

【0042】

（物体認識支援システム２００の一例）
次に、図２を用いて、図１に示した情報処理装置１００を適用した、物体認識支援システム２００の一例について説明する。

【0043】

図２は、物体認識支援システム２００の一例を示す説明図である。図２において、物体認識支援システム２００は、情報処理装置１００と、管理者側装置２０１と、利用者側装置２０２とを含む。

【0044】

物体認識支援システム２００において、情報処理装置１００と管理者側装置２０１とは、有線または無線のネットワーク２１０を介して接続される。ネットワーク２１０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどである。また、物体認識支援システム２００において、情報処理装置１００と利用者側装置２０２とは、有線または無線のネットワーク２１０を介して接続される。

【0045】

図２の例では、情報処理装置１００は、物体認識支援サービスを提供するためのコンピュータである。物体認識支援サービスは、入力された画像に映った物体を精度よく認識可能なモデルを、利用者側装置２０２において利用可能にするサービスである。

【0046】

情報処理装置１００は、例えば、モデルに入力され得るサンプル画像の雛型となる所定の画像を、管理者側装置２０１から受信する。所定の画像は、例えば、対象物が映っていない画像である。所定の画像は、具体的には、対象物が映っていない、所定の空間を撮影した画像である。対象物は、機械学習により訓練しようとするモデルが認識する対象となり得る物体である。

【0047】

情報処理装置１００は、例えば、１以上の対象物それぞれについて、それぞれ異なる方向から当該対象物を撮影した複数の画像を、管理者側装置２０１から受信する。情報処理装置１００は、例えば、受信した複数の画像それぞれについて、当該画像のうち対象物が映った領域を抽出することにより、当該領域を取得する。

【0048】

情報処理装置１００は、例えば、取得した領域それぞれについて、当該領域をテクスチャに適用した、当該領域に対応する対象物の一面を表す３次元オブジェクトデータを生成する。情報処理装置１００は、具体的には、取得した領域それぞれについて、当該領域に対応する対象物の一面を表すテクスチャとして当該領域を貼り付けた、厚みを有さない３次元オブジェクトデータを生成する。

【0049】

情報処理装置１００は、例えば、３次元オブジェクトデータそれぞれについて、対象物が映った領域を適用したテクスチャが所定の画像上に残るよう、所定の画像に対して当該３次元オブジェクトデータを合成した、新たな１以上の合成画像を生成する。新たな合成画像は、モデルに入力され得るサンプル画像に対応する。

【0050】

情報処理装置１００は、例えば、生成した合成画像それぞれについて、当該合成画像のうち３次元オブジェクトデータを合成した領域を、当該合成画像のうち対象物が映った領域として設定する。情報処理装置１００は、例えば、生成した合成画像それぞれについて、当該合成画像と、設定した当該合成画像のうち対象物が映った領域と、当該対象物を認識した結果の正解とを対応付けた訓練データを生成する。

【0051】

情報処理装置１００は、例えば、生成した訓練データに基づいて、モデルを機械学習により訓練する。情報処理装置１００は、例えば、機械学習により訓練したモデルを、利用者側装置２０２において利用可能にする。情報処理装置１００は、具体的には、モデルに入力する画像を、利用者側装置２０２から受信し、当該画像を入力したモデルが出力する、当該画像に映った物体を認識した結果を、利用者側装置２０２に送信する。これにより、情報処理装置１００は、機械学習により訓練したモデルを、利用者側装置２０２において利用可能にする。情報処理装置１００は、例えば、サーバ、または、ＰＣなどである。

【0052】

管理者側装置２０１は、物体認識支援サービスを運用または管理するサービス管理者によって用いられるコンピュータである。管理者側装置２０１は、例えば、カメラを有する。管理者側装置２０１は、例えば、カメラを用いて、対象物が映っていない、所定の空間を撮影した所定の画像を生成し、情報処理装置１００に送信する。

【0053】

管理者側装置２０１は、例えば、管理者の操作入力に基づき、カメラを用いて、１以上の対象物それぞれについて、それぞれ異なる方向から当該対象物を撮影した複数の画像を生成する。管理者は、具体的には、１以上の対象物それぞれについて、所定の空間に配置した対象物の向き、または、位置などの状態を変更しつつ、所定の空間ごと対象物を複数回撮影するよう、管理者側装置２０１を使用する。管理者側装置２０１は、例えば、生成した複数の画像を、情報処理装置１００に送信する。管理者側装置２０１は、例えば、ＰＣ、タブレット端末、または、スマートフォンなどである。

【0054】

利用者側装置２０２は、物体認識支援サービスを利用するサービス利用者によって用いられるコンピュータである。利用者側装置２０２は、サービス利用者の操作入力に基づき、画像の入力を受け付ける。利用者側装置２０２は、入力を受け付けた画像を、情報処理装置１００に送信する。利用者側装置２０２は、送信した画像に映った物体を認識した結果を、情報処理装置１００から受信する。利用者側装置２０２は、画像に映った物体を認識した結果を、サービス利用者が参照可能に出力する。利用者側装置２０２は、例えば、ＰＣ、タブレット端末、または、スマートフォンなどである。

【0055】

ここでは、情報処理装置１００が、訓練データに基づいて、モデルを機械学習により訓練する場合について説明したが、これに限らない。例えば、情報処理装置１００が、訓練データを、モデルを機械学習により訓練する機能を有する他のコンピュータに送信する場合があってもよい。この場合、情報処理装置１００は、モデルを、他のコンピュータから受信することが考えられる。情報処理装置１００が、モデルを、他のコンピュータから受信せず、他のコンピュータが、モデルを、利用者側装置２０２において利用可能にする場合があってもよい。

【0056】

ここでは、情報処理装置１００が、モデルに入力する画像を、利用者側装置２０２から受信し、当該画像を入力したモデルが出力する、当該画像に映った物体を認識した結果を、利用者側装置２０２に送信する場合について説明したが、これに限らない。例えば、情報処理装置１００が、機械学習により訓練したモデルを、利用者側装置２０２に送信することにより、機械学習により訓練したモデルを、利用者側装置２０２において利用可能にする場合があってもよい。

【0057】

ここでは、情報処理装置１００が、管理者側装置２０１とは異なる装置である場合について説明したが、これに限らない。例えば、情報処理装置１００が、管理者側装置２０１としての機能を有し、管理者側装置２０１としても動作する場合があってもよい。この場合、物体認識支援システム２００は、管理者側装置２０１を含まなくてもよい。

【0058】

ここでは、情報処理装置１００が、利用者側装置２０２とは異なる装置である場合について説明したが、これに限らない。例えば、情報処理装置１００が、利用者側装置２０２としての機能を有し、利用者側装置２０２としても動作する場合があってもよい。この場合、物体認識支援システム２００は、利用者側装置２０２を含まなくてもよい。

【0059】

（物体認識支援システム２００の適用例）
物体認識支援システム２００は、例えば、スーパーマーケットなどの販売店において、顧客が購入する商品を投入する顧客用の籠に装着されたカメラを用いて顧客用の籠の中を撮影した画像に映った商品を認識し、販売店の業務を支援する分野に適用され得る。

【0060】

この際、例えば、利用者側装置２０２は、販売店に備えられた顧客用の籠に装着された顧客用のカメラを用いて顧客用の籠の中を撮影した画像を取得するコンピュータであることが考えられる。利用者側装置２０２は、例えば、顧客用の籠に装着された顧客用のカメラと一体である端末装置であることが考えられる。

【0061】

一方で、例えば、管理者側装置２０１は、販売店に備えられた顧客用の籠に装着された顧客用のカメラを用いて顧客用の籠の中を撮影した画像を取得するコンピュータであることが考えられる。管理者側装置２０１は、例えば、顧客用の籠に装着された顧客用のカメラと一体である端末装置であることが考えられる。

【0062】

管理者側装置２０１は、例えば、販売店内の所定の強さの照明光の元で、顧客用の籠に装着された顧客用のカメラを用いて、顧客用の籠の中に対して所定の画角で、商品が存在しない顧客用の籠の中を撮影した画像を、雛型となる所定の画像として生成する。管理者側装置２０１は、例えば、販売店内の所定の強さの照明光の元で、顧客用の籠に装着された顧客用のカメラを用いて、顧客用の籠の中に対して所定の画角で、商品が投入された顧客用の籠の中を撮影した画像を、商品が映った画像として生成する。管理者側装置２０１は、例えば、生成した商品が映った画像と、生成した雛型となる所定の画像とを、情報処理装置１００に送信する。

【0063】

情報処理装置１００は、例えば、商品が映った画像に基づいて、商品の一面を表す３次元オブジェクトデータを生成し、所定の画像に合成することにより、モデルに入力され得る合成画像を生成し、生成した合成画像を含む訓練データを生成する。情報処理装置１００は、例えば、生成した訓練データに基づいて、入力された画像に映った商品を認識するモデルを機械学習により訓練する。

【0064】

利用者側装置２０２は、例えば、販売店内の所定の強さの照明光の元で、顧客用の籠に装着された顧客用のカメラを用いて、顧客用の籠の中に対して所定の画角で、商品が投入された顧客用の籠の中を撮影した画像を生成し、情報処理装置１００に送信する。

【0065】

情報処理装置１００は、例えば、商品が投入された顧客用の籠の中を撮影した画像を受信する。情報処理装置１００は、例えば、商品が投入された顧客用の籠の中を撮影した画像を、機械学習により訓練したモデルに入力することにより、当該画像に映った商品を認識した結果を、利用者側装置２０２に送信する。

【0066】

利用者側装置２０２は、商品が投入された顧客用の籠の中を撮影した画像に映った商品を認識した結果を、情報処理装置１００から受信する。利用者側装置２０２は、受信した結果に基づいて、顧客用の籠に投入された商品のリストを生成する。これにより、利用者側装置２０２は、販売店の店員が、顧客用の籠に投入された商品を確認しなくても、合計の購入代金などを管理可能にすることができる。従って、物体認識支援システム２００は、販売店の店員にかかる作業負担の低減化を図り、販売店の業務を支援することができる。

【0067】

（情報処理装置１００のハードウェア構成例）
次に、図３を用いて、情報処理装置１００のハードウェア構成例について説明する。

【0068】

図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。図３において、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、メモリ３０２と、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５とを有する。また、各構成部は、バス３００によってそれぞれ接続される。

【0069】

ここで、ＣＰＵ３０１は、情報処理装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることにより、コーディングされている処理をＣＰＵ３０１に実行させる。

【0070】

ネットワークＩ／Ｆ３０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ３０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ３０３は、例えば、モデムやＬＡＮアダプタなどである。

【0071】

記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御に従って記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ３０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどである。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体３０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体３０５は、情報処理装置１００から着脱可能であってもよい。

【0072】

情報処理装置１００は、上述した構成部の他、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を複数有していてもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を有していなくてもよい。

【0073】

（管理者側装置２０１のハードウェア構成例）
次に、図４を用いて、管理者側装置２０１のハードウェア構成例について説明する。

【0074】

図４は、管理者側装置２０１のハードウェア構成例を示すブロック図である。図４において、管理者側装置２０１は、ＣＰＵ４０１と、メモリ４０２と、ネットワークＩ／Ｆ４０３と、記録媒体Ｉ／Ｆ４０４と、記録媒体４０５と、入出力装置４０６と、撮影装置４０７とを有する。また、各構成部は、バス４００によってそれぞれ接続される。

【0075】

ここで、ＣＰＵ４０１は、管理者側装置２０１の全体の制御を司る。メモリ４０２は、例えば、ＲＯＭ、ＲＡＭおよびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ４０１のワークエリアとして使用される。メモリ４０２に記憶されるプログラムは、ＣＰＵ４０１にロードされることにより、コーディングされている処理をＣＰＵ４０１に実行させる。

【0076】

ネットワークＩ／Ｆ４０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ４０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ４０３は、例えば、モデムやＬＡＮアダプタなどである。

【0077】

記録媒体Ｉ／Ｆ４０４は、ＣＰＵ４０１の制御に従って記録媒体４０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ４０４は、例えば、ディスクドライブ、ＳＳＤ、ＵＳＢポートなどである。記録媒体４０５は、記録媒体Ｉ／Ｆ４０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体４０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体４０５は、管理者側装置２０１から着脱可能であってもよい。

【0078】

入出力装置４０６は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示するディスプレイを有する。入出力装置４０６は、例えば、タッチパネルである。入出力装置４０６は、ディスプレイ上、または、ディスプレイ外周部に設けられ、ディスプレイ上のユーザの接触位置を検出する検出装置を有する。検出装置は、例えば、抵抗膜方式、静電容量方式、超音波方式、光学方式、または、電磁誘導方式などを用いて、接触位置を検出する。入出力装置４０６は、ユーザの接触位置に応じて、文字、数字、各種指示などの入力を行う。

【0079】

撮影装置４０７は、複数の撮像素子を有し、複数の撮像素子によって、所定の撮影環境４０８における所定の撮影範囲４０９を撮影した画像を生成する。所定の撮影範囲４０９は、例えば、販売店に備えられた顧客用の籠の中であることが考えられる。撮影装置４０７は、所定の撮影範囲４０９に物体が存在すれば、当該物体が映った画像を生成することになる。撮影装置４０７は、例えば、デジタルカメラである。撮影装置４０７は、例えば、移動可能であってもよい。

【0080】

管理者側装置２０１は、上述した構成部の他、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、管理者側装置２０１は、記録媒体Ｉ／Ｆ４０４や記録媒体４０５を複数有していてもよい。また、管理者側装置２０１は、記録媒体Ｉ／Ｆ４０４や記録媒体４０５を有していなくてもよい。

【0081】

（利用者側装置２０２のハードウェア構成例）
利用者側装置２０２のハードウェア構成例は、具体的には、図４に示した管理者側装置２０１のハードウェア構成例と同様であるため、説明を省略する。管理者側装置２０１における撮影環境４０８は、例えば、利用者側装置２０２における撮影環境４０８と同一の種類であることが好ましい。管理者側装置２０１における撮影範囲４０９は、例えば、利用者側装置２０２における撮影範囲４０９と同一の種類であることが好ましい。

【0082】

（情報処理装置１００の機能的構成例）
次に、図５を用いて、情報処理装置１００の機能的構成例について説明する。

【0083】

図５は、情報処理装置１００の機能的構成例を示すブロック図である。情報処理装置１００は、記憶部５００と、取得部５０１と、抽出部５０２と、生成部５０３と、合成部５０４と、学習部５０５と、出力部５０６とを含む。

【0084】

記憶部５００は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域によって実現される。以下では、記憶部５００が、情報処理装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部５００が、情報処理装置１００とは異なる装置に含まれ、記憶部５００の記憶内容が情報処理装置１００から参照可能である場合があってもよい。

【0085】

取得部５０１～出力部５０６は、制御部の一例として機能する。取得部５０１～出力部５０６は、具体的には、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、ネットワークＩ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶される。

【0086】

記憶部５００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部５００は、例えば、それぞれ異なる方向から対象物を撮影した複数の画像を記憶する。対象物は、例えば、機械学習により訓練するモデルが認識する対象となる物体である。モデルは、例えば、入力された画像に映った対象物を認識する機能を有する。モデルは、例えば、ディープニューラルネットワークである。モデルは、例えば、畳み込みニューラルネットワークである。

【0087】

複数の画像は、例えば、所定の空間に対象物を配置し、所定の空間を撮影することにより、それぞれ異なる方向から対象物を撮影した２以上の画像を含む。複数の画像は、例えば、所定の空間に配置した対象物の位置または向きを変更しつつ所定の空間を撮影することにより、それぞれ異なる方向から対象物を撮影した２以上の画像を含む。複数の画像は、例えば、複数の対象物それぞれについて、それぞれ異なる方向から対象物を撮影した２以上の画像を含んでいてもよい。複数の画像は、例えば、取得部５０１によって取得される。

【0088】

記憶部５００は、例えば、複数の画像それぞれについて、当該画像のうち対象物が映った領域を記憶する。領域は、例えば、画像のうち、対象物が映った部分を包含する矩形の領域である。領域は、具体的には、画像のうち、対象物が映った部分を包含する矩形の領域に対して、対象物が映った部分以外を無地に置き換える背景除去の処理を実施した後の領域であってもよい。領域は、例えば、取得部５０１によって取得される。領域は、例えば、抽出部５０２によって取得されてもよい。

【0089】

記憶部５００は、所定の画像を記憶する。所定の画像は、例えば、所定の空間を撮影した画像である。所定の画像は、例えば、取得部５０１によって取得される。

【0090】

記憶部５００は、例えば、訓練データを記憶する。訓練データは、モデルに入力され得るサンプル画像と、当該サンプル画像のうち物体が映った領域と、当該サンプル画像に映った物体を認識した結果の正解とを対応付けたデータである。訓練データは、例えば、合成部５０４によって生成される。

【0091】

記憶部５００は、例えば、モデルを記憶する。記憶部５００は、具体的には、モデルを形成するパラメータを記憶する。モデルは、例えば、学習部５０５によって生成される。

【0092】

取得部５０１は、各機能部の処理に用いられる各種情報を取得する。取得部５０１は、取得した各種情報を、記憶部５００に記憶し、または、各機能部に出力する。また、取得部５０１は、記憶部５００に記憶しておいた各種情報を、各機能部に出力してもよい。取得部５０１は、例えば、利用者の操作入力に基づき、各種情報を取得する。取得部５０１は、例えば、情報処理装置１００とは異なる装置から、各種情報を受信してもよい。

【0093】

取得部５０１は、例えば、それぞれ異なる方向から対象物を撮影した複数の画像を取得する。取得部５０１は、具体的には、利用者の操作入力に基づき、複数の画像の入力を受け付けることにより、複数の画像を取得する。取得部５０１は、具体的には、複数の画像を他のコンピュータから受信することにより、複数の画像を取得してもよい。他のコンピュータは、例えば、作業者側装置である。取得部５０１は、具体的には、自装置が有するカメラを介して、複数の画像を生成することにより、複数の画像を取得してもよい。

【0094】

取得部５０１は、例えば、それぞれ異なる方向から対象物を撮影した複数の画像それぞれについて、当該画像のうち対象物が映った領域を取得する。取得部５０１は、具体的には、利用者の操作入力に基づき、複数の画像それぞれについて、当該画像のうち対象物が映った領域の入力を受け付けることにより、当該領域を取得する。取得部５０１は、具体的には、複数の画像それぞれについて、当該画像のうち対象物が映った領域を他のコンピュータから受信することにより、当該領域を取得してもよい。他のコンピュータは、例えば、作業者側装置である。

【0095】

取得部５０１は、例えば、所定の画像を取得する。取得部５０１は、具体的には、利用者の操作入力に基づき、所定の画像の入力を受け付けることにより、所定の画像を取得する。取得部５０１は、具体的には、所定の画像を他のコンピュータから受信することにより、所定の画像を取得してもよい。他のコンピュータは、例えば、作業者側装置である。

【0096】

取得部５０１は、いずれかの機能部の処理を開始する開始トリガーを受け付けてもよい。開始トリガーは、例えば、利用者による所定の操作入力があったことである。開始トリガーは、例えば、他のコンピュータから、所定の情報を受信したことであってもよい。開始トリガーは、例えば、いずれかの機能部が所定の情報を出力したことであってもよい。

【0097】

取得部５０１は、例えば、複数の画像を取得したことを、抽出部５０２の処理を開始する開始トリガーとして受け付けてもよい。取得部５０１は、複数の画像それぞれについて、当該画像のうち対象物が映った領域を取得したことを、生成部５０３と、合成部５０４と、学習部５０５との処理を開始する開始トリガーとして受け付けてもよい。

【0098】

抽出部５０２は、取得部５０１で取得した複数の画像それぞれについて、当該画像のうち対象物が映った領域を取得する。抽出部５０２は、複数の画像それぞれについて、当該画像のうち対象物が映った領域を抽出することにより、当該領域を取得する。これにより、抽出部５０２は、対象物の一面を表す３次元オブジェクトデータを生成可能にすることができる。

【0099】

生成部５０３は、取得部５０１または抽出部５０２で取得した領域それぞれについて、当該領域をテクスチャに適用した、当該領域に対応する対象物の一面を表す３次元オブジェクトデータを生成する。生成部５０３は、例えば、取得部５０１または抽出部５０２で取得した領域それぞれについて、当該領域に対応する対象物の一面を表すテクスチャとして当該領域を貼り付けた、厚みを有さない３次元オブジェクトデータを生成する。これにより、生成部５０３は、訓練データを形成する、対象物が映った画像を生成する部品となる３次元オブジェクトデータを取得することができ、訓練データを生成可能にすることができる。

【0100】

合成部５０４は、生成部５０３で生成した３次元オブジェクトデータそれぞれに基づいて、取得部５０１で取得した所定の画像に対して当該３次元オブジェクトデータを合成することにより、対象物が映った領域を判別可能な訓練データを生成する。

【0101】

合成部５０４は、例えば、３次元オブジェクトデータそれぞれについて、対象物が映った領域を適用したテクスチャが所定の画像上に残るよう、所定の画像に対して当該３次元オブジェクトデータを合成した、新たな１以上の合成画像を生成する。合成画像は、モデルに入力され得るサンプル画像に対応する。

【0102】

合成部５０４は、具体的には、３次元オブジェクトデータそれぞれについて、所定の画像に対して当該３次元オブジェクトデータをそれぞれ異なる位置に合成した、新たな複数の合成画像を生成してもよい。これにより、合成部５０４は、訓練データを形成する部品を取得することができる。

【0103】

合成部５０４は、例えば、複数の条件それぞれについて、３次元オブジェクトデータに基づいて、当該条件を満たすよう所定の画像に対して当該３次元オブジェクトデータを合成した、新たな１以上の合成画像を生成してもよい。条件は、例えば、３次元オブジェクトデータを合成する範囲を示す。条件は、例えば、撮影環境を示す。撮影環境は、例えば、照明光の向き、または、照明光の強さなどを含む。条件は、例えば、予め利用者によって設定される。これにより、合成部５０４は、多様な訓練データを生成可能に、多様な合成画像を生成することができる。

【0104】

合成部５０４は、例えば、所定のツールを利用して、生成した３次元オブジェクトデータそれぞれに基づいて、所定の画像に対して当該３次元オブジェクトデータを合成した、新たな１以上の合成画像を生成してもよい。所定のツールは、モデルを機械学習により訓練する際に用いられる訓練データを生成する機能を有する。これにより、合成部５０４は、合成画像を生成し易くすることができる。

【0105】

合成部５０４は、例えば、生成した合成画像それぞれについて、当該合成画像のうち３次元オブジェクトデータを合成した領域を、当該合成画像のうち対象物が映った領域として設定する。合成部５０４は、例えば、生成した合成画像それぞれについて、当該合成画像と、設定した当該合成画像のうち対象物が映った領域と、当該対象物を認識した結果の正解とを対応付けた訓練データを生成する。これにより、合成部５０４は、モデルを機械学習により訓練可能にすることができる。合成部５０４は、多様な訓練データを生成することができ、入力された画像に映った物体を精度よく認識可能なモデルを機械学習により訓練し易くすることができる。

【0106】

学習部５０５は、生成した訓練データに基づいて、モデルを機械学習により訓練する。これにより、学習部５０５は、モデルを利用可能にすることができる。学習部５０５は、多様な訓練データに基づいて、入力された画像に映った物体を精度よく認識可能なモデルを機械学習により訓練することができる。

【0107】

出力部５０６は、少なくともいずれかの機能部の処理結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、ネットワークＩ／Ｆ３０３による外部装置への送信、または、メモリ３０２や記録媒体３０５などの記憶領域への記憶である。これにより、出力部５０６は、少なくともいずれかの機能部の処理結果を利用者に通知可能にし、情報処理装置１００の利便性の向上を図ることができる。

【0108】

出力部５０６は、例えば、合成部５０４で生成した訓練データを出力する。出力部５０６は、具体的には、訓練データを、利用者が参照可能に表示する。出力部５０６は、具体的には、訓練データを、他のコンピュータに送信する。他のコンピュータは、例えば、管理者側装置２０１、または、利用者側装置２０２である。これにより、出力部５０６は、モデルを外部で機械学習により訓練可能にすることができる。

【0109】

出力部５０６は、例えば、学習部５０５で機械学習により訓練したモデルを出力する。出力部５０６は、具体的には、モデルを、利用者が参照可能に表示する。出力部５０６は、具体的には、モデルを、他のコンピュータに送信する。他のコンピュータは、例えば、管理者側装置２０１、または、利用者側装置２０２である。これにより、出力部５０６は、モデルを外部で利用可能にすることができる。

【0110】

ここでは、情報処理装置１００が、取得部５０１と、抽出部５０２と、生成部５０３と、合成部５０４と、学習部５０５と、出力部５０６とを含む場合について説明したが、これに限らない。例えば、情報処理装置１００が、いずれかの機能部を含まない場合があってもよい。具体的には、情報処理装置１００が、学習部５０５を含まない場合があってもよい。

【0111】

（情報処理装置１００の動作例）
次に、図６～図１６を用いて、情報処理装置１００の動作例について説明する。この動作例は、具体的には、第１のカメラを用いて買い物籠の中を撮影した入力画像に映った、当該買い物籠の中に存在する商品を認識するモデルを、情報処理装置１００が機械学習により訓練する場合に対応する動作例である。第１のカメラは、例えば、買い物籠に備えられたカメラである。

【0112】

例えば、まず、図６～図８を用いて、情報処理装置１００が、対象物の一面を表す３次元オブジェクトデータ８０１を生成する一例について説明する。対象物は、例えば、商品となり得る物体である。対象物は、具体的には、バナナ、ピーマン、キャベツ、キュウリ、ナス、オレンジ、例えば、ジャガイモなどである。

【0113】

図６～図８は、３次元オブジェクトデータを生成する一例を示す説明図である。図６において、情報処理装置１００は、現場画像６００を取得する。現場画像６００は、例えば、買い物籠の中に対象物を配置した上で第２のカメラを用いて買い物籠の中を撮影した画像である。現場画像６００は、例えば、対象物が映った画像となる。現場画像６００は、例えば、対象物に加えて、人物の部位などが映った画像であってもよい。部位は、例えば、手である。

【0114】

第２のカメラは、例えば、第１のカメラと同一の種類であることが好ましい。現場画像６００を撮影した撮影環境は、例えば、機械学習により訓練するモデルに入力される入力画像を撮影する撮影環境と同一の性質を有することが好ましい。撮影環境は、例えば、照明光の向き、または、照明光の強さなどによって規定される。

【0115】

情報処理装置１００は、画像処理ソフトウェア６１０を用いて、現場画像６００に映った１以上の物体を認識する。１以上の物体は、例えば、対象物と、人物の部位とを含む。情報処理装置１００は、例えば、現場画像６００に映った、バナナと、人物の左手と、人物の右手とを認識する。

【0116】

情報処理装置１００は、画像処理ソフトウェア６１０を用いて、認識した物体それぞれについて、現場画像６００から、認識した当該物体以外を除去した背景削除画像を生成する。情報処理装置１００は、例えば、認識した物体それぞれについて、現場画像６００のうち、認識した当該物体以外を透明化することにより、現場画像６００から、認識した当該物体以外を除去した背景削除画像を生成する。

【0117】

情報処理装置１００は、具体的には、現場画像６００から、バナナ以外を除去した、背景削除画像６２１を生成する。情報処理装置１００は、具体的には、現場画像６００から、人物の左手以外を除去した、背景削除画像６２２を生成する。情報処理装置１００は、具体的には、現場画像６００から、人物の右手以外を除去した、背景削除画像６２３を生成する。次に、図７の説明に移行する。

【0118】

図７において、情報処理装置１００は、画像編集ソフトウェア７００を用いて、生成した背景削除画像それぞれについて、物体が映った矩形領域以外の余分領域を削除し、ＲＧＢ（０，０，０）をＲＧＢ（３，３，３）に変換し、補正後画像を生成する。画像編集ソフトウェア７００は、例えば、ＧＩＭＰ（ＧＮＵ Ｉｍａｇｅ Ｍａｎｉｐｕｌａｔｉｏｎ Ｐｒｏｇｒａｍ）などである。情報処理装置１００は、３次元オブジェクトデータを生成する都合上、ＲＧＢ（０，０，０）の部分が、物体を形成しない部分であると誤って判断することを防止するため、ＲＧＢ（０，０，０）をＲＧＢ（３，３，３）に変換する。

【0119】

情報処理装置１００は、例えば、背景削除画像６２１に基づいて、補正後画像７０１を生成する。情報処理装置１００は、例えば、背景削除画像６２２に基づいて、補正後画像７０２を生成する。情報処理装置１００は、例えば、背景削除画像６２３に基づいて、補正後画像７０３を生成する。次に、図８の説明に移行する。

【0120】

図８において、情報処理装置１００は、対象物が映った補正後画像それぞれについて、３次元モデリングソフトウェア８００を用いて、当該補正後画像に映った当該対象物の一面を表す、厚みを有さない３次元オブジェクトデータを生成する。３次元モデリングソフトウェア８００は、例えば、３Ｄ Ｂｕｉｌｄｅｒである。

【0121】

情報処理装置１００は、例えば、対象物が映った補正後画像それぞれについて、当該補正後画像に映った当該対象物の一面を表す、当該補正後画像をテクスチャに適用した、厚みを有さない３次元オブジェクトデータを生成する。この際、情報処理装置１００は、例えば、補正後画像のうち、透明化された部分を除いた、対象物の輪郭に合った部分を、３次元オブジェクトデータのテクスチャに適用することが考えられる。

【0122】

情報処理装置１００は、具体的には、バナナが映った補正後画像７０１に基づいて、補正後画像７０１に映ったバナナを一方向から観察した場合におけるバナナの一面を表す、補正後画像７０１をテクスチャに適用した、３次元オブジェクトデータ８０１を生成する。

【0123】

情報処理装置１００は、具体的には、図６～図８と同様に、バナナのそれぞれ異なる一面を表す、厚みを有さない複数の３次元オブジェクトデータを生成してもよい。情報処理装置１００は、具体的には、図６～図８と同様に、バナナ以外の対象物のそれぞれ異なる一面を表す、厚みを有さない複数の３次元オブジェクトデータを生成してもよい。

【0124】

次に、図９～図１１を用いて、情報処理装置１００が、訓練データを生成する一例について説明する。

【0125】

図９～図１１は、訓練データを生成する一例を示す説明図である。図９において、情報処理装置１００は、ナスの一面を示す、厚みを有さない複数の３次元オブジェクトデータ９００を生成済みであるとする。情報処理装置１００は、例えば、３次元オブジェクトデータ９０１～９１５を生成済みであるとする。

【0126】

情報処理装置１００は、機械学習により訓練するモデルに入力される入力画像のサンプルとなる合成画像の雛型となる雛型画像９２０を有する。雛型画像９２０は、例えば、買い物籠の中に物体を配置せずに第２のカメラを用いて買い物籠の中を撮影した画像である。雛型画像９２０を撮影した撮影環境は、例えば、機械学習により訓練するモデルに入力される入力画像を撮影する撮影環境と同一の性質を有することが好ましい。撮影環境は、例えば、照明光の向き、または、照明光の強さなどによって規定される。次に、図１０の説明に移行する。

【0127】

図１０において、情報処理装置１００は、雛型画像９２０に対して、少なくともいずれかの３次元オブジェクトデータ９００を合成することにより、機械学習により訓練するモデルに入力される入力画像のサンプルとなる１以上の合成画像１０００を生成する。情報処理装置１００は、例えば、画像合成ソフトウェアを用いて、雛型画像９２０に対して、少なくともいずれかの３次元オブジェクトデータ９００を合成する。画像合成ソフトウェアは、例えば、Ｕｎｉｔｙ Ｐｅｒｃｅｐｔｉｏｎである。

【0128】

情報処理装置１００は、具体的には、Ｕｎｉｔｙ Ｐｅｒｃｅｐｔｉｏｎのシナリオに、３次元オブジェクトデータ９００を設定する。シナリオは、３次元オブジェクトデータ９００を用いて、合成画像１０００をどのように生成するのかを規定する。

【0129】

シナリオは、合成画像１０００を何枚生成するかを示すパラメータを含む。シナリオは、３次元オブジェクトデータ９００の配置条件を示すパラメータを含む。配置条件は、例えば、３次元オブジェクトデータ９００を配置する範囲、または、異なる３次元オブジェクトデータ９００間の最小間隔などである。

【0130】

情報処理装置１００は、具体的には、Ｕｎｉｔｙ Ｐｅｒｃｅｐｔｉｏｎのシナリオを実行することにより、１以上の合成画像１０００を生成する。図１０の例では、情報処理装置１００は、具体的には、Ｕｎｉｔｙ Ｐｅｒｃｅｐｔｉｏｎのシナリオを実行することにより、合成画像１００１～１０２０を生成する。次に、図１１の説明に移行する。

【0131】

図１１において、情報処理装置１００は、合成画像１０００それぞれについて、当該合成画像１０００のうち、３次元オブジェクトデータ９００を合成した領域を、対象物となるナスが映ったアノテーション領域１１００として設定する。情報処理装置１００は、例えば、合成画像１００１～１０２０それぞれについて、アノテーション領域１１０１～１１２０を設定する。

【0132】

情報処理装置１００は、合成画像１０００と、当該合成画像１０００に対応するアノテーション領域１１００と、当該アノテーション領域１１００に映った対象物を認識した結果の正解「ナス」とを対応付けた訓練データを生成する。情報処理装置１００は、同様に、ナス以外の対象物に関する訓練データを生成してもよい。

【0133】

これにより、情報処理装置１００は、モデルを機械学習により訓練する際に用いられる訓練データを生成することができ、多様な訓練データを用意し易くすることができる。従って、情報処理装置１００は、訓練データを用意しようとする際に作業者にかかる作業負担および作業時間の低減化を図ることができる。

【0134】

次に、図１２を用いて、情報処理装置１００が、モデルを機械学習により訓練する一例について説明する。

【0135】

図１２は、モデルを機械学習により訓練する一例を示す説明図である。図１２において、情報処理装置１００は、生成した訓練データに基づいて、モデルを機械学習により訓練する。情報処理装置１００は、例えば、生成した訓練データに基づいて、畳み込みニューラルネットワーク１２００を機械学習により訓練する。畳み込みニューラルネットワーク１２００は、８層である。これにより、情報処理装置１００は、訓練データに基づいて、入力された入力画像に映った物体を精度よく認識可能なモデルを機械学習により訓練することができる。

【0136】

情報処理装置１００は、例えば、入力画像を撮影するカメラと同一の種類のカメラで、入力画像を撮影する撮影環境と同一の性質を有する撮影環境で、対象物を撮影した現場画像６００を、３次元オブジェクトデータ８０１のテクスチャに適用することができる。従って、情報処理装置１００は、例えば、入力画像における対象物の写り方を、合成画像１０００における対象物の写り方において再現することができる。

【0137】

また、情報処理装置１００は、例えば、合成画像１０００のうち、３次元オブジェクトデータ９００を合成した領域を、対象物が映ったアノテーション領域１１００として設定することができる。従って、情報処理装置１００は、例えば、アノテーション領域１１００を、対象物の輪郭に合わせることができる。情報処理装置１００は、例えば、アノテーション領域１１００に、対象物とは異なる他の物体が含まれ難くすることができる。

【0138】

このように、情報処理装置１００は、例えば、現場画像６００をテクスチャに適用した３次元オブジェクトデータ８０１を合成した、対象物の輪郭に合わせたアノテーション領域１１００を有する合成画像１０００を生成することができる。従って、情報処理装置１００は、例えば、実際にモデルに入力される入力画像のサンプルとして適切な合成画像１０００を生成することができ、合成画像１０００に基づく有用な訓練データを生成することができる。また、情報処理装置１００は、例えば、作業者が、アノテーション作業を実施せずに済むようにすることができる。

【0139】

そして、情報処理装置１００は、例えば、有用な訓練データに基づいて、畳み込みニューラルネットワークなどのモデルを機械学習により訓練することができる。情報処理装置１００は、具体的には、畳み込みニューラルネットワークを機械学習により訓練する際、畳み込みニューラルネットワークの第３層において、入力画像における対象物の写り方を再現した、合成画像１０００における対象物の写り方を機械学習により訓練することができる。情報処理装置１００は、より具体的には、畳み込みニューラルネットワークの第３層において、実世界における対象物の外観的特徴を抽出して機械学習により訓練することができる。このため、情報処理装置１００は、例えば、機械学習により訓練するモデルにおける、入力された入力画像に映った物体を認識する精度の向上を図ることができる。

【0140】

ここで、３次元スキャナを用いて、物体の実物をスキャンすることにより作成した、物体の実物を表す３次元オブジェクトデータを合成した合成画像に基づいて、モデルを機械学習により訓練する手法が考えられる。この手法では、入力画像を撮影するカメラとは異なる種類のカメラで、入力画像を撮影する撮影環境とは異なる性質を有する撮影環境で、３次元オブジェクトデータを作成する。このため、この手法では、入力された入力画像に映った物体を精度よく認識するモデルを機械学習により訓練することが難しいと考えられる。

【0141】

これに対し、情報処理装置１００は、上述したように、入力された入力画像に映った物体を精度よく認識するモデルを機械学習により訓練し易くすることができる。情報処理装置１００は、例えば、３次元スキャナがなくても、訓練データを生成することができ、訓練データを生成する際にかかる作業コストの低減化を図ることができる。情報処理装置１００は、例えば、対象物１０１が、表面に光沢を有する物体、または、透明な部分を有する物体などであっても、訓練データを生成することができる。

【0142】

情報処理装置１００は、例えば、撮影した現場画像６００の１枚あたり、当該現場画像６００に基づいて生成した３次元オブジェクトデータ８０１を合成した、複数の合成画像１０００を生成することができる。従って、情報処理装置１００は、例えば、用意しようとする訓練データの数が増加しても、撮影する現場画像６００の枚数が増加し難くすることができ、作業者にかかる作業負担および作業時間の低減化を図ることができる。情報処理装置１００は、例えば、用意する訓練データの数を増やし易くすることができる。

【0143】

情報処理装置１００は、例えば、１つの対象物を異なる方向から撮影した現場画像６００に基づいて生成した３次元オブジェクトデータ８０１に基づいて、当該対象物の異なる方向からの写り方を反映した複数の合成画像１０００を生成することができる。従って、情報処理装置１００は、例えば、対象物の異なる方向からの写り方を反映した複数の合成画像１０００それぞれに基づく有用な訓練データを生成することができる。

【0144】

そして、情報処理装置１００は、例えば、有用な訓練データに基づいて、畳み込みニューラルネットワークなどのモデルを機械学習により訓練することができる。情報処理装置１００は、具体的には、畳み込みニューラルネットワークを機械学習により訓練する際、畳み込みニューラルネットワークの第１層において、複数の合成画像１０００それぞれに反映された、対象物の異なる方向からの写り方を機械学習により訓練することができる。情報処理装置１００は、より具体的には、畳み込みニューラルネットワークの第１層において、実世界における対象物の異なる方向からの形状的特徴を機械学習により訓練することができる。このため、情報処理装置１００は、例えば、機械学習により訓練するモデルにおける、入力された入力画像に映った物体を認識する精度の向上を図ることができる。

【0145】

次に、例えば、図１３～図１７を用いて、情報処理装置１００による効果の一例について説明する。まず、具体的には、図１３および図１４を用いて、現場画像６００をテクスチャに適用して得られたアノテーション領域に基づく効果の一例について説明する。

【0146】

図１３および図１４は、アノテーション領域に基づく効果の一例を示す説明図である。図１３において、補正後画像７０１をそのまま雛型画像９２０に合成した合成画像１３０１と、３次元オブジェクトデータ８０１を雛型画像９２０に合成した合成画像１３１１とを比較する。この場合、合成画像１３０１と、合成画像１３１１とは、見かけ上同一になることがある。一方で、合成画像１３０１におけるアノテーション領域と、合成画像１３１１におけるアノテーション領域とは、異なる傾向がある。

【0147】

具体的には、図１３の合成画像１３０１では、補正後画像７０１を合成した矩形領域が、アノテーション領域として設定される傾向がある。従って、合成画像１３０１におけるアノテーション領域は、対象物が映った部分の他、対象物以外が映った部分を包含してしまう傾向がある。

【0148】

一方で、具体的には、図１３の合成画像１３１１では、３次元オブジェクトデータ８０１を合成した、対象物の輪郭に沿った領域が、アノテーション領域として設定される傾向がある。従って、合成画像１３１１におけるアノテーション領域は、対象物以外が映った部分を包含し難くなる。次に、図１４の説明に移行する。

【0149】

図１４において、従来のモデルと、情報処理装置１００が機械学習により訓練するモデルとを比較する。従来のモデルは、例えば、補正後画像７０１をそのまま雛型画像９２０に合成した合成画像１３０１などに基づいて機械学習により訓練されたモデルである。情報処理装置１００が機械学習により訓練するモデルは、例えば、３次元オブジェクトデータ８０１を雛型画像９２０に合成した合成画像１３１１などに基づいて機械学習により訓練されたモデルである。

【0150】

従来のモデルでは、ヒートマップ１４００に示すように、入力画像１４０１のうち、対象物が映った部分以外も、対象物が映った部分として検出してしまう。従って、従来のモデルでは、対象物が映った部分以外に基づいて、対象物を認識することになるため、対象物を誤って認識してしまうことがある。従来のモデルでは、例えば、入力画像１４０１に映ったバナナを、誤ってナスと認識してしまうことがある。

【0151】

これに対し、情報処理装置１００が機械学習により訓練するモデルでは、ヒートマップ１４１０に示すように、入力画像１４１１のうち、対象物が映った部分以外を、対象物が映った部分として検出し難くなる。従って、情報処理装置１００が機械学習により訓練するモデルでは、対象物が映った部分以外を、対象物を認識する際に参照しない傾向があり、対象物を正しく認識し易くなる。情報処理装置１００が機械学習により訓練したモデルでは、例えば、入力画像１４１１に映ったバナナを、正しくバナナと認識し易くなる。

【0152】

このように、情報処理装置１００は、アノテーション領域を、対象物の輪郭に合わせることができ、アノテーション領域に、対象物とは異なる他の物体が含まれ難くすることができる。このため、情報処理装置１００は、機械学習により訓練したモデルにおける、入力された入力画像に映った物体を認識する精度の向上を図ることができる。

【0153】

次に、具体的には、図１５および図１６を用いて、作業時間の一例について説明する。

【0154】

図１５および図１６は、作業時間の一例を示す説明図である。図１５の表１５００は、作業者が、対象物が映った複数の画像を撮影し、撮影した当該複数の画像それぞれについて、アノテーション作業を実施することにより、訓練データを用意する従来の手法にかかる作業時間を示す。

【0155】

従来の手法では、例えば、作業者は、１０クラスの対象物のいずれか１つの対象物をそれぞれ映した画像１０，０００枚を撮影することにより、１０，０００個の訓練データを用意するとする。この際、具体的には、作業者は、対象物の配置を変えつつ、当該対象物に対する撮影角度を変えつつ、照明光の向き、または、照明光の強さなどの撮影環境を変えつつ、当該対象物を撮影する。

【0156】

ここで、作業者が、画像を１枚撮影する際にかかる所要時間は、５秒であるとする。作業者が、撮影した画像１枚に対してアノテーション作業を実施する際にかかる所要時間は、３分であるとする。

【0157】

表１５００に示すように、従来の手法では、作業者が、画像１０，０００枚を撮影する際にかかる所要時間は、５０，０００秒≒１３．９時間になる。表１５００に示すように、従来の手法では、作業者が、画像１０，０００枚それぞれに対してアノテーション作業を実施する際にかかる所要時間は、５００時間≒２０．８日になる。従って、従来の手法では、作業者が、訓練データを用意する際にかかる作業時間は、２１．４日になる。次に、図１６の説明に移行する。

【0158】

図１６の表１６００は、情報処理装置１００が、１０，０００個の訓練データを用意する場合にかかる作業時間を示す。ここでは、例えば、作業者は、１０クラスの対象物それぞれについて、当該対象物を映した画像２０枚を撮影することにより、画像２００枚を撮影するとする。この際、具体的には、作業者は、対象物の配置を変えつつ、当該対象物に対する撮影角度を変えつつ、照明光の向き、または、照明光の強さなどの撮影環境を変えつつ、当該対象物を撮影する。

【0159】

ここで、作業者が、画像を１枚撮影する際にかかる所要時間は、５秒であるとする。情報処理装置１００が、１枚の画像から１個の３次元オブジェクトデータを生成する際にかかる所要時間は、５分であるとする。情報処理装置１００が、画像合成ソフトウェアに対して、３次元オブジェクトデータを取り込む際にかかる所要時間は、１分であるとする。

【0160】

表１６００に示すように、作業者が、画像２００枚を撮影する際にかかる所要時間は、１，０００秒≒１６．７分になる。表１６００に示すように、情報処理装置１００が、３次元オブジェクトデータを生成する際にかかる所要時間は、１，０００分≒１６．７時間になる。表１６００に示すように、Ｕｎｉｔｙ Ｐｅｒｃｅｐｔｉｏｎのシナリオに、３次元オブジェクトデータを取り込む際にかかる所要時間は、２００分≒３．３時間である。シナリオは、１０，０００個の合成画像を生成することを規定する。表１６００に示すように、シナリオを実行することにより、それぞれ合成画像を含む１０，０００個の訓練データを生成する際にかかる所要時間は、１０分である。

【0161】

従って、情報処理装置１００が、訓練データを用意する際にかかる作業時間は、２０．４時間になる。このように、情報処理装置１００は、従来の手法に比べて、１０，０００個の訓練データを高速に用意することができ、作業者にかかる作業負担および作業時間の低減化を図ることができる。情報処理装置１００は、具体的には、従来の手法に比べて、訓練データを用意する際にかかる作業時間を、４９３．５時間≒２０．５日短縮することができる。

【0162】

次に、図１７を用いて、情報処理装置１００が、入力された入力画像に映った物体を認識する精度の一例について説明する。

【0163】

図１７は、物体を認識する精度の一例を示す説明図である。図１７の表１７００は、従来のモデルに、７クラスの商品それぞれについて、当該商品が映った複数の評価画像を、入力画像として入力した場合における、当該商品に対する認識率を示す。

【0164】

例えば、表１７００に示すように、従来のモデルでは、ピーマンが映った１０枚の評価画像に対する、ピーマンを正しく認識した５枚の評価画像の割合＝５０％が、ピーマンに対する認識率である。また、例えば、表１７００に示すように、従来のモデルでは、７クラスの商品の全体に対する認識率は、８２％である。

【0165】

一方で、図１７の表１７１０は、情報処理装置１００が機械学習により訓練したモデルに、７クラスの商品それぞれについて、当該商品が映った複数の評価画像を、入力画像として入力した場合における、当該商品に対する認識率を示す。

【0166】

例えば、表１７１０に示すように、情報処理装置１００が機械学習により訓練したモデルでは、ピーマンが映った１０枚の評価画像に対する、ピーマンを正しく認識した１０枚の評価画像の割合＝１００％が、ピーマンに対する認識率である。また、例えば、表１７１０に示すように、情報処理装置１００が機械学習により訓練したモデルでは、７クラスの商品の全体に対する認識率は、９７％である。このように、情報処理装置１００は、入力された入力画像に映った物体を精度よく認識可能なモデルを機械学習により訓練することができる。

【0167】

（全体処理手順）
次に、図１８を用いて、情報処理装置１００が実行する、全体処理手順の一例について説明する。全体処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

【0168】

図１８は、全体処理手順の一例を示すフローチャートである。図１８において、情報処理装置１００は、複数の現場画像それぞれに対して図１９に後述する生成処理を実行することにより、対象物の一面を表す３次元オブジェクトを生成する（ステップＳ１８０１）。

【0169】

次に、情報処理装置１００は、３次元オブジェクトを、３次元オブジェクトの元になった現場画像と共に、Ｕｎｉｔｙ Ｐｅｒｃｅｐｔｉｏｎにインポートする（ステップＳ１８０２）。そして、情報処理装置１００は、Ｕｎｉｔｙ Ｐｅｒｃｅｐｔｉｏｎを用いて、３次元オブジェクトのマテリアルを生成する（ステップＳ１８０３）。

【0170】

次に、情報処理装置１００は、３次元オブジェクトを、Ｕｎｉｔｙ Ｐｅｒｃｅｐｔｉｏｎのシナリオに登録する（ステップＳ１８０４）。そして、情報処理装置１００は、Ｕｎｉｔｙ Ｐｅｒｃｅｐｔｉｏｎのシナリオを実行することにより、複数の合成画像を生成する（ステップＳ１８０５）。

【0171】

（生成処理手順）
次に、図１９を用いて、情報処理装置１００が実行する、生成処理手順の一例について説明する。生成処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

【0172】

図１９は、生成処理手順の一例を示すフローチャートである。図１９において、情報処理装置１００は、対象物が映った現場画像を取得する（ステップＳ１９０１）。次に、情報処理装置１００は、現場画像のうち対象物以外が映った部分を透明化する背景削除処理を実施する（ステップＳ１９０２）。

【0173】

そして、情報処理装置１００は、背景削除処理を実施した後の現場画像のうち対象物が映った矩形領域以外の余分領域を削除する余分領域削除処理を実施する（ステップＳ１９０３）。そして、情報処理装置１００は、余分領域削除処理を実施した後の現場画像に基づいて、オブジェクト化を実施することにより、対象物の一面を表す３次元オブジェクトを生成する（ステップＳ１９０４）。その後、情報処理装置１００は、生成処理を終了する。

【0174】

以上説明したように、情報処理装置１００によれば、それぞれ異なる方向から対象物を撮影した複数の画像それぞれについて、当該画像のうち対象物が映った領域を取得することができる。情報処理装置１００によれば、取得した領域それぞれについて、当該領域をテクスチャに適用した、当該領域に対応する対象物の一面を表す３次元オブジェクトデータを生成することができる。情報処理装置１００によれば、生成した３次元オブジェクトデータそれぞれに基づいて、所定の画像に対して当該３次元オブジェクトデータを合成することにより、対象物が映った領域を判別可能な訓練データを生成することができる。これにより、情報処理装置１００は、多様な訓練データを生成することができる。

【0175】

情報処理装置１００によれば、所定の画像に、所定の空間を撮影した画像を採用することができる。情報処理装置１００によれば、複数の画像に、対象物が配置された所定の空間を撮影することにより、それぞれ異なる方向から対象物を撮影した２以上の画像を採用することができる。これにより、情報処理装置１００は、所定の空間を撮影した画像に映った物体を精度よく認識可能なモデルを機械学習により訓練する際に有用な訓練データを生成することができる。

【0176】

情報処理装置１００によれば、複数の画像に、所定の空間に配置された対象物の位置または向きを変更しつつ所定の空間を撮影することにより、それぞれ異なる方向から対象物を撮影した２以上の画像を採用することができる。情報処理装置１００によれば、複数の画像それぞれについて、当該画像のうち対象物が映った領域を抽出することにより、当該領域を取得することができる。これにより、情報処理装置１００は、自装置で、複数の画像それぞれについて、当該画像のうち対象物が映った領域を取得することができる。情報処理装置１００は、単独で動作し易くすることができる。

【0177】

情報処理装置１００によれば、複数の条件それぞれについて、生成した３次元オブジェクトデータに基づいて、当該条件を満たすよう所定の画像に対して当該３次元オブジェクトデータを合成することにより、訓練データを生成することができる。これにより、情報処理装置１００は、多様な訓練データを生成し易くすることができる。

【0178】

情報処理装置１００によれば、モデルを機械学習により訓練する際に用いられる訓練データを生成する機能を有するツールを利用して、生成した３次元オブジェクトデータそれぞれに基づいて、所定の画像に対して当該３次元オブジェクトデータを合成することができる。これにより、情報処理装置１００は、所定の画像に対して３次元オブジェクトデータを容易に合成することができる。

【0179】

情報処理装置１００によれば、生成した訓練データに基づいて、モデルを機械学習により訓練することができる。これにより、情報処理装置１００は、入力された画像に映った物体を精度よく認識可能なモデルを機械学習により訓練し、利用可能にすることができる。

【0180】

なお、本実施の形態で説明した生成方法は、予め用意されたプログラムをＰＣやワークステーションなどのコンピュータで実行することにより実現することができる。本実施の形態で説明した生成プログラムは、コンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。記録媒体は、ハードディスク、フレキシブルディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などである。また、本実施の形態で説明した生成プログラムは、インターネットなどのネットワークを介して配布してもよい。

【0181】

上述した実施の形態に関し、さらに以下の付記を開示する。

【0182】

（付記１）それぞれ異なる方向から対象物を撮影した複数の画像それぞれについて、当該画像のうち前記対象物が映った領域を取得し、
取得した前記領域それぞれについて、当該領域をテクスチャに適用した、当該領域に対応する前記対象物の一面を表す３次元オブジェクトデータを生成し、
生成した前記３次元オブジェクトデータそれぞれに基づいて、所定の画像に対して当該３次元オブジェクトデータを合成することにより、入力された画像に映った前記対象物を認識するモデルを機械学習により訓練する際に用いられる、前記対象物が映った領域を判別可能な訓練データを生成する、
処理をコンピュータに実行させることを特徴とする生成プログラム。

【0183】

（付記２）前記所定の画像は、所定の空間を撮影した画像であって、
前記複数の画像は、前記対象物が配置された前記所定の空間を撮影することにより、それぞれ異なる方向から前記対象物を撮影した２以上の画像である、ことを特徴とする付記１に記載の生成プログラム。

【0184】

（付記３）前記複数の画像は、前記所定の空間に配置された前記対象物の位置または向きを変更しつつ前記所定の空間を撮影することにより、それぞれ異なる方向から前記対象物を撮影した２以上の画像であって、
前記取得する処理は、
前記複数の画像を取得し、取得した前記複数の画像それぞれについて、当該画像のうち前記対象物が映った領域を抽出することにより、当該領域を取得する、ことを特徴とする付記２に記載の生成プログラム。

【0185】

（付記４）前記訓練データを生成する処理は、
複数の条件それぞれについて、生成した前記３次元オブジェクトデータに基づいて、当該条件を満たすよう前記所定の画像に対して当該３次元オブジェクトデータを合成することにより、前記対象物が映った領域を判別可能な前記訓練データを生成する、ことを特徴とする付記３に記載の生成プログラム。

【0186】

（付記５）前記モデルを機械学習により訓練する際に用いられる訓練データを生成する機能を有するツールを利用して、生成した前記３次元オブジェクトデータそれぞれに基づいて、所定の画像に対して当該３次元オブジェクトデータを合成することにより、前記モデルを機械学習により訓練する際に用いられる、前記対象物が映った領域を判別可能な訓練データを生成する、ことを特徴とする付記１～４のいずれか一つに記載の生成プログラム。

【0187】

（付記６）生成した前記訓練データに基づいて、前記モデルを機械学習により訓練する、
処理を前記コンピュータに実行させることを特徴とする付記１～４のいずれか一つに記載の生成プログラム。

【0188】

（付記７）それぞれ異なる方向から対象物を撮影した複数の画像それぞれについて、当該画像のうち前記対象物が映った領域を取得し、
取得した前記領域それぞれについて、当該領域をテクスチャに適用した、当該領域に対応する前記対象物の一面を表す３次元オブジェクトデータを生成し、
生成した前記３次元オブジェクトデータそれぞれに基づいて、所定の画像に対して当該３次元オブジェクトデータを合成することにより、入力された画像に映った前記対象物を認識するモデルを機械学習により訓練する際に用いられる、前記対象物が映った領域を判別可能な訓練データを生成する、
処理をコンピュータが実行することを特徴とする生成方法。

【0189】

（付記８）それぞれ異なる方向から対象物を撮影した複数の画像それぞれについて、当該画像のうち前記対象物が映った領域を取得し、
取得した前記領域それぞれについて、当該領域をテクスチャに適用した、当該領域に対応する前記対象物の一面を表す３次元オブジェクトデータを生成し、
生成した前記３次元オブジェクトデータそれぞれに基づいて、所定の画像に対して当該３次元オブジェクトデータを合成することにより、入力された画像に映った前記対象物を認識するモデルを機械学習により訓練する際に用いられる、前記対象物が映った領域を判別可能な訓練データを生成する、
制御部を有することを特徴とする情報処理装置。

【符号の説明】

【0190】

１００ 情報処理装置
１０１ 対象物
１１０ 画像
１２０ 領域
１３０，８０１，９００～９１５ ３次元オブジェクトデータ
１４０ 所定の画像
１５０，１０００～１０２０，１３０１，１３１１ 合成画像
２００ 物体認識支援システム
２０１ 管理者側装置
２０２ 利用者側装置
２１０ ネットワーク
３００，４００ バス
３０１，４０１ ＣＰＵ
３０２，４０２ メモリ
３０３，４０３ ネットワークＩ／Ｆ
３０４，４０４ 記録媒体Ｉ／Ｆ
３０５，４０５ 記録媒体
４０６ 入出力装置
４０７ 撮影装置
４０８ 撮影環境
４０９ 撮影範囲
５００ 記憶部
５０１ 取得部
５０２ 抽出部
５０３ 生成部
５０４ 合成部
５０５ 学習部
５０６ 出力部
６００ 現場画像
６１０ 画像処理ソフトウェア
６２１～６２３ 背景削除画像
７００ 画像編集ソフトウェア
７０１～７０３ 補正後画像
８００ ３次元モデリングソフトウェア
９２０ 雛型画像
１１００～１１２０ アノテーション領域
１２００ ニューラルネットワーク
１４００，１４１０ ヒートマップ
１４０１，１４１１ 入力画像
１５００，１６００，１７００，１７１０ 表

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】