特許 7285417 情報処理方法、情報処理システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-05-25

(45)【発行日】2023-06-02

(54)【発明の名称】情報処理方法、情報処理システム及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230526BHJP

   G06N 3/10 20060101ALI20230526BHJP

【ＦＩ】

G06N20/00

G06N3/10

【請求項の数】 10

(21)【出願番号】P 2022033899

(22)【出願日】2022-03-04

【審査請求日】2022-07-19

【国等の委託研究の成果に係る記載事項】（出願人による申告）２０１９年度、国立研究開発法人新エネルギー・産業技術総合開発機構「ＣｏｎｎｅｃｔｅｄＩｎｄｕｓｔｒｉｅｓ推進のための協調領域データ共有・ＡＩシステム開発促進事業業界横断型ＡＩシステムの開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

【早期審査対象出願】

(73)【特許権者】

【識別番号】517255566

【氏名又は名称】株式会社エクサウィザーズ

(72)【発明者】

【氏名】セロンロペス アルトゥーロ エドゥアルド

【審査官】山本 俊介

(56)【参考文献】

【文献】特開２０２１－００５１４７（ＪＰ，Ａ）

【文献】国際公開第２０１９／１６３８２３（ＷＯ，Ａ１）

【文献】国際公開第２０２０／１６６６４１（ＷＯ，Ａ１）

【文献】特開２０２０－０６４４６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

情報処理装置が実行する情報処理方法であって、
トレーニングデータセットを生成する生成処理、機械学習モデルに前記トレーニングデータセットを学習させる学習処理及び学習済みの前記機械学習モデルを取得するモデル取得処理の少なくとも一つの処理において、処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、処理の経過情報を表す経過状況表示部と、処理結果の取得及び保存の少なくとも一方の指示を受け付ける指示取得部との少なくとも一つが、ユーザーインターフェースにそれぞれ表示されるように出力するステップと、
を含み、
前記情報処理装置は、前記生成処理において、
前記受付部としてデータ入力を受け付けるデータ入力受付部及び前記トレーニングデータセットの生成開始の指示を受け付ける生成開始指示部と、
前記経過状況表示部として前記トレーニングデータセットの生成処理進捗情報を表すデータ生成状況表示部と、
前記指示取得部として生成処理が実行された前記トレーニングデータセットを取得及び保存の少なくとも一方の指示を受け付けるデータセット取得部と、
を表示させる、
情報処理方法。

【請求項2】

前記情報処理装置は、前記生成処理において、前記データ入力受付部と、前記生成開始指示部と、前記データ生成状況表示部と、前記データセット取得部とを作業時系列順に前記ユーザーインターフェースに表示させるよう出力する、
請求項１に記載の情報処理方法。

【請求項3】

前記情報処理装置は、前記学習処理において、
前記受付部として前記トレーニングデータセットを前記機械学習モデルに学習させる学習処理開始の指示を受け付ける学習処理開始指示部と、
前記経過状況表示部として前記機械学習モデルの学習処理進捗情報を表す学習処理状況表示部と、
前記指示取得部として学習処理が実行された前記機械学習モデルの保存の指示を受け付ける機械学習モデル保存部と、
を表示させる、
請求項１又は請求項２に記載の情報処理方法。

【請求項4】

前記情報処理装置は、前記学習処理において、前記学習処理開始指示部と、前記学習処理状況表示部と、前記機械学習モデル保存部とを作業時系列順に前記ユーザーインターフェースに表示させるよう出力する、
請求項３に記載の情報処理方法。

【請求項5】

前記情報処理装置は、前記モデル取得処理において、
前記受付部として前記機械学習モデルの取得の指示を受け付ける機械学習モデル取得部と、
を表示させる、
請求項１～請求項４のいずれか一項に記載の情報処理方法。

【請求項6】

前記情報処理装置は、前記モデル取得処理において、
前記機械学習モデルの概要を表示するモデル概要表示部と、
を含んで一つのユーザーインターフェースに表示させる、
請求項１～請求項５のいずれか一項に記載の情報処理方法。

【請求項7】

前記情報処理装置は、前記モデル取得処理において、
前記機械学習モデルの検証を実施するためのサンプルデータセットの入力を受け付けるテストデータ受付部と、
前記機械学習モデルの検証状況を表す検証状況表示部と、
前記機械学習モデルの検証結果に関する情報を得るための検証指示取得部と、
前記機械学習モデルを他の情報処理装置へ送信するモデル展開部と、
の少なくとも一つを含んで一つのユーザーインターフェースに表示させる、
請求項１～請求項６のいずれか一項に記載の情報処理方法。

【請求項8】

前記情報処理装置は、前記生成処理、前記学習処理及び前記モデル取得処理のいずれかを選択可能に表示させる選択表示部を前記ユーザーインターフェースに表示するように出力するステップを有する、
請求項１～請求項７のいずれか一項に記載の情報処理方法。

【請求項9】

トレーニングデータセットを生成する生成処理、機械学習モデルに前記トレーニングデータセットを学習させる学習処理及び学習済みの前記機械学習モデルを取得するモデル取得処理の少なくとも一つの処理において、
処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、
処理の経過情報を表す経過状況表示部と、処理結果の取得及び保存の少なくとも一方の指示を受け付ける指示取得部と、
前記受付部、前記経過状況表示部及び前記指示取得部の少なくとも一つが、ユーザーインターフェースにそれぞれ表示されるように出力する表示処理部と、
を有し、
前記生成処理において、
前記受付部としてデータ入力を受け付けるデータ入力受付部及び前記トレーニングデータセットの生成開始の指示を受け付ける生成開始指示部と、
前記経過状況表示部として前記トレーニングデータセットの生成処理進捗情報を表すデータ生成状況表示部と、
前記指示取得部として生成処理が実行された前記トレーニングデータセットを取得及び保存の少なくとも一方の指示を受け付けるデータセット取得部と、
を表示させる、
情報処理システム。

【請求項10】

トレーニングデータセットを生成する生成処理、機械学習モデルに前記トレーニングデータセットを学習させる学習処理及び学習済みの前記機械学習モデルを取得するモデル取得処理の少なくとも一つの処理の実行指示が入力されたか否かを判定するステップと、
前記ステップにて実行指示の入力に基づき、処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、処理の経過情報を表す経過状況表示部と、処理結果の取得及び公開の少なくとも一方の指示を受け付ける指示取得部と、の少なくとも一つをユーザーインターフェースに表示させ、かつ前記生成処理において、前記受付部としてデータ入力を受け付けるデータ入力受付部及び前記トレーニングデータセットの生成開始の指示を受け付ける生成開始指示部と、前記経過状況表示部として前記トレーニングデータセットの生成処理進捗情報を表すデータ生成状況表示部と、前記指示取得部として生成処理が実行された前記トレーニングデータセットを取得及び保存の少なくとも一方の指示を受け付けるデータセット取得部と、を前記ユーザーインターフェースに表示させるように出力するステップと、
をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、情報処理システム及びプログラムに関する。

【背景技術】

【0002】

下記の引用文献１には、物体検出方法が開示されている。この物体検出方法では、検出対象の物体の画像に対して、少なくとも当該物体の位置及び回転角度がラベル情報として付されたデータセットにより機械学習された推論モデルを検出モデルとして利用することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１９７９７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

対象物の画像を大量に学習させることにより、高精度な検出モデルを生成できる。しかしながら、対象物を変更したい場合には、一般的に検出モデルを再度学習させる必要がある。この場合、機械学習を実施するためのデータセットの生成、学習処理及び学習処理済みの機械モデルを取得する工程が必要となるが、それぞれの工程は機械学習に精通しているユーザの操作が必要となる。したがって、検出モデルの対象物の変更を容易に行う点においては改善の余地がある。

【0005】

本発明は、上記事実を考慮し、機械学習モデルの学習及び利活用を容易に行うことを目的とする。

【課題を解決するための手段】

【0006】

一実施形態にかかる情報処理方法は、情報処理装置が実行する情報処理方法であって、トレーニングデータセットを生成する生成処理、機械学習モデルに前記トレーニングデータセットを学習させる学習処理及び学習済みの前記機械学習モデルを取得するモデル取得処理の少なくとも一つの処理において、処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、処理の経過情報を表す経過状況表示部と、処理結果の取得及び保存の少なくとも一方の指示を受け付ける指示取得部との少なくとも一つが、ユーザーインターフェースにそれぞれ表示されるように出力するステップと、を含み、前記情報処理装置は、前記生成処理において、前記受付部としてデータ入力を受け付けるデータ入力受付部及び前記トレーニングデータセットの生成開始の指示を受け付ける生成開始指示部と、前記経過状況表示部として前記トレーニングデータセットの生成処理進捗情報を表すデータ生成状況表示部と、前記指示取得部として生成処理が実行された前記トレーニングデータセットを取得及び保存の少なくとも一方の指示を受け付けるデータセット取得部と、を表示させる。

【発明の効果】

【0007】

一実施形態によれば、機械学習モデルの学習及び利活用を容易に行うことができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る情報処理システムの構成の一例を示す図である。

【図2】本実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。

【図3】本実施形態に係る検出モデル生成装置の機能構成の一例を示す図である。

【図4】本実施形態に係る制御装置の機能構成の一例を示す図である。

【図5】本実施形態に係る情報処理システムにおける初期状態時に表示装置に表示されるユーザーインターフェース画面の一例を示す模式図である。

【図6】本実施形態に係る情報処理システムにおける生成処理時に表示装置に表示されるユーザーインターフェース画面の一例を示す模式図である。

【図7】本実施形態に係る情報処理システムにおける学習処理時に表示装置に表示されるユーザーインターフェース画面の一例を示す模式図である。

【図8】本実施形態に係る情報処理システムにおけるモデル取得処理時に表示装置に表示されるユーザーインターフェース画面の一例を示す模式図である。

【図9】本実施形態に係る情報処理システムの画面表示処理の手順を示すフローチャートの一部である。

【図10】本実施形態に係る情報処理システムの画面表示処理の手順を示すフローチャートの一部である。

【図11】本実施形態に係る情報処理システムの画面表示処理の手順を示すフローチャートの一部である。

【図12】検出モデルの生成方法の具体例を説明する図である。

【発明を実施するための形態】

【0009】

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

【0010】

＜システム構成＞
まず、本実施形態に係る情報処理システムの概要について説明する。本実施形態に係る情報処理システムは、対象物Ｏｂ（図１２参照）に対してロボットアームによりタスクを実行するためのシステムである。対象物Ｏｂは、任意の物体であり得る。タスクは、例えば、ピッキング（ピックアンドプレース）、秤量、自律移動、又は製品検査であるが、これに限られない。以下では、タスクがピッキングである場合を例に説明する。

【0011】

図１は、本実施形態に係る情報処理システムの構成の一例を示す図である。図１の情報処理システムは、ネットワークＮを介して相互に通信可能に接続された、ユーザ端末１と、検出モデル生成装置２と、ロボットシステム３と、を備える。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。図１の例では、情報処理システムは、ユーザ端末１、検出モデル生成装置２及びロボットシステム３をそれぞれ１つずつ備えるが、それぞれ複数備えてもよい。 また、ネットワークＮは、図示しないクラウドサービスに通信可能に接続されてもよい。

【0012】

ユーザ端末１は、情報処理システムのユーザＵが利用する表示装置１Ａを有する情報処理装置である。ユーザ端末１は、後述する情報処理装置１００のハードウェア資源を用いて、各種機能を実現する装置であり、例えば、ＰＣ（Personal Computer）、スマートフォン又はタブレット端末であるが、これに限られない。ユーザＵは、対象物Ｏｂの３Ｄモデルである対象物モデルＯＭをユーザ端末１から検出モデル生成装置２に送信（アップロード）する。この際、ユーザＵは、表示装置１Ａに表示される操作画面の指示に従って操作を行う（操作画面の詳細については後述する）。ユーザＵは、複数の同じ種類の対象物Ｏｂの対象物モデルＯＭをユーザ端末１から検出モデル生成装置２に送信してもよいし、複数の異なる種類の対象物Ｏｂの対象物モデルＯＭをユーザ端末１から検出モデル生成装置２に送信してもよい。また、ユーザＵは、対象物モデルＯＭの代わりに、対象物Ｏｂの画像データをユーザ端末１から検出モデル生成装置２に送信してもよい。画像データは、対象物Ｏｂだけを含んでもよいし、対象物Ｏｂ及びその背景を含んでもよい。この場合、後述する検出モデル生成装置２が、対象物Ｏｂの画像データから対象物モデルＯＭを生成すればよい。さらに、対象物モデルＯＭの３Ｄモデルデータを作成するための各種画像や、位置情報、深度情報及び色情報の少なくとも一方を含む点群データ等をまとめたファイルデータ等をユーザ端末１から検出モデル生成装置２に送信してもよい。この場合も、後述する検出モデル生成装置２が、ファイルデータから対象物モデルＯＭを生成すればよい。なお、図１の例では、対象物Ｏｂは、りんごであるが、これに限られない。 また、本実施形態では、対象物モデルＯＭや対象物Ｏｂの画像データをユーザ端末１から検出モデル生成装置２へ送信する構成とされているが、これに限らず、対象物モデルＯＭや対象物Ｏｂの画像データを検出モデル生成装置２へ送信する構成は他の構成としてもよい。一例として、ＡＰＩ（Application Programming Interface）を利用して他の情報処理システムから対象物モデルＯＭや対象物Ｏｂの画像データを検出モデル生成装置２へ送信する構成等を取り得る。

【0013】

検出モデル生成装置２は、対象物モデルＯＭから生成したトレーニングデータセットとしてのデータセットＤＳを学習させることにより、ビジョンデータＶＤ（図１２参照）から対象物Ｏｂを検出する機械学習モデルとしての検出モデルＤＭを生成する情報処理装置である。データセットＤＳ、ビジョンデータＶＤ、及び検出モデル生成装置２について、詳しくは後述する。

【0014】

ロボットシステム３は、対象物Ｏｂをロボットアームでピッキングするシステムである。ロボットシステム３は、通信可能に接続された、ロボットアーム３１と、制御装置３２と、ビジョンセンサ３３と、を備える。図１の例では、ロボットシステム３は、ロボットアーム３１、制御装置３２及びビジョンセンサ３３を１つずつ備えるが、それぞれ複数備えてもよい。また、ロボットシステム３は、複数の異なる種類のビジョンセンサ３３を備えてもよい。

【0015】

ロボットアーム３１は、対象物Ｏｂをピッキング可能なエンドエフェクタを備えた多関節ロボットである。ロボットアーム３１は、例えば、バラ積みされた対象物Ｏｂをピッキングする。

【0016】

制御装置３２は、ロボットアーム３１を制御する情報処理装置である。制御装置３２は、ロボットアーム３１及びビジョンセンサ３３と通信可能に接続される。制御装置３２は、検出モデルＤＭを利用して、ビジョンセンサ３３がセンシングして生成したビジョンデータＶＤから対象物Ｏｂを検出し、検出結果に基づいて、ロボットアーム３１のピッキング動作を制御する。

【0017】

ビジョンセンサ３３は、対象物Ｏｂをセンシングし、ビジョンデータＶＤを生成する装置である。ビジョンセンサ３３は、生成したビジョンデータを制御装置３２に送信する。ビジョンセンサ３３は、センシング位置が固定されていてもよいし、ロボットアーム３１に対して固定されていてもよい。ビジョンセンサ３３は、例えば、カメラであるが、これに限られない。

【0018】

＜ハードウェア構成＞
次に、情報処理装置のハードウェア構成について説明する。図２は、情報処理装置１００のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置１００は、バスＢを介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ユーザーインターフェース１０６と、ドライブ装置１０７と、を備える。

【0019】

プロセッサ１０１は、ストレージ１０３に記憶された情報処理プログラムをメモリ１０２に展開して実行することにより、情報処理装置１００の各構成を制御し、情報処理装置１００の機能を実現する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組み合わせである。

【0020】

メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、ＭＲＡＭ（Magnetoresistive RAM）、又はこれらの組み合わせである。

【0021】

ストレージ１０３は、 ＯＳ等のプログラム及び各種のデータを記憶する。ストレージ１０３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＣＭ（Storage Class Memories）、又はこれらの組み合わせである。

【0022】

通信Ｉ／Ｆ１０４は、情報処理装置１００を、ネットワークＮを介して、外部装置に接続し、通信を制御するためのインタフェースである。通信Ｉ／Ｆ１０４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、又は光通信（例えば、Fibre Channel）に準拠したアダプタであるが、これに限られない。

【0023】

入出力Ｉ／Ｆ１０５は、情報処理装置１００にユーザーインターフェース１０６を接続するためのインタフェースである。

【0024】

ユーザーインターフェース１０６は、入力機能と出力機能とを含んで構成されている。入力機能は、ユーザの操作を受け付け、受け付けた操作に応じた情報を情報処理装置１００に入力するための機能であり、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン（いずれも不図示）、又はこれらの組み合わせによって実現される。

【0025】

出力機能は、情報処理装置１００が保持した各種の情報を出力するための機能であり、例えば、表示装置１Ａ、プロジェクタ、プリンタ、スピーカ、バイブレータ（いずれも不図示）、又はこれらの組み合わせによって実現される。このうち表示装置１Ａは、所謂ディスプレイであり、各種情報の表示を行う。また、表示装置１Ａは、所謂タッチパネル等のように入力機能を兼ねていてもよい。

【0026】

ドライブ装置１０７は、ディスクメディア１０８のデータを読み書きする。ドライブ装置１０７は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。

【0027】

ディスクメディア１０８は、情報を記録したディスク状の記録媒体である。ディスクメディア１０８は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＦＤ（Floppy Disk）、ＭＯ（Magneto-Optical disk）、ＢＤ（Blu-ray（登録商標） Disc）、又はこれらの組み合わせである。

【0028】

なお、情報処理装置１００のハードウェア構成は、上記の例に限られない。情報処理装置１００は、上記のハードウェア機能構成の一部を備えてもよいし、上記以外のハードウェア構成を備えてもよい。

【0029】

また、各種のプログラムは、情報処理装置１００の製造段階でメモリ１０２又はストレージ１０３に書き込まれてもよいし、ネットワークＮを介して情報処理装置１００に提供されてもよいし、ディスクメディア１０８などの非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置１００に提供されてもよい。

【0030】

＜検出モデル生成装置２の機能構成＞
次に、検出モデル生成装置２の機能構成について説明する。図３は、検出モデル生成装置２の機能構成の一例を示す図である。図３に示すように、検出モデル生成装置２は、通信部２１と、記憶部２２と、表示処理部としての制御部２３と、を備える。検出モデル生成装置２は、一例として上述の情報処理装置１００と同様の構成のハードウェア資源を用いて、各種機能を実現する。検出モデル生成装置２が実現する機能構成について説明する。

【0031】

通信部２１は、通信Ｉ／Ｆ１０５（図２参照）により実現される。通信部２１は、ネットワークＮを介して、ユーザ端末１及びロボットシステム３との間で情報の送受信を行う。具体的には、通信部２１は、ユーザ端末１から対象物モデルＯＭや操作情報等を受信し、ロボットシステム３に検出モデルＤＭを送信する。

【0032】

記憶部２２は、メモリ１０２及びストレージ１０３（図２参照）により実現される。記憶部２２は、対象物モデルＯＭと、合成データセットＳＭ（図１２参照）と、レンダリングパラメータと、データセットＤＳと、検出モデルＤＭと、タスク実行結果と、情報処理プログラムＪＰ等を記憶する。

【0033】

対象物モデルＯＭは、対象物Ｏｂの３Ｄモデルである。記憶部２２には、１又は複数の対象物モデルＯＭが記憶される。対象物モデルＯＭは、ユーザ端末１から受信してもよいし、後述する生成部２３２が生成してもよい。

【0034】

図１２に示されるように、合成データセットＳＭは、ロボットアーム３１（図１参照）がタスクを実行する際の対象物Ｏｂの状況を再現するように生成された、対象物モデルＯＭを含む３Ｄモデルである。合成データセットＳＭは、バラ積みされた対象物モデルＯＭを含む３Ｄモデルであってもよいし、ランダム又は所定の規則で配置された複数の対象物モデルＯＭを含む３Ｄモデルであってもよいし、１つの対象物モデルＯＭを含む３Ｄモデルであってもよい。例えば、ロボットシステム３のタスクがバラ積みされた対象物Ｏｂのピッキングである場合、合成データセットＳＭとして、バラ積みされた対象物モデルＯＭ及び容器を含む３Ｄモデルが生成される。記憶部２２には、１又は複数の合成データセットＳＭが記憶される。

【0035】

図３に示されるように、レンダリングパラメータＲＰは、対象物モデルＯＭに基づいてビジョンデータＶＤ（図１２参照）を生成するためのパラメータである。レンダリングパラメータＲＰは、ロボットアーム３１がタスクを実行する際に生成されるビジョンデータＶＤが再現されるように調整される。レンダリングパラメータＲＰは、対象物パラメータ、環境パラメータ、及びセンサパラメータを含む。

【0036】

対象物パラメータは、合成データセットＳＭに含まれる対象物モデルＯＭ（図１２参照）を生成するためのパラメータである。対象物パラメータは、対象物Ｏｂの色、対象物Ｏｂの粗さ、対象物Ｏｂの清浄さ、対象物Ｏｂの反射率、及び対象物Ｏｂの解像度の少なくとも１つを含む。

【0037】

環境パラメータは、合成データセットＳＭを生成するためのパラメータである。環境パラメータは、光源の配置、光の強度、影の解像度、対象物Ｏｂの大きさ、対象物Ｏｂの位置、対象物Ｏｂの数、及びレンダリングモードの少なくとも１つを含む。

【0038】

センサパラメータは、合成データセットＳＭからビジョンデータＶＤ（図１２参照）を生成するためのパラメータである。センサパラメータは、ビジョンデータＶＤに含まれるノイズ、ビジョンセンサの焦点、ビジョンセンサの位置、ビジョンセンサの画角、ビジョンセンサの方向、及びビジョンセンサの露光量の少なくとも１つを含む。例えば、ビジョンセンサの位置、画角及び方向は、合成データセットＳＭを２次元投影する際に利用される。また、例えば、ビジョンセンサの焦点、露光及びノイズは、後処理効果に利用される。

【0039】

なお、レンダリングパラメータＲＰは、上記の例に限られない。また、各レンダリングパラメータは、一意の値（基準値）であってもよいし、範囲であってもよい。

【0040】

データセットＤＳは、検出モデルＤＭを生成するためのデータセットである。データセットＤＳは、図１２に示されるように、複数の教師データＴＤを含む。教師データＴＤは、ビジョンデータＶＤ及びラベルＬを含む。

【0041】

ビジョンデータＶＤは、対象物モデルＯＭを含む３Ｄモデルを仮想のビジョンセンサによりセンシングすることにより生成される任意のデータであり得る。ビジョンデータＶＤは、例えば、カメラにより生成される画像データ、深度センサにより生成される深度データ、又はレーザスキャナにより生成されるレーザスキャンデータであるが、これに限られない。教師データＴＤは、複数種類のビジョンデータＶＤを含んでもよい。

【0042】

ラベルＬは、ビジョンデータＶＤに含まれる対象物モデルＯＭの領域及び位置を示すデータ（位置情報）である。ラベルＬは、ビジョンデータＶＤに含まれる対象物モデルＯＭに対応するバウンディングボックスであてもよいし、ビジョンデータＶＤに含まれる対象物モデルＯＭに対応するピクセルを示すマスクであってもよい。

【0043】

なお、教師データＴＤは、上記の例に限られない。例えば、教師データＴＤは、ビジョンデータＶＤを生成するために利用されたレンダリングパラメータＲＰの値を含んでもよい。

【0044】

図３に示されるように、検出モデルＤＭは、ビジョンデータＶＤから対象物Ｏｂの領域及び位置を検出する任意の機械学習モデルであり得る。検出モデルＤＭは、例えば、物体検出モデル、インスタンスセグメンテーションモデル、又はセマンティックセグメンテーションモデルであるが、これに限られない。

【0045】

検証実行結果ＴＲは、検出モデルＤＭを利用した検証結果を示す情報である。この検証は一例として、対象物Ｏｂを撮影した撮像データや、対象物Ｏｂを再現したシミュレーションデータを検出モデルＤＭへ入力し、検出モデルＤＭの出力結果が想定のものか否かを確認するものである。また、検証は、これに限らず、ロボットアームのタスクをシミュレーションした結果を含んでもよい。検証実行結果ＴＲは、一例として、検出モデルＤＭにより検出された対象物モデルＯＭの領域及び位置、検出モデルＤＭに入力されたビジョンデータＶＤ、タスクの成否（成功又は失敗を示す情報）、タスクの実行中にロボットアームに提供されたコマンド、タスクの実行中にロボットシステムが備える各種センサが計測したセンサ値、タスクの実行時間、又はこれらの組み合わせを含む。なお、検証実行結果ＴＲは、画像や動画データ、テキストデータによるレポート等、任意に形式に設定可能とされている。

【0046】

制御部２３は、プロセッサ１０１がメモリ１０２（図２参照）から情報処理プログラムＪＰを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部２３は、取得部２３１と、生成部２３２と、学習部２３３と、検出部２３４と、検証部２３５と、を備えると共に、各部が取得するデータの入力や操作指示、各部が出力するデータや情報の表示などに対応した画面（詳細は後述する）をユーザ端末１の表示装置１Ａに出力する。

【0047】

取得部２３１は、ユーザ端末１から対象物モデルＯＭ、合成データセットＳＭ及び生成済みのデータセットＤＳ等を取得し、記憶部２２や図示しないストレージ（一例としてクラウドストレージ）へアップロードし保存する。取得部２３１は、対象物モデルＯＭの代わりに、対象物モデルＯＭを生成するための写真測量用画像等の各種画像や、位置情報、深度情報及び色情報の少なくとも一方を含む点群データ、３Ｄメッシュデータ等を取得し、記憶部２２や図示しないストレージ（一例としてクラウドストレージ）へアップロードし保存してもよい。また、取得部２３１は、ユーザーインターフェース１０６から入力された各種操作情報も取得する。

【0048】

生成部２３２は、対象物モデルＯＭや合成データセットＳＭ及びレンダリングパラメータＲＰに基づいて、公知の技術を用いてデータセットＤＳを生成し、記憶部２２や図示しないストレージ（一例としてクラウドストレージ）へアップロードし保存する。なお、取得部２３１が取得したデータが生成済みのデータセットＤＳの場合は、生成部２３２はデータセットの生成処理を行わない。また、取得部２３１が取得したデータが対象物モデルＯＭを生成するための写真測量用画像等の各種画像や、位置情報、深度情報及び色情報の少なくとも一方を含む点群データ、３Ｄメッシュデータ等の場合は、生成部２３２は対象物モデルＯＭを生成し、当該対象物モデルＯＭを基にデータセットＤＳを生成する。

【0049】

学習部２３３は、検出モデルＤＭに取得部２３１が取得した生成済みデータセットＤＳ又は生成部２３２が生成したデータセットＤＳを機械学習させることにより、公知の技術を用いて学習済みの検出モデルＤＭを生成し、記憶部２２に保存する。なお、機械学習させる際のデータセットＤＳは、ユーザＵが後述するＵＩ画面により選択操作されるデータセットＤＳが使用される。

【0050】

検出部２３４は、学習済みの検出モデルＤＭを利用して、ビジョンデータＶＤや、対象物Ｏｂを撮影した撮像データ、対象物Ｏｂを再現したシミュレーションデータ等から対象物モデルＯＭを検出する。

【0051】

検証部２３５は、検出部２３４の検出結果に基づいて、対象物モデルＯＭの検出結果を検証実行結果ＴＲとして記憶部２２や図示しないストレージ（一例としてクラウドストレージ）へアップロードし保存する。また、検証部２３５は、ロボットアームのタスクを検証する場合は、一例として仮想のロボットアームを動作させることにより、ロボットアームのタスクをシミュレーションし、当該シミュレーション結果を検証実行結果ＴＲとして記憶部２２や図示しないストレージ（一例としてクラウドストレージ）へアップロードし保存する。検証部２３５は、物理エンジンを利用することにより、タスクを実行する際のロボットアームの動作を再現する。

【0052】

なお、検出モデル生成装置２の機能構成は、上記の例に限られない。検出モデル生成装置２は、上記の機能構成の一部を備えてもよいし、上記以外の機能構成を備えてもよい。例えば、検出モデル生成装置２は、上記の機能構成の一部をユーザ端末１又は制御装置３２に設けられてもよいし、制御装置３２の機能構成の一部を備えてもよい。

【0053】

上述した検出モデル生成装置２は、公知の機械学習技術を用いてデータセットＤＳを生成する生成処理と、検出モデルＤＭにデータセットＤＳを学習させる学習処理と、学習済みの検出モデルＤＭを取得する取得処理と、を実行する。なお、本実施形態では、データセットＤＳの生成処理及び検出モデルＤＭを取得する取得処理が公知の機械学習モデル機械学習技術により行われているが、これに限らず、所謂ルールベースの処理等、機械学習技術以外の技術により行われる構成としてもよい。

【0054】

＜制御装置３２の機能構成＞
次に、制御装置３２の機能構成について説明する。図４は、制御装置３２の機能構成の一例を示す図である。図４に示すように、制御装置３２は、通信部３２１と、記憶部３２２と、制御部３２３と、を備える。制御装置３２は、一例として上述の情報処理装置１００と同様の構成のハードウェア資源を用いて、各種機能を実現する。制御装置３２が実現する機能構成について説明する。

【0055】

通信部３２１は、通信Ｉ／Ｆ１０５（図２参照）により実現される。通信部３２１は、ネットワークＮを介して、検出モデル生成装置２との間で情報の送受信を行う。具体的には、通信部３２１は、検出モデル生成装置２から学習済みの検出モデルＤＭを受信する。

【0056】

記憶部３２２は、メモリ１０２及びストレージ１０３（図２参照）により実現される。記憶部３２２は、ビジョンデータＶＤと、検出モデルＤＭと、を記憶する。

【0057】

ビジョンデータＶＤは、ビジョンセンサ３３が対象物Ｏｂをセンシングすることにより生成したデータである。

【0058】

検出モデルＤＭは、検出モデル生成装置２により生成されかつ展開（デプロイ）された学習済みの検出モデルＤＭである。

【0059】

制御部３２３は、プロセッサ１０１がメモリ１０２（図２参照）からロボット制御プログラムＲＰを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部３２３は、取得部３２３１と、検出部３２３２と、ロボット制御部３２３３と、を備える。

【0060】

取得部３２３１は、ビジョンセンサ３３（図１参照）からビジョンデータＶＤを取得する。

【0061】

検出部３２３２は、検出モデルＤＭを利用して、ビジョンデータＶＤから対象物Ｏｂを検出する。具体的には、検出部３２３２は、ビジョンデータＶＤを検出モデルＤＭに入力し、検出モデルＤＭが出力した対象物Ｏｂの領域及び位置を示す情報を、対象物Ｏｂの検出結果として取得する。

【0062】

ロボット制御部３２３３は、検出モデル生成装置２により展開（デプロイ）された検出モデルＤＭが出力する対象物Ｏｂの検出結果に基づいて、ロボットアーム３１（図１参照）を制御し、所定のタスクを実行する。具体的には、ロボット制御部３２３３は、例えば、対象物Ｏｂの検出結果に基づいて、ピッキング対象とする対象物Ｏｂを選択し、選択したピッキング対象をピッキングできるようにロボットアーム３１を制御する。ロボットアーム３１の制御方法として、既存の任意の方法を利用できる。

【0063】

なお、制御装置３２の機能構成は、上記の例に限られない。制御装置３２は、上記の機能構成の一部を備えてもよいし、上記以外の機能構成を備えてもよい。例えば、制御装置３２は、上記の機能構成の一部をロボットアーム３１に設けられてもよいし、検出モデル生成装置２の機能構成の一部を備えてもよい。

【0064】

＜初期状態時の画面表示処理＞
次に、検出モデル生成装置２による初期状態時の画面表示処理について説明する。検出モデル生成装置２は、初期状態において、図５に示されるようなユーザーインターフェース画面（以下、「ＵＩ画面」と称する。）をユーザ端末１の表示装置１Ａ（図１参照）に表示させるように出力する。本実施形態における初期状態時のＵＩ画面は、画面内容表示領域５００と、選択表示部としての生成処理選択領域５０２、学習処理選択領域５０４及びモデル取得処理選択領域５０６とを含んで構成されている。

【0065】

画面内容表示領域５００は、ＵＩ画面の上部に設けられており、本例では「メインメニュー」と本ＵＩ画面の内容（この場合メインメニューであること）を示す文字列と、本処理における設定事項を確認及び編集させるための操作を受け付ける一般設定メニューボタン５０１とが表示されている。本実施の形態に係る情報処理システムでは、本サービスを利用するためにユーザがユーザ端末１にて検出モデル生成装置２にアクセスし情報処理プログラムＪＰを起動した後、図示のＵＩ画面が表示される。

【0066】

一般設定メニューボタン５０１は、画面内容表示領域５００内における右側方に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、一般設定メニューボタン５０１に対するタッチ操作又はクリック操作等を受け付けることにより、生成処理、学習処理及びモデル取得処理を実行するサーバ（クラウドサービスも含む）の設定や、自動で処理を実行するためのオートメーション化設定等を実行するための操作画面（不図示）をユーザ端末１の表示装置１Ａに表示するよう出力する。

【0067】

生成処理選択領域５０２は、ＵＩ画面における左側部かつ画面内容表示領域５００の下方側に設けられており、本例ではデータセットを概念的に示すアイコン（画像、図形、記号等）と、受付部としての生成処理を選択するための操作を受け付ける生成処理選択ボタン５０８とが表示される。ユーザ端末１及び検出モデル生成装置２は、生成処理選択領域５０２に表示された生成処理選択ボタン５０８に対するタッチ操作又はクリック操作等を受け付けることにより、生成処理の選択を受け付ける。生成処理の選択を受け付けた検出モデル生成装置２は、生成処理を実行するための生成処理選択時ＵＩ画面（図６参照、詳細は後述する）をユーザ端末１の表示装置１Ａに表示するよう出力する。

【0068】

学習処理選択領域５０４は、ＵＩ画面における中央部かつ画面内容表示領域５００の下方側に設けられており、本例では機械学習モデルを概念的に示すアイコン（画像、図形、記号等）と、受付部としての学習処理を選択するための操作を受け付ける学習処理選択ボタン５１０とが表示される。ユーザ端末１及び検出モデル生成装置２は、学習処理選択領域５０４に表示された学習処理選択ボタン５１０に対するタッチ操作又はクリック操作等を受け付けることにより、学習処理の選択を受け付ける。学習処理の選択を受け付けた検出モデル生成装置２は、学習処理を実行するための学習処理選択時ＵＩ画面（図７参照、詳細は後述する）をユーザ端末１の表示装置１Ａに表示するよう出力する。

【0069】

モデル取得処理選択領域５０６は、ＵＩ画面における右側部かつ画面内容表示領域５００の下方側に設けられており、本例では機械学習モデルの取得を概念的に示すアイコン（画像、図形、記号等）と、受付部としての取得処理を選択するための操作を受け付けるモデル取得処理選択ボタン５１２とが表示される。ユーザ端末１及び検出モデル生成装置２は、モデル取得処理選択領域５０６に表示されたモデル取得処理選択ボタン５１２に対するタッチ操作又はクリック操作等を受け付けることにより、モデル取得処理の選択を受け付ける。モデル取得処理の選択を受け付けた検出モデル生成装置２は、モデル取得処理を実行するためのモデル取得処理選択時ＵＩ画面（図８参照、詳細は後述する）をユーザ端末１の表示装置１Ａに表示するよう出力する。

【0070】

すなわち、初期状態時の本ＵＩ画面は、生成処理、前記学習処理及び前記モデル取得処理のいずれかを選択可能に表示されている。

【0071】

＜生成処理選択時の画面表示処理＞
次に、検出モデル生成装置２による生成処理時の画面表示処理について説明する。検出モデル生成装置２は、少なくとも生成処理選択領域５０２における生成処理選択ボタン５０８に対する操作を受け付けた場合に、図６に示されるようなＵＩ画面をユーザ端末１の表示装置１Ａに表示させるように出力する。本実施形態における生成処理選択時のＵＩ画面は、画面内容表示領域５１４と、第一タスク表示領域５１６と、第二タスク表示領域５１８と、第三タスク表示領域５２０とを含んで構成されている。

【0072】

画面内容表示領域５１４は、ＵＩ画面の上部に設けられており、本例では「データセットの生成」と本ＵＩ画面の内容（この場合、データセットの生成であること）を示す文字列と、当該文字列に対して右側部に初期状態時のＵＩ画面（図５参照）を表示させるための操作を受け付けるメニューボタン５２２とが表示される。

【0073】

第一タスク表示領域５１６は、ＵＩ画面における左側部かつ画面内容表示領域５１４の下方側に設けられており、本例ではデータ生成オプション表示部５２４と、ユーザがアップロードする３Ｄモデルデータを選択しアップロードするための操作を受け付ける受付部かつデータ入力受付部としての３Ｄモデルアップロードボタン５２６と、ユーザがアップロードする各種データを選択するための操作を受け付ける受付部かつデータ入力受付部としてのオブジェクトデータアップロードボタン５２７と、データセットの生成を開始するための操作を受け付ける受付部かつ生成開始指示部としてのデータセット生成開始ボタン５２８と、既に生成された図示しないデータセットを取り込むためのデータインポートボタン５２９とが表示される。データ生成オプション表示部５２４には、３Ｄモデルアップロードボタン５２６にて３Ｄモデルデータのアップロード（詳細は後述）が完了後に、生成するデータセットのパラメータオプションが編集可能な状態でリスト表示される。

【0074】

３Ｄモデルアップロードボタン５２６は、データ生成オプション表示部５２４の下方側かつ左側方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、３Ｄモデルアップロードボタン５２６に対するタッチ操作又はクリック操作等を受け付けることにより、ユーザ端末１内から検出モデル生成装置２へアップロードする３Ｄモデルデータの選択及びアップロードの実行を行う。

【0075】

オブジェクトデータアップロードボタン５２７は、データ生成オプション表示部５２４の下方側かつ右側方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、オブジェクトデータアップロードボタン５２７に対するタッチ操作又はクリック操作等を受け付けることにより、ユーザ端末１内から検出モデル生成装置２へアップロードする各種データの選択及びアップロードの実行を行う。当該各種データは、一例として、対象物モデルＯＭの３Ｄモデルデータを作成するためのオブジェクトデータとされており、具体的には、対象物Ｏｂを撮影した画像データや、位置情報、深度情報及び色情報の少なくとも一方を含む点群データ等を含む。なお、本実施形態では、３Ｄモデルアップロードボタン５２６とオブジェクトデータアップロードボタン５２７とが異なるボタンとされているが、これに限らず、同一のボタンとしてユーザによりアップロードされたデータ種類を検出モデル生成装置２にて判定し、データ種類に応じて処理を実行する構成としてもよい。

【0076】

データセット生成開始ボタン５２８は、３Ｄモデルアップロードボタン５２６の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、データセット生成開始ボタン５２８に対するタッチ操作又はクリック操作等を受け付けることにより、３Ｄモデルアップロードボタン５２６の操作によって検出モデル生成装置２にアップロードされた３Ｄモデルデータを基にデータセットの生成を実行する。

【0077】

データインポートボタン５２９は、オブジェクトデータアップロードボタン５２７の下方側かつ右側方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、データセット生成開始ボタン５２８に対するタッチ操作又はクリック操作等を受け付けることにより、ユーザ端末１内や他の情報処理装置から検出モデル生成装置２へ取り込む各種データの選択及び取り込み処理（インポート）の実行を行う。なお、各種データには、他のデータセット生成装置（不図示）によって生成されたデータセットや対象物Ｏｂを撮影した画像データ等が含まれる。

【0078】

第二タスク表示領域５１８は、ＵＩ画面における中央部かつ画面内容表示領域５１４の下方側に設けられており、本例では選択データセット概要表示部５３０と、経過状況表示部かつデータ生成状況表示部としてのデータ作成状況表示部５３２とが表示される。選択データセット概要表示部５３０は、後述する既存データセット表示部５３４において生成済みの既存のデータセットがユーザにより選択された際に、当該データセットに関する情報を表示する。本実施形態の選択データセット概要表示部５３０では、一例として、選択されたデータセットの画像データ、マスクデータ、法線データ及び深度データのサムネイル画像（いずれも不図示）がそれぞれ表示可能とされている。なお、既存データセット表示部５３４において生成済みの既存のデータセットがユーザにより選択されていない場合には、選択データセット概要表示部５３０は空白状態となる。

【0079】

データ作成状況表示部５３２は、選択データセット概要表示部５３０の下方側に配置されており、データセット生成開始ボタン５２８の操作によってデータセットの生成処理が実施されている際の生成処理の進捗情報が表示される。なお、データセットの生成が実行されていない場合は、データ作成状況表示部５３２は空白状態となる。また、データセットの生成が終了した際は、データ作成状況表示部５３２の背景色が変わるなど表示が変化する。

【0080】

第三タスク表示領域５２０は、ＵＩ画面における右側部かつ画面内容表示領域５１４の下方側に設けられており、本例では既存データセット表示部５３４と、ステータス更新ボタン５３６と、データセット生成停止ボタン５３８と、指示取得部かつデータセット取得部としてのデータセットダウンロードボタン５３９と、指示取得部かつデータセット取得部としてのデータセットパブリッシュボタン５４０とが表示される。既存データセット表示部５３４には、検出モデル生成装置２にて既に生成されたデータセットの一覧を選択可能にリスト表示される。

【0081】

ステータス更新ボタン５３６は、既存データセット表示部５３４の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、ステータス更新ボタン５３６に対するタッチ操作又はクリック操作等を受け付けることにより、データ作成状況表示部５３２及び既存データセット表示部５３４の少なくとも一方の表示更新を実行する。

【0082】

データセット生成停止ボタン５３８は、既存データセット表示部５３４の下方側かつステータス更新ボタン５３６の右側方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、データセット生成停止ボタン５３８に対するタッチ操作又はクリック操作等を受け付けることにより、実行中のデータセットの生成処理を停止する。

【0083】

データセットダウンロードボタン５３９は、ステータス更新ボタン５３６の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、データセットダウンロードボタン５３９に対するタッチ操作又はクリック操作等を受け付けることにより、検出モデル生成装置２に既に記録されているデータセットのうち既存データセット表示部５３４にて選択されたデータセットをユーザ端末１へのダウンロード（取得）の実行を行う。

【0084】

データセットパブリッシュボタン５４０は、データセット生成停止ボタン５３８の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、データセットパブリッシュボタン５４０に対するタッチ操作又はクリック操作等を受け付けることにより、生成されたデータセットを記憶部２２や図示しないストレージ（一例としてクラウドストレージ）へアップロードし保存する。なお、本実施形態では、データセットパブリッシュボタン５４０は、データセット生成開始ボタン５２８に対する操作によって実行されるデータセットの生成処理が完了するまでは操作できない（非アクティブ）状態とされる。

【0085】

＜学習処理選択時の画面表示処理＞
次に、検出モデル生成装置２による学習処理時の画面表示処理について説明する。検出モデル生成装置２は、少なくとも学習処理選択領域５０４における学習処理選択ボタン５１０（図５参照）に対する操作を受け付けた場合に、図７に示されるようなＵＩ画面をユーザ端末１の表示装置１Ａに表示させるように出力する。本実施形態における生成処理選択時のＵＩ画面は、画面内容表示領域５４２と、第一タスク表示領域５４４と、第二タスク表示領域５４６と、第三タスク表示領域５４８とを含んで構成されている。

【0086】

画面内容表示領域５４２は、ＵＩ画面の上部に設けられており、本例では「機械学習モデルのトレーニング」と本ＵＩ画面の内容（この場合、機械学習モデルの学習であること）を示す文字列と、当該文字列に対して右側部に前述同様にメニューボタン５２２とが表示される。

【0087】

第一タスク表示領域５４４は、ＵＩ画面における左側部かつ画面内容表示領域５４２の下方側に設けられており、本例では既存データセット表示部５５０と、受付部かつ学習処理開始指示部としてのトレーニング開始ボタン５５２とが表示される。既存データセット表示部５５０は、前述の既存データセット表示部５３４と同様に、検出モデル生成装置２にて既に生成されたデータセットの一覧がリスト表示されると共に、任意のデータセットがユーザによって選択可能とされている。

【0088】

トレーニング開始ボタン５５２は、既存データセット表示部５５０の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、トレーニング開始ボタン５５２に対するタッチ操作又はクリック操作等を受け付けることにより、既存データセット表示部５５０にてユーザにより選択されたデータセットによる、後述する既存学習モデル表示部５５４にてユーザにより選択された機械学習モデルの学習処理を実行する。なお、この学習処理には、既に学習済みの機械学習モデルに対する再学習処理も含まれる。

【0089】

第二タスク表示領域５４６は、ＵＩ画面における中央部かつ画面内容表示領域５４２の下方側に設けられており、本例では経過状況表示部かつ学習処理状況表示部としてのトレーニング進捗表示部５５６と、トレーニング状況表示部５５８と、トレーニングオプション表示部５６０とが表示される。トレーニング進捗表示部５５６は、機械学習モデルの学習処理の進捗情報が表示される。

【0090】

トレーニング状況表示部５５８は、トレーニング進捗表示部５５６の下方側に配置されており、一例として、学習処理を実施する機械学習モデルに関する情報や学習処理に使用されるデータセットに関する情報が表示される。

【0091】

トレーニングオプション表示部５６０は、トレーニング状況表示部５５８の下方側に配置されており、学習処理のオプションやパラメータが編集可能な状態で表示される。

【0092】

第三タスク表示領域５４８は、ＵＩ画面における右側部かつ画面内容表示領域５４２の下方側に設けられており、本例では既存学習モデル表示部５５４と、ステータス更新ボタン５６２と、学習処理停止ボタン５６４と、指示取得部かつ機械学習モデル保存部としての学習モデルパブリッシュボタン５６６とが表示される。既存学習モデル表示部５５４には、検出モデル生成装置２にて既に学習処理された機械学習モデルの一覧が選択可能にリスト表示される。

【0093】

ステータス更新ボタン５６２は、既存学習モデル表示部５５４の下方側かつ左側方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、ステータス更新ボタン５６２に対するタッチ操作又はクリック操作等を受け付けることにより、トレーニング進捗表示部５５６及びトレーニングオプション表示部５６０の少なくとも一方の表示更新を実行する。

【0094】

学習処理停止ボタン５６４は、既存学習モデル表示部５５４の下方側かつステータス更新ボタン５６２の右側方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、学習処理停止ボタン５６４に対するタッチ操作又はクリック操作等を受け付けることにより、実行中の機械学習モデルの学習処理を停止する。

【0095】

学習モデルパブリッシュボタン５６６は、ステータス更新ボタン５６２及び学習処理停止ボタン５６４の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、学習モデルパブリッシュボタン５６６に対するタッチ操作又はクリック操作等を受け付けることにより、学習処理された機械学習モデルを記憶部２２や図示しないストレージ（一例としてクラウドストレージ）へアップロードし保存する。なお、本実施形態では、学習モデルパブリッシュボタン５６６は、トレーニング開始ボタン５５２に対する操作によって実行される機械学習モデルの学習処理が完了するまでは操作できない（非アクティブ）状態とされる。

【0096】

＜モデル取得処理選択時の画面表示処理＞
次に、検出モデル生成装置２によるモデル取得処理時の画面表示処理について説明する。検出モデル生成装置２は、少なくともモデル取得処理選択領域５０６におけるモデル取得処理選択ボタン５１２（図５参照）に対する操作を受け付けた場合に、図８に示されるようなＵＩ画面をユーザ端末１の表示装置１Ａに表示させるように出力する。本実施形態における生成処理選択時のＵＩ画面は、画面内容表示領域５６８と、第一タスク表示領域５７０と、第二タスク表示領域５７２と、第三タスク表示領域５７４とを含んで構成されている。

【0097】

画面内容表示領域５６８は、ＵＩ画面の上部に設けられており、本例では「検証及び機械学習モデルの取得」と本ＵＩ画面の内容（この場合、機械学習モデルの検証及び取得であること）を示す文字列と、当該文字列に対して右側部に前述同様にメニューボタン５２２とが表示される。

【0098】

第一タスク表示領域５７０は、ＵＩ画面における左側部かつ画面内容表示領域５６８の下方側に設けられており、本例では既存学習モデル表示部５７６と、受付部かつ機械学習モデル取得部としての機械学習モデルダウンロードボタン５７８とが表示される。既存学習モデル表示部５７６では、検出モデル生成装置２にて既に学習処理された機械学習モデルの一覧が選択可能にリスト表示される。

【0099】

機械学習モデルダウンロードボタン５７８は、既存学習モデル表示部５７６の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、機械学習モデルダウンロードボタン５７８に対するタッチ操作又はクリック操作等を受け付けることにより、学習済みの機械学習モデルの検出モデル生成装置２からユーザ端末１へのダウンロード（取得）が実行される。

【0100】

第二タスク表示領域５７２は、ＵＩ画面における中央部かつ画面内容表示領域５６８の下方側に設けられており、本例ではモデル概要表示部としての機械学習モデル説明部５８０が表示される。機械学習モデル説明部５８０では、既存学習モデル表示部５７６にて選択された機械学習モデルに関する情報が表示される。

【0101】

第三タスク表示領域５７４は、ＵＩ画面における右側部かつ画面内容表示領域５６８の下方側に設けられており、本例では検証状況表示部としての推論状況更新ボタン５８２と、推論状況表示部５８４と、テストデータ受付部としての推論用動画像データアップロードボタン５８６Ａと、テストデータ受付部としての推論用模擬データアップロードボタン５８６Ｂと、検証指示取得部としての推論結果データダウンロードボタン５８８と、モデル展開部としての機械学習モデル展開ボタン５９０とが表示される。推論状況更新ボタン５８２は、第三タスク表示領域５７４の上部に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、推論状況更新ボタン５８２に対するタッチ操作又はクリック操作等を受け付けることにより、選択された機械学習モデルの検証（テスト）の際の推論データ（詳細は後述）を用いた検証状況を表示する推論状況表示部５８４の表示更新を実行する。検証状況は、一例として、対象物Ｏｂを撮影した撮像データや、対象物Ｏｂを再現したシミュレーションデータを推論データとして検出モデルＤＭへ入力した際の処理状況や、ロボットアームのタスクをシミュレーションした際の処理状況とされている。

【0102】

推論状況表示部５８４は、推論状況更新ボタン５８２の下方側に配置されており、既存学習モデル表示部５７６にて選択された機械学習モデルに対して推論データを用いて検証を実施する際の検証処理情報が表示される。

【0103】

推論用動画像データアップロードボタン５８６Ａは、推論状況表示部５８４の下方側かつ左側方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、推論用動画像データアップロードボタン５８６Ａに対するタッチ操作又はクリック操作等を受け付けることにより、既存学習モデル表示部５７６にて選択された機械学習モデルの検証を行う際に使用する動画データや画像データのユーザ端末１から検出モデル生成装置２へのアップロードが実行される。当該アップロードされるデータは、本実施形態においては、ビジョンデータＶＤから対象物Ｏｂの領域及び位置を検出する検出モデルＤＭの検証を行うため、対象物Ｏｂを撮影した動画データや画像データとされている。

【0104】

推推論用模擬データアップロードボタン５８６Ｂは、推論状況表示部５８４の下方側かつ右側方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、推論用模擬データアップロードボタン５８６Ｂに対するタッチ操作又はクリック操作等を受け付けることにより、既存学習モデル表示部５７６にて選択された機械学習モデルの検証を行う際に使用するシミュレーションを実行するための各種データのユーザ端末１から検出モデル生成装置２へのアップロードが実行される。当該アップロードされるデータは、本実施形態においては、対象物Ｏｂを再現したシミュレーションデータを生成するための設定データ等とされている。

【0105】

推論結果データダウンロードボタン５８８は、推論用データアップロードボタン５８６の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、推論結果データダウンロードボタン５８８に対するタッチ操作又はクリック操作等を受け付けることにより、検証が行われた機械学習モデルの出力結果を含むデータの検出モデル生成装置２からユーザ端末１へのダウンロードが実行される。当該ダウンロードされるデータは、本実施形態においては、推論用データアップロードボタン５８６の操作によってアップロードされた動画データに対して対象物モデルＯＭの領域及び位置を示す情報を付加した動画データが含まれる。

【0106】

機械学習モデル展開ボタン５９０は、推論結果データダウンロードボタン５８８の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、機械学習モデル展開ボタン５９０に対するタッチ操作又はクリック操作等を受け付けることにより、検証が実施された機械学習モデルをロボットシステム３の制御を行う制御装置３２の記憶部３２２（図４参照）に学習済み検出モデルとして送信し展開する。

【0107】

＜処理フロー＞
次に、本実施形態に係る情報処理システムの作用について説明する。図９は、本実施形態に係る情報処理システムの処理の流れを示すフローチャートである。プロセッサ１０１がメモリ１０２又はストレージ１０３から本実施形態に係る情報処理プログラムＪＰを読み出し、メモリ１０２に展開して実行することにより、本実施形態に係る情報処理プログラムＪＰに基づく処理が行われる。

【0108】

（メインメニュー画面表示）
プロセッサ１０１は、メインメニューＵＩ画面（図５参照）をユーザ端末１の表示装置１Ａに表示させるように出力する（ステップ１００）。そして、プロセッサ１０１は、生成処理選択ボタン５０８、学習処理選択ボタン５１０及びモデル取得処理選択ボタン５１２のいずれかに対する操作があるか否かを判定する（ステップ１０２）。操作が無い場合（ステップ１０２：ＮＯ）、プロセッサ１０１は、ステップ１００へ処理を移行する。なお、フローチャートが複雑になるのを避けるため図示していないが、プロセッサ１０１は、一般設定メニューボタン５０１（図５参照）が操作された際は、サーバ等の設定や、オートメーション化設定等を実行するための操作画面（不図示）をユーザ端末１の表示装置１Ａに表示するよう出力する。

【0109】

操作がある場合（ステップ１０２：ＹＥＳ）、プロセッサ１０１は、操作されたボタンの種別を判定する（ステップ１０４）。操作されたボタンが学習処理選択ボタン５１０の場合（ステップ１０４：学習処理）、プロセッサ１０１は、後述するステップ２００へ処理を移行する。また、操作されたボタンがモデル取得処理選択ボタン５１２の場合（ステップ１０４：モデル取得処理）、プロセッサ１０１は、後述するステップ３００へ処理を移行する。

【0110】

（生成処理画面表示）
操作されたボタンが生成処理選択ボタン５０８の場合（ステップ１０４：生成処理）、プロセッサ１０１は、「データセットの生成」ＵＩ画面（図６参照）をユーザ端末１の表示装置１Ａ（図１参照）に表示させるように出力する（ステップ１０６）。なお、フローチャートが複雑になるのを避けるため図示していないが、プロセッサ１０１は、フローチャート中のいずれの処理中においてもメニューボタン５２２が操作された際は、ステップ１００へ処理を移行する。

【0111】

プロセッサ１０１は、既存のデータセットが記憶部２２に保存されている場合、既存データセット表示部５３４に当該データセットを表示する（ステップ１０８）。そして、プロセッサ１０１は、データインポートボタン５２９が操作されたか否かを判定する（ステップ１１０）。データインポートボタン５２９が操作されていない場合（ステップ１１０：ＮＯ）、プロセッサ１０１は、後述するステップ１１６へ処理を移行する。

【0112】

データインポートボタン５２９が操作されている場合（ステップ１１０：ＹＥＳ）、プロセッサ１０１は、ユーザ端末１内から検出モデル生成装置２へアップロードする各種データの選択及びアップロードの実行を行う（ステップ１１２）。そして、プロセッサ１０１は、ステップ１１２にてアップロードされたデータが生成済みのデータセットか否かを判定する（ステップ１１４）。前述のデータが生成済みのデータセットではない場合（ステップ１１４：ＮＯ）、プロセッサ１０１は、後述するステップ１３０へ処理を移行する。一方、データが生成済みのデータセットである場合（ステップ１１４：ＹＥＳ）、プロセッサ１０１は、後述するステップ１４８へ処理を移行する。

【0113】

プロセッサ１０１は、オブジェクトデータアップロードボタン５２７が操作されたか否かを判定する（ステップ１１６）。オブジェクトデータアップロードボタン５２７が操作されていない場合（ステップ１１６：ＮＯ）、プロセッサ１０１は、後述するステップ１２２へ処理を移行する。一方、オブジェクトデータアップロードボタン５２７が操作されている場合（ステップ１１６：ＹＥＳ）、プロセッサ１０１は、ユーザ端末１内から検出モデル生成装置２へアップロードする各種データ（対象物モデルＯＭを生成するためのデータ）の選択及びアップロードの実行を行う（ステップ１１８）。そして、プロセッサ１０１は、ステップ１１８にてアップロードされた各種データを基に対象物モデルＯＭを生成し（ステップ１２０）、後述するステップ１３０へ処理を移行する。

【0114】

プロセッサ１０１は、３Ｄモデルアップロードボタン５２６が操作されたか否かを判定する（ステップ１２２）。３Ｄモデルアップロードボタン５２６が操作されていない場合（ステップ１２２：ＮＯ）、プロセッサ１０１は、既存データセット表示部５３４に表示された既存のデータセットが選択されたか否かを判定する（ステップ１２４）。既存のデータセットが選択されていない場合（ステップ１２４：ＮＯ）、プロセッサ１０１は、ステップ１０６へ処理を移行する。一方、既存のデータセットが選択されている場合（ステップ１２４：ＹＥＳ）、プロセッサ１０１は、選択データセット概要表示部５３０に選択されたデータセットに関する情報を表示する（ステップ１２６）。その後、後述するステップ１２８へ処理を移行する。

【0115】

３Ｄモデルアップロードボタン５２６が操作されている場合（ステップ１２２：ＹＥＳ）、プロセッサ１０１は、ユーザ端末１内から検出モデル生成装置２へアップロードする３Ｄモデルデータの選択及びアップロードの実行を行う（ステップ１２８）。

【0116】

プロセッサ１０１は、データ生成オプション表示部５２４に生成するデータセットのパラメータオプションを編集可能な状態でリスト表示する（ステップ１３０）。そして、プロセッサ１０１は、データセット生成開始ボタン５２８が操作されたか否かを判定する（ステップ１３２）。データセット生成開始ボタン５２８が操作されていない場合（ステップ１３２：ＮＯ）、プロセッサ１０１は、ステップ１３０へ処理を移行する。

【0117】

データセット生成開始ボタン５２８が操作されている場合（ステップ１３２：ＹＥＳ）、プロセッサ１０１は、検出モデル生成装置２にアップロードされたデータを基に、データ生成オプション表示部５２４に表示及び編集されたデータセットのパラメータオプションを踏まえた上でデータセットの生成実行を開始する（ステップ１３４）。

【0118】

プロセッサ１０１は、データ作成状況表示部５３２に生成処理の進捗情報を表示する（ステップ１３６）。そして、プロセッサ１０１は、データセット生成停止ボタン５３８が操作されたか否かを判定する（ステップ１３８）。データセット生成停止ボタン５３８が操作された場合（ステップ１３８：ＹＥＳ）、プロセッサ１０１は、ステップ１０６へ処理を移行する。

【0119】

データセット生成停止ボタン５３８が操作されていない場合（ステップ１３８：ＮＯ）、プロセッサ１０１は、ステータス更新ボタン５３６が操作されたか否かを判定する（ステップ１４０）。ステータス更新ボタン５３６が操作されていない場合（ステップ１４０：ＮＯ）、プロセッサ１０１は、後述するステップ１４４へ処理を移行する。

【0120】

ステータス更新ボタン５３６が操作されている場合（ステップ１４０：ＹＥＳ）、プロセッサ１０１は、データ作成状況表示部５３２に表示される生成処理の進捗情報を更新する（ステップ１４２）。

【0121】

プロセッサ１０１は、データセットの生成処理が終了したか否かを判定する（ステップ１４４）。生成処理が終了していない場合（ステップ１４４：ＮＯ）、プロセッサ１０１は、ステップ１３８へ処理を移行する。

【0122】

生成処理が終了した場合（ステップ１４４：ＹＥＳ）、プロセッサ１０１は、データ作成状況表示部５３２に表示される生成処理の進捗情報を更新する（ステップ１４６）。そして、プロセッサ１０１は、データセットパブリッシュボタン５４０が操作されたか否かを判定する（ステップ１４８）。データセットパブリッシュボタン５４０が操作されていない場合（ステップ１４８：ＮＯ）、プロセッサ１０１は、ステップ１１０の処理へ移行する。

【0123】

データセットパブリッシュボタン５４０が操作された場合（ステップ１４８：ＹＥＳ）、プロセッサ１０１は、生成されたデータセットを検出モデル生成装置２における記憶部２２（図３参照）や図示しないクラウドストレージに保存する（ステップ１５０）。そして、プロセッサ１０１は、図示しない選択画面を表示すると共に、当該選択画面にてメインメニュー画面（図５参照）へ移行するか、本処理（生成処理）画面のトップへ移行するか、次処理（学習処理）へ移行するか、のいずれかのユーザＵの選択操作を受け付ける（ステップ１５２）。メインメニュー画面への移行が選択された際は（ステップ１５２：メインメニュー）、プロセッサ１０１は、ステップ１００へ処理を移行する。本処理（生成処理）画面のトップへの移行が選択された際は、（ステップ１５２：本処理トップ）、プロセッサ１０１は、ステップ１１０へ処理を移行する。次処理（学習処理）への移行が選択された際は（ステップ１５２：次処理）、プロセッサ１０１は、図１０に示されるステップ２００へ処理を移行する。

【0124】

（学習処理画面表示）
プロセッサ１０１は、「機械学習モデルのトレーニング」ＵＩ画面（図７参照）をユーザ端末１の表示装置１Ａ（図１参照）に表示させるように出力する（ステップ２００）。そして、プロセッサ１０１は、既存データセット表示部５５０に検出モデル生成装置２にて既に生成されたデータセットの一覧を選択可能にリスト表示する（ステップ２０２）と共に、既存学習モデル表示部５５４に検出モデル生成装置２にて既に学習処理された機械学習モデルの一覧を選択可能にリスト表示する（ステップ２０４）。

【0125】

プロセッサ１０１は、既存データセット表示部５５０にてデータセットが選択されたか否かを判定する（ステップ２０６）。データセットが選択されていない場合（ステップ２０６：ＮＯ）、プロセッサ１０１は、ステップ２０２へ処理を移行する。

【0126】

データセットが選択された場合（ステップ２０６：ＹＥＳ）、プロセッサ１０１は、トレーニングオプション表示部５６０に学習処理のオプションやパラメータを編集可能な状態にて表示する（ステップ２０８）。

【0127】

プロセッサ１０１は、トレーニング開始ボタン５５２が操作されたか否かを判定する（ステップ２１０）。トレーニング開始ボタン５５２が操作されていない場合（ステップ２１０：ＮＯ）、プロセッサ１０１は、ステップ２０８へ処理を移行する。

【0128】

トレーニング開始ボタン５５２が操作された場合（ステップ２１０：ＹＥＳ）、プロセッサ１０１は、トレーニングオプション表示部５６０に表示及び編集された場合の学習処理のオプションやパラメータを踏まえた上で既存学習モデル表示部５５４にてユーザにより選択された機械学習モデルの学習処理の実行を開始する（ステップ２１２）。

【0129】

プロセッサ１０１は、トレーニング状況表示部５５８にて学習処理を実施する機械学習モデルに関する情報や学習処理に使用されるデータセットに関する情報を表示する（ステップ２１４）と共に、トレーニング進捗表示部５５６にて機械学習モデルの学習処理の進捗情報を表示する（ステップ２１６）。

【0130】

プロセッサ１０１は、学習処理停止ボタン５６４が操作されたか否かを判定する（ステップ２１８）。学習処理停止ボタン５６４が操作された場合（ステップ２１８：ＹＥＳ）、プロセッサ１０１は、ステップ２００へ処理を移行する。

【0131】

学習処理停止ボタン５６４が操作されていない場合（ステップ２１８：ＮＯ）、プロセッサ１０１は、ステータス更新ボタン５６２が操作されたか否かを判定する（ステップ２２０）。ステータス更新ボタン５６２が操作されていない場合（ステップ２２０：ＮＯ）、プロセッサ１０１は、後述するステップ２２４へ処理を移行する。

【0132】

ステータス更新ボタン５６２が操作された場合（ステップ２２０：ＹＥＳ）、プロセッサ１０１は、トレーニング進捗表示部５５６に表示される機械学習モデルの学習処理の進捗情報の表示を更新する（ステップ２２２）。そして、プロセッサ１０１は、機械学習モデルの学習処理が終了したか否かを判定する（ステップ２２４）。機械学習モデルの学習処理が終了していない場合（ステップ２２４：ＮＯ）、プロセッサ１０１は、ステップ２１８へ処理を移行する。

【0133】

機械学習モデルの学習処理が終了した場合（ステップ２２４：ＹＥＳ）、プロセッサ１０１は、トレーニング進捗表示部５５６に表示される機械学習モデルの学習処理の進捗情報を更新する（ステップ２２６）。

【0134】

プロセッサ１０１は、学習モデルパブリッシュボタン５６６が操作されたか否かを判定する（ステップ２２８）。学習モデルパブリッシュボタン５６６が操作されていない場合（ステップ２２８：ＮＯ）、プロセッサ１０１は、ステップ２００へ処理を移行する。

【0135】

学習モデルパブリッシュボタン５６６が操作された場合（ステップ２２８：ＹＥＳ）、プロセッサ１０１は、学習処理された機械学習モデルを検出モデル生成装置２における記憶部２２（図３参照）や図示しないクラウドストレージに保存する（ステップ２３０）。そしてプロセッサ１０１は、図示しない選択画面を表示すると共に、当該選択画面にてメインメニュー画面（図５参照）へ移行するか、本処理（学習処理）画面のトップへ移行するか、次処理（モデル取得処理）へ移行するか、のいずれかのユーザＵの選択操作を受け付ける（ステップ２３２）。メインメニュー画面への移行が選択された際は（ステップ２３２：メインメニュー）、プロセッサ１０１は、ステップ１００へ処理を移行する。本処理（学習処理）画面のトップへの移行が選択された際は、（ステップ２３２：本処理トップ）、プロセッサ１０１は、ステップ２００へ処理を移行する。次処理（モデル取得処理）への移行が選択された際は（ステップ２３２：次処理）、プロセッサ１０１は、図１１に示される後述するステップ３００へ処理を移行する。

【0136】

（モデル取得処理画面表示）
プロセッサ１０１は、「検証及び機械学習モデルの取得」ＵＩ画面（図８参照）をユーザ端末１の表示装置１Ａ（図１参照）に表示させるように出力する（ステップ３００）。そして、プロセッサ１０１は、既存学習モデル表示部５７６に既に学習処理された機械学習モデルの一覧を選択可能にリスト表示する（ステップ３０２）。

【0137】

プロセッサ１０１は、既存学習モデル表示部５７６にて機械学習モデルが選択されたか否かを判定する（ステップ３０４）。機械学習モデルが選択されていない場合（ステップ３０４：ＮＯ）、プロセッサ１０１は、ステップ３０２へ処理を移行する。

【0138】

機械学習モデルが選択されている場合（ステップ３０４：ＹＥＳ）、プロセッサ１０１は、機械学習モデル説明部５８０に選択された機械学習モデルに関する情報を表示する（スップ３０６）。

【0139】

プロセッサ１０１は、推論用データアップロードボタン５８６が操作されたか否かを判定する（ステップ３０８）。推論用データアップロードボタン５８６が操作されていない場合（ステップ３０８：ＮＯ）、プロセッサ１０１は、ステップ３０４へ処理を移行する。

【0140】

推論用データアップロードボタン５８６が操作されている場合（ステップ３０８：ＹＥＳ）、プロセッサ１０１は、既存学習モデル表示部５７６にて選択された機械学習モデルの検証を行う際に使用するデータを、ユーザ端末１から検出モデル生成装置２へアップロードする（ステップ３１０）と共に、検証処理の実行を開始する（ステップ３１２）。

【0141】

プロセッサ１０１は、推論状況表示部５８４に機械学習モデルに対して推論データを用いて検証を実施する際の検証処理情報を表示する（ステップ３１４）。そして、プロセッサ１０１は、推論状況更新ボタン５８２が操作されたか否かを判定する（ステップ３１６）。推論状況更新ボタン５８２が操作されていない場合（ステップ３１６：ＮＯ）、プロセッサ１０１は、後述するステップ３２０へ処理を移行する。

【0142】

推論状況更新ボタン５８２が操作された場合（ステップ３１６：ＹＥＳ）、プロセッサ１０１は、推論状況表示部５８４に表示される検証処理状況を更新する（ステップ３１８）。そして、プロセッサ１０１は、検証処理が終了したか否かを判定する（ステップ３２０）。検証処理が終了していない場合（ステップ３２０：ＮＯ）、プロセッサ１０１は、ステップ３１６へ処理を移行する。

【0143】

検証処理が終了した場合（ステップ３２０：ＹＥＳ）、プロセッサ１０１は、推論状況表示部５８４に表示される検証処理情報の表示を更新する（ステップ３２２）。そして、プロセッサ１０１は、機械学習モデルダウンロードボタン５７８が操作されたか否かを判定する（ステップ３２４）。機械学習モデルダウンロードボタン５７８が操作されていない場合（ステップ３２４：ＮＯ）。プロセッサ１０１は、後述するステップ３２８へ処理を移行する。

【0144】

機械学習モデルダウンロードボタン５７８が操作された場合（ステップ３２４：ＹＥＳ）、プロセッサ１０１は、既存学習モデル表示部５７６にて選択された機械学習モデルを検出モデル生成装置２からユーザ端末１へダウンロードする（ステップ３２６）。

【0145】

プロセッサ１０１は、推論結果データダウンロードボタン５８８が操作されたか否かを判定する（ステップ３２８）。推論結果データダウンロードボタン５８８が操作されていない場合（ステップ３２８：ＮＯ）、プロセッサ１０１は、後述するステップ３３２へ処理を移行する。

【0146】

推論結果データダウンロードボタン５８８が操作された場合（ステップ３２８：ＹＥＳ）、プロセッサ１０１は、検証が行われた機械学習モデルの出力結果を含むデータを、検出モデル生成装置２からユーザ端末１へダウンロードする（ステップ３３０）。

【0147】

プロセッサ１０１は、機械学習モデル展開ボタン５９０が操作されたか否かを判定する（ステップ３３２）。機械学習モデル展開ボタン５９０が操作されていない場合（ステップ３３２：ＮＯ）、プロセッサ１０１は、ステップ３００へ処理を移行する。一方、機械学習モデル展開ボタン５９０が操作された場合（ステップ３３２：ＹＥＳ）、プロセッサ１０１は、検証が実施された機械学習モデルを他の情報処理装置（一例として制御装置３２）に学習済み検出モデルとして展開（送信する（ステップ３３４）。そしてプロセッサ１０１は、図示しない選択画面を表示すると共に、当該選択画面にてメインメニュー画面（図５参照）へ移行するか、本処理（モデル取得処理）画面のトップへ移行するか、本一連の処理を終了するか、のいずれかのユーザＵの選択操作を受け付ける（ステップ３３６）。メインメニュー画面への移行が選択された際は（ステップ３３６：メインメニュー）、プロセッサ１０１は、ステップ１００へ処理を移行する。本処理（モデル取得処理）画面のトップへの移行が選択された際は、（ステップ３３６：本処理トップ）、プロセッサ１０１は、ステップ３００へ処理を移行する。本一連の処理の終了が選択された際は（ステップ３３６：終了）、プロセッサ１０１は、本実施形態に係る情報処理プログラムＪＰの処理を終了する。

【0148】

なお、プロセッサ１０１により学習済み機械学習モデルが展開される際は、予め展開先として設定された他の情報処理装置へ当該機械学習モデルを自動的に送信可能とされている。また、本実施形態では、一例として制御装置３２の記憶部２２に展開された機械学習モデルにより選択したピッキング対象をピッキングできるようにロボットアーム３１を制御する。ロボットアーム３１の制御方法として、既存の任意の方法を利用できる。

【0149】

＜本実施形態の作用・効果＞
次に、本実施形態の作用並びに効果を説明する。

【0150】

本実施形態に係る情報処理方法によれば、生成処理、学習処理及びモデル取得処理のそれぞれの処理において、受付部と経過状況表示部と指示取得部とがユーザ端末１の表示装置１Ａに表示されるように出力する。したがって、ユーザは、各処理において処理の実行に必要なデータの入力や操作等の指示、処理の経過状態及び保存を視覚的に把握及び実施することができる。すなわち、表示装置１Ａに表示される受付部、経過状況表示部及び指示取得部をタッチ操作、クリック操作又は視認することが可能となるので、各処理における必要な作業等及びそれに対応したコマンドを予め理解することなく状況把握及び操作することができる。これにより、機械学習モデルの学習及び利活用を容易に行うことができる。

【0151】

また、情報処理方法によれば、図６に示されるように、生成処理において、受付部かつデータ入力受付部としての３Ｄモデルアップロードボタン５２６と、受付部かつデータ入力受付部としてのオブジェクトデータアップロードボタン５２７と、受付部かつ生成開始指示部としてのデータセット生成開始ボタン５２８と、経過状況表示部かつデータ生成状況表示部としてのデータ作成状況表示部５３２と、指示取得部かつデータセット取得部としてのデータセットダウンロードボタン５３９と、指示取得部かつデータセット取得部としてのデータセットパブリッシュボタン５４０とが表示装置１Ａに表示される。したがって、生成処理においてデータセットを生成する際に必要なデータの入力、データセットの生成開始、データセットの生成処理の進捗把握、生成処理済みのデータセットの取得及び生成処理済みのデータセットの保存をコマンド操作することなく容易に行うことができる。

【0152】

さらに、情報処理方法によれば、生成処理において、３Ｄモデルアップロードボタン５２６と、オブジェクトデータアップロードボタン５２７と、データセット生成開始ボタン５２８と、データ作成状況表示部５３２と、データセットダウンロードボタン５３９と、データセットパブリッシュボタン５４０とが作業時系列順にて表示装置１Ａに表示される。すなわち、一般的に生成処理における作業時系列は、データセットを生成する際に必要なデータの入力を行ってからデータセットの生成開始操作後、データセットの生成処理の進捗を確認した上で、生成処理済みのデータセットの取得及び生成処理済みのデータセットの保存を行う。この作業時系列に沿うよう、それぞれの作業工程に対応するボタン又は表示部は、最初の工程に対応する３Ｄモデルアップロードボタン５２６及びオブジェクトデータアップロードボタン５２７を除いて前工程の作業工程に対応するボタン又は表示部の下方側又は右側に配置されている。一般的にユーザは表示装置１Ａを左側から右側、上側から下側へ向かって視認することから、ユーザは直感的に作業時系列に沿って操作及び確認作業を行うことができる。

【0153】

さらにまた、情報処理方法によれば、図７に示されるように、学習処理において、受付部かつ学習処理開始指示部としてのトレーニング開始ボタン５５２と、経過状況表示部かつ学習処理状況表示部としてのトレーニング進捗表示部５５６と、指示取得部かつ機械学習モデル保存部としての学習モデルパブリッシュボタン５６６とが表示装置１Ａに表示される。したがって、学習処理において機械学習モデルの学習処理の実行、機械学習モデルの学習処理の進捗把握、学習処理済みの機械学習モデルの保存をコマンド操作することなく容易に行うことができる。

【0154】

また、情報処理方法によれば、学習処理において、トレーニング開始ボタン５５２と、トレーニング進捗表示部５５６と、学習モデルパブリッシュボタン５６６とが作業時系列順にて表示装置１Ａに表示される。すなわち、一般的に学習処理における作業時系列は、機械学習モデルに学習させる学習処理開始の指示後、機械学習モデルの学習処理の進捗を確認した上で、学習処理済みの機械学習モデルの保存を行う。この作業時系列に沿うよう、図７に示されるように、それぞれの作業工程に対応するボタン又は表示部は、最初の工程に対応するトレーニング開始ボタン５５２を除いて前工程の作業工程に対応するボタン又は表示部の右側に配置されている。一般的にユーザは表示装置１Ａを左側から右側へ向かって視認することから、ユーザは直感的に作業時系列に沿って操作及び確認作業を行うことができる。

【0155】

さらに、情報処理方法によれば、図８に示されるように、モデル取得処理において、受付部かつ機械学習モデル取得部としての機械学習モデルダウンロードボタン５７８が表示装置１Ａに表示される。したがって、モデル取得処理において学習済みの機械学習モデルの検出モデル生成装置２からユーザ端末１へのダウンロードの実行をコマンド操作することなく容易に行うことができる。

【0156】

さらにまた、情報処理方法によれば、モデル取得処理において、モデル概要表示部としての機械学習モデル説明部５８０が表示装置１Ａに表示される。したがって、モデル取得処理において機械学習モデルの概要把握をコマンド操作することなく容易に行うことができる。

【0157】

また、情報処理方法によれば、モデル取得処理において、テストデータ受付部としての推論用データアップロードボタン５８６と、検証状況表示部としての推論状況更新ボタン５８２と、検証指示取得部としての推論結果データダウンロードボタン５８８と、モデル展開部としての機械学習モデル展開ボタン５９０とが表示装置１Ａに表示される。したがって、モデル取得処理において、機械学習モデルの検証を実施するためのサンプルデータセットの入力、機械学習モデルの検証状況の把握、機械学習モデルの検証結果に関する情報の把握及び機械学習モデルの他の情報処理装置へ送信をコマンド操作することなく容易に行うことができる。

【0158】

さらに、情報処理方法によれば、図５に示されるように、検出モデル生成装置２による初期状態時においては、選択表示部としての生成処理選択領域５０２、学習処理選択領域５０４及びモデル取得処理選択領域５０６が表示装置１Ａに表示される。したがって、ユーザは機械学習モデルの学習及び利活用において実施したい処理の選択が容易となる。

【0159】

また、本実施形態に係る情報処理システムによれば、生成処理、学習処理及びモデル取得処理のそれぞれの処理において、受付部と経過状況表示部と指示取得部と制御部２３（図３参照）とを有する。したがって、ユーザは、各処理において処理の実行に必要なデータの入力や操作等の指示、処理の経過状態及び保存を視覚的に把握及び実施することができる。すなわち、表示装置１Ａに表示される受付部、経過状況表示部及び指示取得部をタッチ操作、クリック操作又は視認することが可能となるので、各処理における必要な作業等及びそれに対応したコマンドを予め理解することなく状況把握及び操作することができる。これにより、機械学習モデルの学習及び利活用を容易に行うことができる。

【0160】

さらに、本実施形態に係る情報処理プログラムＪＰによれば、生成処理、学習処理及びモデル取得処理の少なくとも一つの処理の実行指示が入力されたか否かを判定するステップと、前記ステップにて実行指示の入力に基づき、処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、処理の経過状態を表す経過状況表示部と、処理結果の取得及び公開の少なくとも一方の指示を受け付ける取得部と、の少なくとも一つをユーザーインターフェースに表示させるように出力するステップと、をコンピュータに実行させる。したがって、ユーザは、各処理において処理の実行に必要なデータの入力や操作等の指示、処理の経過状態及び保存を視覚的に把握及び実施することができる。すなわち、表示装置１Ａに表示される受付部、経過状況表示部及び指示取得部をタッチ操作、クリック操作又は視認することが可能となるので、各処理における必要な作業等及びそれに対応したコマンドを予め理解することなく状況把握及び操作することができる。これにより、機械学習モデルの学習及び利活用を容易に行うことができる。

【0161】

なお、本実施形態では、生成処理、学習処理及びモデル取得処理のすべての処理で受付部、計画状況取得部、指示取得部がユーザ端末１の表示装置１Ａに表示されるよう構成されているが、これに限らず、受付部、計画状況取得部、指示取得部のうちどれか一つ又は二つがユーザ端末１の表示装置１Ａに表示されるようにしてもよい。

【0162】

また、上述の実施形態では、生成処理及び学習処理において受付部、計画状況取得部、指示取得部が作業時系列に配置された構成とされているが、これに限らず、生成処理、学習処理及びモデル取得処理のいずれかにおいて、作業工程の変更や作業工程のカスタマイズ、表示装置１Ａのサイズに応じて付部、計画状況取得部、指示取得部の配置を変更する構成としてもよい。

【0163】

＜付記＞
本実施形態は、以下の開示を含む。

【0164】

（付記１） 情報処理装置が実行する情報処理方法であって、
トレーニングデータセットを生成する生成処理、機械学習モデルに前記トレーニングデータセットを学習させる学習処理及び学習済みの前記機械学習モデルを取得するモデル取得処理の少なくとも一つの処理において、処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、処理の経過情報を表す経過状況表示部と、処理結果の取得及び保存の少なくとも一方の指示を受け付ける指示取得部との少なくとも一つが、ユーザーインターフェースにそれぞれ表示されるように出力するステップと、
を含む情報処理方法。

【0165】

（付記２）
前記情報処理装置は、前記生成処理において、
前記受付部としてデータ入力を受け付けるデータ入力受付部及び前記トレーニングデータセットの生成開始の指示を受け付ける生成開始指示部と、
前記経過状況表示部として前記トレーニングデータセットの生成処理進捗情報を表すデータ生成状況表示部と、
前記指示取得部として生成処理が実行された前記トレーニングデータセットを取得及び保存の少なくとも一方の指示を受け付けるデータセット取得部と、
を表示させる、
付記１に記載の情報処理方法。

【0166】

（付記３）
前記情報処理装置は、前記生成処理において、前記データ入力受付部と、前記生成開始指示部と、前記データ生成状況表示部と、前記データセット取得部とを作業時系列順に前記ユーザーインターフェースに表示させるよう出力する、
付記２に記載の情報処理方法。

【0167】

（付記４）
前記情報処理装置は、前記学習処理において、
前記受付部として前記トレーニングデータセットを前記機械学習モデルに学習させる学習処理開始の指示を受け付ける学習処理開始指示部と、
前記経過状況表示部として前記機械学習モデルの学習処理進捗情報を表す学習処理状況表示部と、
前記指示取得部として学習処理が実行された前記機械学習モデルの保存の指示を受け付ける機械学習モデル保存部と、
を表示させる、
付記１～付記３のいずれか一項に記載の情報処理方法。

【0168】

（付記５）
前記情報処理装置は、前記学習処理において、前記学習処理開始指示部と、前記学習処理状況表示部と、前記機械学習モデル保存部とを作業時系列順に前記ユーザーインターフェースに表示させるよう出力する、
付記４に記載の情報処理方法。

【0169】

（付記６）
前記情報処理装置は、前記モデル取得処理において、
前記受付部として前記機械学習モデルの取得の指示を受け付ける機械学習モデル取得部と、
を表示させる、
付記１～付記５のいずれか一項に記載の情報処理方法。

【0170】

（付記７）
前記情報処理装置は、前記モデル取得処理において、
前記機械学習モデルの概要を表示するモデル概要表示部と、
を含んで一つのユーザーインターフェースに表示させる、
付記１～付記６のいずれか一項に記載の情報処理方法。

【0171】

（付記８）
前記情報処理装置は、前記モデル取得処理において、
前記機械学習モデルの検証を実施するためのサンプルデータセットの入力を受け付けるテストデータ受付部と、
前記機械学習モデルの検証状況を表す検証状況表示部と、
前記機械学習モデルの検証結果に関する情報を得るための検証指示取得部と、
前記機械学習モデルを他の情報処理装置へ送信するモデル展開部と、
の少なくとも一つを含んで一つのユーザーインターフェースに表示させる、
付記１～付記７のいずれか一項に記載の情報処理方法。

【0172】

（付記９）
前記情報処理装置は、前記生成処理、前記学習処理及び前記モデル取得処理のいずれかを選択可能に表示させる選択表示部を前記ユーザーインターフェースに表示するように出力するステップを有する、
付記１～付記８のいずれか一項に記載の情報処理方法。

【0173】

（付記１０）
トレーニングデータセットを生成する生成処理、機械学習モデルに前記トレーニングデータセットを学習させる学習処理及び学習済みの前記機械学習モデルを取得するモデル取得処理の少なくとも一つの処理において、
処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、
処理の経過情報を表す経過状況表示部と、処理結果の取得及び保存の少なくとも一方の指示を受け付ける指示取得部と、
前記受付部、前記経過状況表示部及び前記指示取得部の少なくとも一つが、ユーザーインターフェースにそれぞれ表示されるように出力する表示処理部と、
を有する情報処理システム。

【0174】

（付記１１）
トレーニングデータセットを生成する生成処理、機械学習モデルに前記トレーニングデータセットを学習させる学習処理及び学習済みの前記機械学習モデルを取得するモデル取得処理の少なくとも一つの処理の実行指示が入力されたか否かを判定するステップと、
前記ステップにて実行指示の入力に基づき、処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、処理の経過情報を表す経過状況表示部と、処理結果の取得及び公開の少なくとも一方の指示を受け付ける指示取得部と、の少なくとも一つをユーザーインターフェースに表示させるように出力するステップと、
をコンピュータに実行させるためのプログラム。

【0175】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0176】

２３ 表示処理部（制御部）
１００ 情報処理装置
１０６ ユーザーインターフェース
５２６ 受付部、データ入力受付部（３Ｄモデルアップロードボタン）
５２７ 受付部、データ入力受付部（オブジェクトデータアップロードボタン）
５２８ 受付部、生成開始指示部（データセット生成開始ボタン）
５３２ 経過状況表示部、データ生成状況表示部（データ作成状況表示部）
５３９ 指示取得部、データセット取得部（データセットダウンロードボタン）
５４０ 指示取得部、データセット取得部（データセットパブリッシュボタン）
５５２ 受付部、学習処理開始指示部（トレーニング開始ボタン）
５５６ 経過状況表示部、学習処理状況表示部（トレーニング進捗表示部）
５６６ 指示取得部、機械学習モデル保存部（学習モデルパブリッシュボタン）
５７８ 受付部、機械学習モデル取得部（機械学習モデルダウンロードボタン）
５８２ 検証状況表示部（推論状況更新ボタン）
５８６Ａ テストデータ受付部（推論用動画像データアップロードボタン）
５８６Ｂ テストデータ受付部（推論用模擬データアップロードボタン）
５８８ 検証指示取得部（推論結果データダウンロードボタン）
５９０ モデル展開部（機械学習モデル展開ボタン）
ＤＭ 検出モデル（機械学習モデル）
ＪＰ 情報処理プログラム（プログラム）

【要約】

【課題】 機械学習モデルの学習及び利活用を容易に行うことができる。
【解決手段】
一実施形態にかかる情報処理方法は、情報処理装置が実行する情報処理方法であって、トレーニングデータセットを生成する生成処理、機械学習モデルに前記トレーニングデータセットを学習させる学習処理及び学習済みの前記機械学習モデルを取得するモデル取得処理の少なくとも一つの処理において、処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、処理の経過状態を表す経過状況表示部と、処理結果の取得及び公開の少なくとも一方の指示を受け付ける取得部との少なくとも一つが、ユーザーインターフェースにそれぞれ表示されるように出力するステップと、を含む。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】