特開 2024-175376 情報処理装置、情報処理方法、ロボットシステム、物品の製造方法、プログラム、及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175376

(43)【公開日】2024-12-18

(54)【発明の名称】情報処理装置、情報処理方法、ロボットシステム、物品の製造方法、プログラム、及び記録媒体

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241211BHJP

   G06N 3/09 20230101ALI20241211BHJP

【ＦＩ】

G06N20/00 130

G06N3/09

【審査請求】未請求

【請求項の数】22

【出願形態】ＯＬ

(21)【出願番号】P 2023093115

(22)【出願日】2023-06-06

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003133

【氏名又は名称】弁理士法人近島国際特許事務所

(72)【発明者】

【氏名】村川 圭介

(57)【要約】

【課題】学習データの取得に要するユーザの負担を軽減する。
【解決手段】情報処理装置は、情報処理部を備え、前記情報処理部は、２種類以上のデータを取得し、前記２種類以上のデータのうち少なくとも１つを所定の機械学習に用いられる形式に変換して学習データを取得する。
【選択図】図２

【特許請求の範囲】

【請求項1】

情報処理部を備える情報処理装置であって、
前記情報処理部は、
２種類以上のデータを取得し、
前記２種類以上のデータのうち少なくとも１つを所定の機械学習に用いられる形式に変換して学習データを取得する、
ことを特徴とする情報処理装置。

【請求項2】

前記情報処理部は、前記２種類以上のデータをそれぞれ２つ以上のセンサから取得する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記情報処理部は、前記学習データを用いて前記所定の機械学習により学習する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記情報処理部は、前記所定の機械学習により学習済みの機械学習モデルを取得する、
ことを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記学習済みの機械学習モデルに入力される入力データは、制御対象に含まれるセンサから得られるデータを含む、
ことを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記所定の機械学習に用いられる形式は、前記制御対象に含まれるセンサから得られるデータの形式である、
ことを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記制御対象がロボットである、
ことを特徴とする請求項５に記載の情報処理装置。

【請求項8】

前記情報処理部は、前記制御対象に含まれるセンサから得られるデータを含む学習データを用いて、前記所定の機械学習により再学習する、
ことを特徴とする請求項５に記載の情報処理装置。

【請求項9】

前記所定の機械学習は、教師あり学習であり、
前記学習データに含まれる２種類以上のデータのうちの少なくとも１つはラベルデータである、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項10】

前記情報処理部は、前記学習データに含まれる前記２種類以上のデータの各々を、時系列に取得する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項11】

前記情報処理部は、
前記２種類以上のデータの各々を時系列に取得し、
前記２種類以上のデータのうち少なくとも１つを前記所定の機械学習に用いられる形式に変換し、
変換後のデータを含む２種類以上のデータを互いに時刻毎に紐づけして時刻毎の複数のデータセットを取得し、
前記複数のデータセットの中から選択されたデータセットにより前記学習データを取得する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項12】

前記情報処理部は、前記複数のデータセットの中から前記学習データに用いられるデータセットの選択を受け付けるユーザインタフェースを、表示部に表示させる、
ことを特徴とする請求項１１に記載の情報処理装置。

【請求項13】

前記情報処理部は、前記所定の機械学習に用いる機械学習モデルの選択を受け付けるユーザインタフェースを、表示部に表示させる、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項14】

前記情報処理部は、取得するデータの種類の選択を受け付けるユーザインタフェースを、表示部に表示させる、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項15】

前記２つ以上のセンサは、イメージセンサを含む、
ことを特徴とする請求項２に記載の情報処理装置。

【請求項16】

前記２つ以上のセンサは、ユーザが操作可能なツールに配置されたセンサを含む、
ことを特徴とする請求項２に記載の情報処理装置。

【請求項17】

前記２種類以上のデータは異なる種類のデータである、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項18】

情報処理方法であって、
２種類以上のデータを取得し、
前記２種類以上のデータのうち少なくとも１つを所定の機械学習に用いられる形式に変換して学習データを取得する、
ことを特徴とする情報処理方法。

【請求項19】

請求項１乃至１７のいずれか１項に記載の情報処理装置と、
前記情報処理装置に制御されるロボットと、を備える、
ことを特徴とするロボットシステム。

【請求項20】

請求項１９に記載のロボットシステムを用いて物品を製造する、
ことを特徴とする物品の製造方法。

【請求項21】

請求項１８に記載の情報処理方法をコンピュータに実行させるためのプログラム。

【請求項22】

請求項２１に記載のプログラムを記録した、コンピュータによって読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

情報処理の技術に関する。

【背景技術】

【0002】

ロボットから得られる複数のセンサ情報を学習データとして機械学習するマルチモーダルＡＩ技術が知られている。この技術によって、人が行っていた作業をロボットに実現させることができる。特許文献１には、マルチモーダル認識システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０７６９１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来、機械学習に用いられる学習データを取得するのにユーザの負担が大きかったため、その負担を軽減することが求められている。

【0005】

本開示は、学習データの取得に要するユーザの負担を軽減することにある。

【課題を解決するための手段】

【0006】

本開示の第１態様は、情報処理部を備える情報処理装置であって、前記情報処理部は、２種類以上のデータを取得し、前記２種類以上のデータのうち少なくとも１つを所定の機械学習に用いられる形式に変換して学習データを取得する、ことを特徴とする情報処理装置である。

【0007】

本開示の第２態様は、情報処理方法であって、２種類以上のデータを取得し、前記２種類以上のデータのうち少なくとも１つを所定の機械学習に用いられる形式に変換して学習データを取得する、ことを特徴とする情報処理方法である。

【発明の効果】

【0008】

本開示によれば、学習データの取得に要するユーザの負担を軽減することができる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係るシステムの一例であるロボットシステムの概略図である。

【図2】第１実施形態に係るロボットシステムの制御ブロック図である。

【図3】第１実施形態に係るセンサデータの説明図である。

【図4】第１実施形態に係る情報処理方法の説明図である。

【図5】第１実施形態に係る学習データの説明図である。

【図6】第１実施形態に係る学習フェーズの一例を示すフローチャートである。

【図7】第１実施形態に係る機械学習処理の説明図である。

【図8】第１実施形態に係る推論フェーズの一例を示すフローチャートである。

【図9】第１実施形態に係る学習モデルを作成するＧＵＩを示す模式図である。

【図10】第２実施形態に係る情報処理方法の説明図である。

【発明を実施するための形態】

【0010】

以下、本開示の例示的な実施形態について、図面を参照しながら詳細に説明する。

【0011】

［第１実施形態］
図１は、第１実施形態に係るシステムの一例であるロボットシステム１の概略図である。ロボットシステム１は、情報処理装置１００と、自動生産に用いられる複数のＦＡ機器と、を備える。ロボットシステム１は、物品の製造に用いられる。

【0012】

ロボットシステム１は、ＦＡ機器として、プログラマブルロジックコントローラ（ＰＬＣ）１２０、カメラ１３１、ロボットハンド１３２、センサ１３３、ロボットアーム１３４、画像処理装置１２５、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）装置１２６、機械学習用のカメラ１３７、機械学習用のセンサ１３８、及びコントローラ１２１～１２８を備える。

【0013】

ロボットシステム１は、制御環境１４０と学習環境１４１とに分けられる。制御環境１４０は、自動生産の際に実際に制御されるＦＡ機器を含む。例えば制御環境１４０は、ＰＬＣ１２０、カメラ１３１、ロボットハンド１３２、センサ１３３、ロボットアーム１３４、画像処理装置１２５、ＡＩ装置１２６、及びコントローラ１２１～１２６を含む。学習環境１４１は、模擬動作を情報処理装置１００に機械学習させる際に必要なＦＡ機器を含む。例えば学習環境１４１は、カメラ１３７、センサ１３８、及びコントローラ１２７及び１２８を含む。第１実施形態では、ロボットシステム１は、機械学習に用いられる２種類以上のセンサ、即ち２つ以上のセンサとして、カメラ１３７およびセンサ１３８を有する。

【0014】

ＰＬＣ１２０は、カメラコントローラ１２１、ハンドコントローラ１２２、センサコントローラ１２３、ロボットコントローラ１２４、画像処理装置１２５、ＡＩ装置１２６、カメラコントローラ１２７、及びセンサコントローラ１２８を統括的に制御する。カメラコントローラ１２１は、カメラ１３１を制御するコントローラである。ハンドコントローラ１２２は、ロボットハンド１３２を制御するコントローラである。センサコントローラ１２３は、センサ１３３を制御するコントローラである。ロボットコントローラ１２４は、ロボットアーム１３４を制御するコントローラである。カメラコントローラ１２７は、カメラ１３７を制御するコントローラである。センサコントローラ１２８は、センサ１３８を制御するコントローラである。なお、情報処理装置１００がＰＬＣ１２０を含む複数のＦＡ機器を統括的に制御してもよい。

【0015】

カメラ１３１は、イメージセンサを有するセンサであり、制御環境１４０においてワークなどを撮像するのに用いられる。ロボットハンド１３２は、エンドエフェクタの一例であり、ロボットアーム１３４に取り付けられる。ロボットハンド１３２は、ワークを保持可能に構成されている。センサ１３３は、ロボットハンド１３２に内蔵されている。ロボットアーム１３４は、例えば産業用のロボットアームである。ロボットアーム１３４及びロボットハンド１３２を有してロボット１３０が構成されている。画像処理装置１２５及びＡＩ装置１２６は、それぞれコンピュータで構成されている。カメラ１３７は、イメージセンサを有するセンサであり、学習環境１４１においてユーザ３０２の模擬動作を撮像するのに用いられる。センサ１３８は、模擬動作中の状態をセンシングするためのセンサである。センサ１３８は、ユーザ３０２が操作可能なツール３０３に配置されている。ツール３０３は、例えばユーザ３０２が装着可能な装着具である。

【0016】

ＰＬＣ１２０、カメラコントローラ１２１、ハンドコントローラ１２２、センサコントローラ１２３、ロボットコントローラ１２４、画像処理装置１２５、ＡＩ装置１２６、カメラコントローラ１２７、及びセンサコントローラ１２８は、情報処理装置１００に、所定の規格に準拠した接続方式で接続されている。

【0017】

なお、制御環境１４０に属するＦＡ機器及びそれを制御するコントローラが機械学習に用いられる場合には、学習環境１４１に属するＦＡ機器及びそれを制御するコントローラは、省略可能である。即ち、学習環境１４１の一部または全部が制御環境１４０に含まれていてもよい。例えば、カメラ１３７及びセンサ１３８が省略される場合、ロボットシステム１は、機械学習に用いられる２種類以上のセンサ、即ち２つ以上のセンサとして、例えばカメラ１３１及びセンサ１３３を有していることになる。

【0018】

情報処理装置１００は、コンピュータで構成されている。情報処理装置１００は、プロセッサの一例であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１を備える。ＣＰＵ１０１は、プログラム１１０を実行することにより情報処理部として機能する。また、情報処理装置１００は、記憶部としてＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）１０４、及び入出力インタフェースであるＩ／Ｏ１０５を備える。また、情報処理装置１００は表示部の一例であるディスプレイ１０６と、入力部の一例であるマウス１０７及びキーボード１０８と、を有する。ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＳＳＤ１０４、Ｉ／Ｏ１０５、ディスプレイ１０６、マウス１０７、及びキーボード１０８は、バスにより互いにデータ伝送可能に接続されている。

【0019】

ＲＯＭ１０２には、コンピュータの動作に関する基本プログラムが格納されている。ＲＡＭ１０３は、ＣＰＵ１０１の演算処理結果など、各種データを一時的に記憶する記憶装置である。ＳＳＤ１０４には、ＣＰＵ１０１の演算処理結果や外部から取得した各種データなどが記録されると共に、ＣＰＵ１０１に各種処理を実行させるためのプログラム１１０が記録されている。プログラム１１０は、ＣＰＵ１０１が実行可能なアプリケーションソフトウェアである。Ｉ／Ｏ１０５は、外部機器とのインタフェースである。また、Ｉ／Ｏ１０５には、記録ディスクや記憶デバイス等のリムーバブルメモリ１０９が接続可能である。Ｉ／Ｏ１０５は、リムーバブルメモリ１０９に記録された各種データやプログラム等を読み出すことができる。

【0020】

なお、情報処理装置１００は、記憶デバイスとしてＳＳＤ１０４を備えるが、これに限定されるものではない。情報処理装置１００が備える記憶デバイスは例えばＨＤＤであってもよい。

【0021】

また、本実施形態では、コンピュータによって読み取り可能な非一時的な記録媒体がＳＳＤ１０４であり、ＳＳＤ１０４にプログラム１１０が記録されているが、これに限定されるものではない。プログラム１１０は、コンピュータによって読み取り可能な非一時的な記録媒体であれば、いかなる記録媒体に記録されていてもよい。プログラム１１０をコンピュータに供給するための記録媒体としては、リムーバブルメモリ１０９、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、磁気テープ、不揮発性メモリ等を用いることができる。

【0022】

情報処理装置１００は、ユーザ、例えばエンドユーザがロボットシステム１のシステム制御のプログラミングを行うのに用いることができる。

【0023】

図２は、第１実施形態に係るロボットシステム１の制御ブロック図である。図１に示す情報処理装置１００のＣＰＵ１０１は、プログラム１１０を実行することにより、情報処理部２００として機能する。情報処理部２００は、データ形式変換部２１０、指令変換部２４０及び学習機能部２６０を含む。学習機能部２６０は、学習データ抽出部２６１と、学習データ生成部２６２と、学習部２６３と、を有する。

【0024】

第１実施形態では、学習部２６３は、２種類以上のデータを用いて機械学習を行うことで、マルチモーダルＡＩの学習モデル２１９を生成する。学習モデル２１９は、学習済みの機械学習モデルである。

【0025】

ＰＬＣ１２０、カメラコントローラ１２１、ハンドコントローラ１２２、センサコントローラ１２３、ロボットコントローラ１２４、画像処理装置１２５、ＡＩ装置１２６、カメラコントローラ１２７、及びセンサコントローラ１２８のそれぞれは、対応する仕様の指令に基づいて処理を実行する。

【0026】

例えば、ＰＬＣ１２０には、ラダープログラムを実行するソフトウェア２５０がインストールされている。ＰＬＣ１２０は、専用のプログラミング言語で作成された指令ＣＯＭ０に基づいて、システム全体の制御処理を実行する。

【0027】

カメラコントローラ１２１には、カメラコントロール専用のソフトウェア２５１がインストールされている。カメラコントローラ１２１は、専用のプログラミング言語で作成された指令ＣＯＭ１に基づいて、カメラ１３１の制御処理を実行する。

【0028】

ハンドコントローラ１２２には、ハンドコントロール専用のソフトウェア２５２がインストールされている。ハンドコントローラ１２２は、専用のプログラミング言語で作成された指令ＣＯＭ２に基づいて、ロボットハンド１３２の制御処理を実行する。

【0029】

センサコントローラ１２３には、センサコントロール専用のソフトウェア２５３がインストールされている。センサコントローラ１２３は、専用のプログラミング言語で作成された指令ＣＯＭ３に基づいて、センサ１３３の制御処理を実行する。

【0030】

ロボットコントローラ１２４は、ロボットコントロール専用のソフトウェア（ロボットプログラム）２５４がインストールされている。ロボットコントローラ１２４は、専用のプログラミング言語で作成された指令ＣＯＭ４に基づいて、ロボットアーム１３４の制御処理を実行する。

【0031】

画像処理装置１２５には、画像処理専用の画像処理ライブラリ（画像処理プログラム）２５５がインストールされている。画像処理装置１２５は、専用のプログラミング言語で作成された指令ＣＯＭ５に基づいて、画像処理を実行する。画像処理は、例えば二値化処理又はパターンマッチング処理である。

【0032】

ＡＩ装置１２６には、ＡＩ専用のＡＩライブラリ（ＡＩプログラム）２５６がインストールされている。ＡＩ装置１２６は、専用のプログラミング言語で作成された指令ＣＯＭ６に基づいて、ＡＩ処理を実行する。ＡＩ処理は、学習済みの学習モデル２１９を用いて入力データに対して出力データを出力する処理である。

【0033】

カメラコントローラ１２７には、カメラコントロール専用のソフトウェア２５７がインストールされている。カメラコントローラ１２７は、専用のプログラミング言語で作成された指令ＣＯＭ７に基づいて、カメラ１３７の制御処理を実行する。

【0034】

センサコントローラ１２８には、センサコントロール専用のソフトウェア２５８がインストールされている。センサコントローラ１２８は、専用のプログラミング言語で作成された指令ＣＯＭ８に基づいて、センサ１３８の制御処理を実行する。各ソフトウェア２５０～２５８は、例えばソフトウェア開発キット（ＳＤＫ）で構成される。

【0035】

記憶デバイス、例えば図１に記載のＳＳＤ１０４には、モジュールセット２２０が記憶されている。モジュールセット２２０は、複数のモジュールを含む。モジュールセット２２０に含まれるモジュールは、情報処理部２００が対応する機器に出力する指令を生成するのに用いられるデータである。

【0036】

データ形式変換部２１０は、モジュール間の情報の受け渡しを行う。例えば数値型変数２１１は数値型のデータを保持する。また例えば、判定型変数２１２は判定型（Ｂｏｏｌｅａｎ型）のデータを保持する。また例えば、文字列型変数２１３は文字列を表すデータを保持する。また例えば、選択型変数２１４は複数の選択肢から選択可能なデータを保持する。また例えば、画像型変数２１５は画像を表すデータを保持する。また例えば、領域型変数２１６は領域を表すデータを保持する。また例えば、ＰＯＳＥ型変数２１７は空間座標を表すデータを保持する。また例えば、学習モデル型変数２１８は、１つ以上の学習済みの学習モデル２１９のデータを保持する。

【0037】

データ形式変換部２１０は、２種類以上のデータを取得し、２種類以上のデータのうち少なくとも１つを、学習部２６３において所定の機械学習に用いられる形式に変換し、変換したデータを含む２種類以上のデータを学習機能部２６０に出力する。第１実施形態では、データ形式変換部２１０は、各ソフトウェア２５０～２５８のＳＤＫから取得したデータ形式を、学習部２６３が機械学習処理可能なデータ形式に変換する機能を有する。所定の機械学習は、本実施形態では教師あり学習であり、学習部２６３に設定された機械学習のアルゴリズム、例えばニューラルネットワークである。

【0038】

専用ＳＤＫ２５７がカメラ１３７から取得する画像データのデータ形式は、例えばカラー形式である。学習部２６３におけるニューラルネットワークが例えばモノクロ形式の画像データのみ受け付け可能な場合、データ形式変換部２１０は、カラー形式の画像データを、モノクロ形式の画像データへ変換する。

【0039】

専用ＳＤＫ２５８がセンサ１３８から取得するセンサデータのデータ形式は、指先に生じる圧力を表す数値である。画像処理部２８０は、ツール３０３に取り付けられたマーカ１３９の３次元位置を検出し、３次元空間の座標データを出力する。３次元空間の座標を表すデータ形式は、例えば図３に示すような形式が存在する。３次元空間座標データ２９０は、３次元空間の座標Ｘ，Ｙ，Ｚと各座標軸の回転角Ｒｘ，Ｒｙ，Ｒｚの６要素で表現される空間座標である。３次元空間座標データ２９１は、３次元空間の座標Ｘ，Ｙ，Ｚと各座標軸の回転角Ｒｘ，Ｒｙ，Ｒｚとロボットの形態を表すＦｉｇの７要素で表現される空間座標である。３次元空間座標データ２９２は、３次元空間の座標Ｘ，Ｙ，Ｚと各座標軸の回転角Ｒｘ，Ｒｙ，Ｒｚと姿勢の表現形式を表すＣｏｄｅの７要素で表現される空間座標である。３次元空間座標データ２９３は、３次元空間の座標Ｘ，Ｙ，Ｚの３要素で表現される空間座標である。

【0040】

学習フェーズで用いる画像処理部２８０が出力する３次元空間の座標データ形式と、推論フェーズで用いるロボットプログラム２５４が出力する３次元空間の座標データ形式とが異なっていると、正しく推論が行われない。このため、データ形式変換部２１０は、画像処理部２８０が出力する３次元空間の座標データのデータ形式を、ロボットプログラム２５４が出力する３次元空間の座標データと同様のデータ形式に変換する。

【0041】

なお、データ型の一例について説明したが、データ型はこれらに限定されるものではない。例えば日付型のデータや色を表すデータでもよい。また、モジュール間の情報の受け渡しを例に説明したが、各モジュールは、情報処理部２００に含まれる学習機能部２６０などの他の機能との間でも情報の受け渡しを行うことができる。

【0042】

指令変換部２４０は、モジュールを指令に変換する機能を有する。例えば、指令変換部２４０は、ＰＬＣモジュール２３０を指令ＣＯＭ０に変換する。また例えば、指令変換部２４０は、カメラ制御モジュール２３１を指令ＣＯＭ１に変換する。また例えば、指令変換部２４０は、ハンド制御モジュール２３２を指令ＣＯＭ２に変換する。また例えば、指令変換部２４０は、センサ制御モジュール２３３を指令ＣＯＭ３に変換する。また例えば、指令変換部２４０は、ロボット制御モジュール２３４を指令ＣＯＭ４に変換する。また例えば、指令変換部２４０は、画像処理モジュール２３５を指令ＣＯＭ５に変換する。また例えば、指令変換部２４０は、ＡＩモジュール２３６を指令ＣＯＭ６に変換する。また例えば、指令変換部２４０は、カメラ制御モジュール２３７を指令ＣＯＭ７に変換する。また例えば、指令変換部２４０は、センサ制御モジュール２３８を指令ＣＯＭ８に変換する。

【0043】

指令変換部２４０は、図２の機器１２０，１３１，１３２，１３３，１３４，１３５，１３６、１３７、１３８と、対応する通信規格の方式で通信管理部２７０を介してデータ通信する。指令変換部２４０は、各指令ＣＯＭ０～ＣＯＭ８を、対応する通信規格で対応する機器と通信可能な形式で作成する。例えば、指令変換部２４０とＰＬＣ１２０との間の通信規格は、ＴＣＰ／ＩＰである。また例えば、指令変換部２４０とカメラコントローラ１２１との間の通信規格は、ＵＳＢ３である。また例えば、指令変換部２４０とハンドコントローラ１２２との間の通信規格は、Ｅｔｈｅｒｎｅｔである。また例えば、指令変換部２４０とセンサコントローラ１２３との間の通信規格は、ＣＣ－Ｌｉｎｋである。また例えば、指令変換部２４０とロボットコントローラ１２４との間の通信規格は、ＴＣＰ／ＩＰである。また例えば、指令変換部２４０とカメラコントローラ１２７との間の通信規格は、ＵＳＢ３である。また例えば、指令変換部２４０とセンサコントローラ１２８との間の通信規格は、ＣＣ－Ｌｉｎｋである。なお、通信規格の一例について説明したが、通信規格はこれらに限定されるものではない。例えば、センサコントローラ１２３の通信インタフェースは、ＣＣ－Ｌｉｎｋインタフェースであるが、ＩＯインタフェースであっても、他のフィールドバスであってもよい。

【0044】

また、センサコントローラ１２３は、情報処理装置１００に直接接続することもできるが、例えばＰＬＣ１２０を介して情報処理装置１００に接続してもよい。また、モジュールセット２２０に含まれるモジュールは、上述の例に限定されるものではない。例えば、モジュールセット２２０は、モジュールとして、その他のＦＡ機器の制御モジュールを含んでもよい。また例えば、モジュールセット２２０は、モジュールとして、四則演算や論理演算、行列演算を行うモジュールを含んでもよい。また例えば、モジュールセット２２０は、モジュールとして、ＰＣの環境情報を取得するモジュールを含んでもよい。また例えば、モジュールセット２２０は、モジュールとして、画像データなどの様々なデータを、ログとして保存するモジュールを含んでもよい。

【0045】

制御フロープログラム２０１は、ロボットシステム１の各機器を統括的に制御するためのプログラムであり、グラフィカルユーザインタフェース（ＧＵＩ）を介してエンドユーザにより作成される。制御フロープログラム２０１は、情報処理部２００に、１つのモジュール、又は２つ以上のモジュールの組み合わせをモジュールセット２２０から読み出させ、情報処理部２００に、対応する指令を生成させるためのプログラムである。

【0046】

学習データ生成部２６２は、学習済みの機械学習モデルを生成するのに必要な学習データを、変数２１１～２１７から選択する。例えば画像型変数２１５には、専用ＳＤＫ２５７がカメラ１３７から取得し、データ形式が変換された画像データが格納される。また、例えば数値型変数２１１には、専用ＳＤＫ２５８がセンサ１３８から取得したセンサデータが格納される。学習データ生成部２６２は、画像型変数２１５及びＰＯＳＥ型変数２１７を選択することで、データ形式変換後の画像データを時系列に取得し、データ形式変換後のセンサデータを時系列に取得する。

【0047】

学習データ抽出部２６１は、時系列のデータの中から不要なデータを除くなどして、学習データとするのに必要なデータだけを抽出する。学習データの具体的な抽出方法は後述する。学習部２６３は、学習データ抽出部２６１で抽出された学習データに基づいて機械学習を行い、学習済みの学習モデル２１９を生成する。生成された学習済みの学習モデル２１９は、学習モデル型変数２１８に格納される。推論フェーズでは、ＡＩモジュール２３６に学習済みの学習モデル２１９が渡されることで、ＡＩ装置１２６において推論が行われる。

【0048】

図４は、第１実施形態に係る情報処理方法（学習方法）の説明図である。ロボット１３０によってワーク３００をワーク３０１に組み付ける制御を例に説明する。第１実施形態では、ロボットシステム１は、２つ以上のセンサとしてカメラ１３７及びセンサ１３８を有する。情報処理部２００は、２種類以上のデータをそれぞれ２つ以上のセンサから取得する。例えば、情報処理部２００は、カメラ１３７から画像データを取得し、センサ１３８からセンサデータを取得する。

【0049】

ユーザ３０２は、制御環境１４０においてロボット１３０に実際に行わせる動作を、学習環境１４１において模擬する。例えば、ユーザ３０２は、センサ１３８が配置されたツール３０３を装着して、ワーク３００をワーク３０１に組み付ける模擬動作を実施する。

【0050】

このとき、カメラ１３７は、ユーザ３０２の周囲環境の状態を撮像して画像データを生成する。画像データは、情報処理部２００のデータ形式変換部２１０に送信される。データ形式変換部２１０は、画像データのデータ形式を、カラー形式からモノクロ形式に変換し、モノクロ形式に変換した画像データを入力データ管理３１０に入力データ３１１として格納する。また、画像処理部２８０は、ツール３０３に取り付けられたマーカ１３９の３次元位置を検出し、ＰＯＳＥ型データをラベルデータ管理３２０にラベルデータ３２１として格納する。画像処理部２８０は、カメラ１３７から取得した画像からマッチング等の画像処理技術によりマーカの３次元位置を算出する。

【0051】

また、センサ１３８は、ユーザ３０２の模擬動作に基づくセンサ１３８のセンサデータを取得する。センサデータは、情報処理部２００のデータ形式変換部２１０に送信される。データ形式変換部２１０は、画像データのデータ形式を、図３に示すいずれかの形式から別の形式に変換して、変換後のデータ形式のセンサデータを入力データ管理３１０に入力データ３１１として格納する。

【0052】

以上の変換処理により、図５に示すように、ラベルデータ３２１と入力データ３１１を含むデータセット３４０が取得される。そして、この一連の流れが複数回繰り返されることで、時刻毎の複数のデータセット３４０が取得される。学習データ生成部２６２では、入力データ３１１にラベルデータ３２１とタイムスタンプを付与することによって、データセット３４０を生成する。学習データ抽出部２６１は、複数のデータセット３４０の中から少なくとも１つのデータセット３４０を抽出し、抽出したデータセット３４０を学習データ３５０とする。このように、学習データ３５０に含まれる２種類以上のデータのうちの少なくとも１つはラベルデータ３２１である。

【0053】

学習部２６３は、学習データ３５０を用いて所定の機械学習により学習し、その結果、学習済みの学習モデル２１９を取得する。例えば、学習部２６３は、入力された画像データ及びセンサデータから、ある状況において次に行うべき動作の情報を出力するように機械学習処理を行う。

【0054】

機械学習処理が完了した後、学習済みの学習モデル２１９は、学習モデル型変数２１８に格納される。ＡＩ装置１２６は、推論フェーズにおいて、学習済みの学習モデル２１９を用いて機械学習を行う。ＡＩ装置１２６、即ち学習済みの学習モデル２１９には、カメラ１３１からロボット１３０の周囲環境の状態を観測し得られた画像データと、センサ１３３が取得したセンサデータとが入力される。センサ１３３は、制御対象であるロボット１３０に含まれているセンサである。ＡＩ装置１２６、即ち学習モデル２１９は、入力された画像データ及びセンサデータに対して、ロボット１３０が次に行うべき動作の情報を出力する推論処理を行う。ロボットコントローラ１２４は、動作の情報に基づいて、ロボット１３０のロボットアーム１３４を制御し、ハンドコントローラ１２２は、動作情報に基づいてロボットハンド１３２を制御する。ロボットプログラム２５４が出力する３次元空間の座標データのデータ形式は、学習フェーズにおいて機械学習に用いた３次元空間の座標データの変換後のデータ形式と同じである。

【0055】

なお、センサ１３８を有するツール３０３がユーザ３０２に装着される装着具である場合を例に説明したが、これに限定されるものではない。ユーザ３０２が操作可能なツール３０３は、例えばダイレクトティーチングのように、ユーザ３０２が直接動かすことができる、センサ１３８を有するロボットであってもよい。この機械学習に用いられるロボットは、ロボット１３０であってもよい。

【0056】

以上、学習フェーズにおいては、ユーザ３０２がワーク３００をワーク３０１に組み付ける模擬動作を行ったときのユーザ３０２の手の位置情報に基づいて、機械学習が行われる。そして、推論フェーズにおいては、機械学習によって生成された、学習済みの学習モデル２１９を用いて、ロボット１３０に移動させるべき位置が推論される。

【0057】

図６は、第１実施形態に係る学習フェーズの一例を示すフローチャートである。ステップＳ１００において、データ形式変換部２１０は、カメラ１３７から画像データを時系列に取得し、センサ１３８からセンサデータを時系列に取得する。

【0058】

次に、ステップＳ１０１において、データ形式変換部２１０は、各画像データのデータ形式、及び各センサデータのデータ形式を変換する。

【0059】

ステップＳ１０２において、学習データ生成部２６２は、データセット３４０を取得する。具体的には、学習データ生成部２６２は、データ形式変換後の画像データをラベルデータ管理３２０にラベルデータ３２１として格納し、データ形式変換後のセンサデータを入力データ管理３１０に入力データ３１１として格納する。その際、学習データ生成部２６２は、入力データ３１１及びラベルデータ３２１にタイムスタンプを付与し、入力データ３１１及びラベルデータ３２１を時刻毎に互いに紐づけする。即ち、時刻毎に入力データ３１１にラベルデータ３２１が付与される。これにより、入力データ３１１及びラベルデータ３２１を含むデータセット３４０が時刻毎に生成され、時刻毎の複数のデータセット３４０が取得される。

【0060】

ステップＳ１０３において、学習データ抽出部２６１は、複数のデータセット３４０の中から選択されたデータセット３４０を抽出し、抽出したデータセット３４０を学習データ３５０として取得する。

【0061】

データセット３４０の選択方法は、例えばタイムスタンプの情報に基づいて、時系列の複数のデータセット３４０の中からデータセット３４０を所定の時間間隔で間引いてもよいし、複数のデータセット３４０の中からラベルデータ３２１の情報に従って不必要なデータセット３４０を除去してもよく、これらの方法によって学習データ３５０のデータ量を削減することができる。

【0062】

なお、データセット３４０の選択（抽出）は、省略可能であり、作成された複数のデータセット３４０の全てを学習データ３５０としてもよい。

【0063】

次に、ステップＳ１０４において、学習部２６３は、生成された学習データ３５０を用いて所定の機械学習（機械学習処理）を実行し、学習済みの学習モデル２１９を生成する。

【0064】

図７は、第１実施形態に係る機械学習処理の説明図である。図７には、データの流れが図示されている。学習データ生成部２６２は、入力データ管理３１０から時系列の入力データ３１１を取得し、ラベルデータ管理３２０から時系列のラベルデータ３２１を取得し、複数のデータセット３４０を生成する。学習データ抽出部２６１は、生成された複数のデータセット３４０の中から選択された少なくとも１つのデータセット３４０で学習データ３５０を抽出する。

【0065】

学習データ抽出部２６１は、複数のデータセット３４０を、学習部２６３で学習済みの学習モデル２１９を生成するために必要な機械学習用のデータ４１０と、学習済みの学習モデル２１９を検証するためのテスト用データ４２０とに、ランダムに配分する。検証部４３０は、学習モデル２１９のハイパーパラメータ等の最適化を行い、過学習の無いバランスの良い結果が得られるよう検証処理を行う。テスト用データ４２０は、検証部４３０が検証を行う際に利用される。なお、検証処理は公知の技術であるため説明を省略する。

【0066】

図８は、第１実施形態に係る推論フェーズの一例を示すフローチャートである。図８には、物品の製造方法を示すフローチャートが図示されている。推論フェーズにおいて、ロボットコントローラ１２４及びハンドコントローラ１２２は、推論結果に基づいて、ロボット１３０にワーク３００をワーク３０１に組み付ける組み付け作業を行わせることで、ロボット１３０に物品を製造させる。

【0067】

ステップＳ２００において、ＡＩ装置１２６が学習済みの学習モデル２１９を用いて推論処理を実行するのに必要な入力データを、カメラ１３１及びセンサ１３３から取得する。

【0068】

ここで、カメラ１３１から取得された画像データのデータ形式がカラー形式である場合、ステップＳ２０１において、データ形式変換部２１０は、画像データのデータ形式をカラー形式からモノクロ形式に変換してもよい。

【0069】

次に、ステップＳ２０２において、ＡＩ装置１２６は、学習済みの学習モデル２１９と、ステップＳ２０１で変換された入力データを入力値として推論処理を実行し、ロボット１３０が次に動作すべき位置を出力（予測）する。

【0070】

ステップＳ２０３において、ロボットコントローラ１２４は、予測されたロボット１３０の動作位置情報を動作指令値としてロボット１３０を制御し、ロボット１３０にワークの組み付け作業を実行させる。

【0071】

ステップＳ２０４において、所定の状態で組み付けが完了されているかどうかが判定される。ステップＳ２０４がＹＥＳ、即ち組み付けが完了されていれば、動作が終了される。ステップＳ２０４がＮＯ、即ち組み付けが未完了であれば、再びステップＳ２００の処理に戻る。

【0072】

第１実施形態では、学習フェーズで用いられる画像処理２５５の３次元空間の座標データのデータ形式が、推論フェーズで用いられるロボットプログラム２５４の３次元空間の座標データのデータ形式と同じとなるように変換される。よって、推論フェーズにおいて、正しく推論が行われる。

【0073】

図９は、第１実施形態に係る学習モデル２１９を作成するＧＵＩを示す模式図である。情報処理部２００は、表示部の一例であるディスプレイ１０６にユーザインタフェースであるウィンドウ６００を表示させる。ウィンドウ６００には、学習モデル２１９を作成するためのユーザインタフェース画像が含まれる。

【0074】

ウィンドウ６００は、学習データ設定部６１０と、ラベルデータ表示部６２０、入力データ表示部６３０、パラメータ設定部６４０、ラベルデータ設定部６５０、及び入力データ設定部６６０を含む。

【0075】

学習データ設定部６１０は、複数のデータセット３４０の中から学習データ３５０に用いられるデータセット３４０の選択を受け付けるユーザインタフェースである。情報処理部２００は、学習データ設定部６１０に、学習データ生成部２６２で生成されたデータセット３４０を一覧形式で表示する。

【0076】

学習データ設定部６１０には、学習のヘッダ情報６１１が表示される。ヘッダ情報は、学習データ３５０に付与されるタイムスタンプ情報、ラベルデータ管理３２０に格納されているラベルデータ３２１のデータ名、及び入力データ管理３１０に格納されている入力データ３１１のデータ名などを含む。

【0077】

学習データ設定部６１０には、学習データの詳細情報６１２が表示される。学習データの詳細情報６１２には、即ちタイムスタンプ情報、及びタイムスタンプ情報に対応する入力データ３１１やラベルデータ３２１の情報などのデータセット３４０の情報が、チェックボックスと共に時系列に表示される。

【0078】

ユーザがポインティングデバイスを用いてチェックボックスにチェックを入れることで、学習データ３５０に含めるデータセット３４０が選択される。また、学習データ３５０に含める必要のないデータセット３４０については、ユーザがチェックボックスからチェックを外すことで、学習データ３５０から除外される。

【0079】

このように、ユーザは、学習データ設定部６１０に表示された入力データ３１１の情報や、ラベルデータ３２１の情報を見ながら、ノイズと思われるデータセット３４０や、学習データに不要と思われるデータセット３４０を、チェックボックスのチェックを外すことで、学習データ３５０から除外することができる。

【0080】

ラベルデータ表示部６２０は、学習データ設定部６１０において、ユーザがチェックボックスにて選択したデータセット３４０のラベルデータ３２１の詳細を確認できる領域であるラベルデータ表示領域６２１を含む。ラベルデータ表示領域６２１には、ラベルデータ３２１が画像データだった場合、画像データに対応する画像が表示される。

【0081】

ラベルデータ３２１が複数ある場合、ラベルデータ表示部６２０に一覧形式で複数の画像が表示されてもよいし、例えばインデックス番号が指定されることで複数の画像を切り替えて表示されてもよい。

【0082】

入力データ表示部６３０は、学習データ設定部６１０において、ユーザがチェックボックスにて選択したデータセット３４０の入力データ３１１の詳細を確認できる領域である入力データ表示領域６３１を含む。入力データ表示領域６３１には、入力データ３１１が数値データだった場合、数値データに対応する画像が表示される。

【0083】

入力データ３１１が複数ある場合、入力データ表示部６３０に一覧形式で複数の数値が表示されてもよいし、例えばインデックス番号が指定されることで複数の数値を切り替えて表示されてもよい。

【0084】

パラメータ設定部６４０は、学習モデル２１９を作成するために必要なパラメータを設定するための領域であるニューラルネットワーク設定領域６４１を含む。ニューラルネットワーク設定領域６４１では、推論に使用するニューラルネットワークの種類の選択を受け付ける。即ち、パラメータ設定部６４０は、所定の機械学習に用いる機械学習モデルの選択を受け付けるユーザインタフェースである。ニューラルネットワークは、機械学習モデルの一例である。

【0085】

ニューラルネットワーク設定領域６４１においては、一例として、ニューラルネットワークの層の一つである自然言語処理に用いられるＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）、ニューラルネットワークの層の一つであり、時系列のデータが扱えるＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、又は物体検出に使用されるＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉ Ｂｏｘ Ｄｅｔｅｃｔｏｒ）などの選択肢が表示される。

【0086】

なお、これらのニューラルネットワークは一例であり、その他に畳み込みニューラルネットワークであるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、敵対的生成ネットワークＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）などが選択肢に含まれてもよい。

【0087】

ラベルデータ設定部６５０及び入力データ設定部６６０は、取得するデータの種類の選択を受け付けるユーザインタフェースである。

【0088】

ラベルデータ設定部６５０は、ラベルデータ管理３２０に格納するラベルデータ３２１を設定するための領域であるラベルデータ数設定領域６５１を含む。ラベルデータ数設定領域６５１は、ニューラルネットワーク設定領域６４１で選択されたニューラルネットワークの種類に応じて、必要なラベルデータ数を設定することができる。

【0089】

なお、必要なラベルデータ数が予め定まっているようなニューラルネットワークの場合は、ラベルデータ数設定領域６５１に自動的に必要なラベルデータ数が表示され、ユーザは操作できないようにグレーアウトされる。また、ラベルデータ数設定領域６５１においてユーザが不図示の「ａｕｔｏ」を選択することで、推奨値が設定される。

【0090】

ラベルデータ設定領域６５２は、ラベルデータ数設定領域６５１で設定されたラベルデータ数に応じて必要な数だけ表示される。ラベルデータ設定領域６５２は、図２に示す制御フロープログラム２０１において指定された複数のモジュールから、取得させるデータを指定することができる。

【0091】

取得させるデータの指定方法の一例として、図９に示すラベルデータ設定領域６５２では、カメラ制御モジュール２３１で撮像した画像データをラベルデータとして設定されている。ラベルデータ設定領域６５２は、ニューラルネットワーク設定領域６４１で選択されたニューラルネットワークの種類に応じて、入力可能なデータ形式のみが選択できる状態となる。

【0092】

入力データ設定部６６０は、入力データ管理３１０に格納する入力データ３１１を設定するための領域である入力データ数設定領域６６１を含む。入力データ数設定領域６６１は、ニューラルネットワーク設定領域６４１で選択されたニューラルネットワークの種類に応じて、必要な入力データ数を設定することができる。

【0093】

なお、必要な入力データ数が予め定まっているようなニューラルネットワークの場合は、入力データ数設定領域６６１に自動的に必要な入力データ数が表示され、ユーザは操作できないようにグレーアウトされる。また、入力データ数設定領域６６１においてユーザが「ａｕｔｏ」を選択することで、推奨値が設定される。

【0094】

入力データ設定領域６６２は、入力データ数設定領域６６１で設定された入力データ数に応じて必要な数だけ表示される。入力データ設定領域６６２は、図２に示す制御フロープログラム２０１において指定された複数のモジュールから、取得されるデータを指定することができる。

【0095】

取得させるデータの指定方法の一例として、図９に示す入力データ設定領域６６２では、センサ制御モジュール２３３で取得したセンサ値を入力データとして設定されている。
入力データ設定領域６６２は、ニューラルネットワーク設定領域６４１で選択されたニューラルネットワークの種類に応じて、入力可能なデータ形式のみが選択できる状態となる。

【0096】

学習モデル２１９を作成するための設定作業が完了した場合、情報処理部２００は、「学習の開始」のボタン６７０がユーザに操作されることで、図６に示す処理を開始し、ステップＳ１０４において学習済みの学習モデル２１９を作成する。

【0097】

ステップＳ１０４の機械学習処理が開始されると、学習モデル２１９を作成可能なソフトウェア、例えばＡＩプログラム２５６を用いて機械学習が行われる。具体的には、学習データ設定部６１０で作成された学習データ３５０を入力として、ニューラルネットワーク設定領域６４１で選択されたニューラルネットワークで機械学習が行われ、学習済みの学習モデル２１９が作成される。作成された学習モデル２１９は、学習モデル型変数２１８に格納される。

【0098】

学習フェーズにおいて学習モデル２１９が作成される際、ＦＡ機器などのセンサから入力データやラベルデータが取得される。このとき、ユーザは、グラフィカルユーザインタフェースであるウィンドウ６００を介して情報処理部２００に入力データやラベルデータの数を増減させたり、入力データ又はラベルデータのデータ形式を変換させたりすることができる。よって、ユーザが推論フェーズにおける学習結果が最良となるよう試行錯誤を行う際に、簡単に入力条件を変更しながら学習モデル２１９を作成することができる。また、作成した複数の学習モデル２１９を学習モデル型変数２１８に格納することができるため、推論フェーズにおいて学習結果を比較することが容易となる。

【0099】

以上、第１実施形態によれば、２つ以上のセンサから２種類以上のデータが取得され、２種類以上のデータのうち少なくとも１つの形式が、学習部２６３で所定の機械学習に用いられる形式に変換されるので、学習データ３５０の取得に要するユーザの負担が軽減される。

【0100】

［第２実施形態］
次に第２実施形態について説明する。第２実施形態において、第１実施形態と共通する事項については説明を簡単化あるいは省略し、以下、第１実施形態と異なる事項について詳細に説明する。図１０は、第２実施形態に係る情報処理方法（学習方法）の説明図である。

【0101】

第１実施形態では、学習環境１４１で行った模擬動作を学習部２６３に機械学習させることで、学習済みの学習モデル２１９が生成される。生成された学習モデル２１９は、制御環境１４０におけるロボットアーム１３４が次に行うべき動作情報を、ＡＩ装置１２６が推論するために用いられる。そして、図８に示すフローチャートに従って制御されることで、制御環境１４０においてロボット１３０によりワーク３００がワーク３０１に組み付けられる組み付け作業が実行される。しかし、場合によっては制御環境１４０において正しく推論されずに組み付け作業が失敗してしまうことがある。組み付け作業が失敗する原因の一つに、学習環境１４１と制御環境１４０とが厳密に一致していないことが考えられる。例えば制御環境１４０の環境下において外乱光がカメラ１３１に取得される画像に影響を及ぼしたり、ロボットハンド１３２のワーク３００と接する部分に、経年劣化が生じたりする場合などが考えられる。

【0102】

第２実施形態において、情報処理部２００は、制御対象であるロボット１３０に含まれるセンサ１３３から得られるデータを含む学習データ３５０を用いて、所定の機械学習により再学習する。

【0103】

例えば、制御環境１４０において、ユーザがロボットアーム１３４を手動で操作するなどして、ワーク３００をワーク３０１に組み付ける動作を再現することで、情報処理部２００は、新たな学習データ３５０を取得し、新たな学習データ３５０を用いて学習モデル２１９を補正する再学習を行う。この再学習の作業では、カメラ１３１にてロボット１３０の周囲環境の状態を観測し、センサ１３３にてロボット１３０の動作情報を取得する。

【0104】

なお、再学習を行う場合でも、データ形式変換部２１０は、カメラ１３１から得られた画像データのデータ形式を変換してラベルデータ３２１としてもよい。以降のデータ処理は、第１実施形態で説明した通りである。このように、制御環境１４０で得られた情報を新たな学習データ３５０として追加することができ、新たな学習データ３５０を用いて情報処理部２００に再学習させることができる。この再学習によって、学習部２６３は、学習環境１４１と制御環境１４０との間に生じる差異を小さくすることができ、ワークの組み付け作業の成功率を高めることができる。

【0105】

また、第２実施形態又は第２実施形態の変形例に、第１実施形態又は第１実施形態の変形例の少なくとも１つを組み合わせてもよい。

【0106】

本開示は、以上説明した実施形態に限定されるものではなく、実施形態は、本開示の技術的思想内で多くの変形が可能である。また、本実施形態に記載された効果は、本開示の実施形態から生じる最も好適な効果を列挙したに過ぎず、本開示の実施形態による効果は、本実施形態に記載されたものに限定されない。

【0107】

システムは、少なくとも２つの異なるセンサを用いて学習を行う形態であれば、ロボットシステムに限定されず、例えばカメラを用いた画像処理検査システムであってもよいし、カメラとセンサを搭載したＡＧＶ（Ａｕｔｏｍａｔｉｃ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ）を含むシステムであってもよい。

【0108】

また、第１及び第２実施形態では、ロボットが垂直多関節のロボットの場合について説明したが、これに限定するものではない。ロボットが、例えば水平多関節のロボット、パラレルリンクのロボット、直交ロボット等、種々のロボットであってもよい。また、本開示は、制御装置に設けられる記憶装置の情報に基づき、伸縮、屈伸、上下移動、左右移動もしくは旋回の動作またはこれらの複合動作を自動的に行うことができる機械に適用可能である。

【0109】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0110】

以上の実施形態の開示は、以下の項を含む。

【0111】

（項１）
情報処理部を備える情報処理装置であって、
前記情報処理部は、
２種類以上のデータを取得し、
前記２種類以上のデータのうち少なくとも１つを所定の機械学習に用いられる形式に変換して学習データを取得する、
ことを特徴とする情報処理装置。

【0112】

（項２）
前記情報処理部は、前記２種類以上のデータをそれぞれ２つ以上のセンサから取得する、
ことを特徴とする項１に記載の情報処理装置。

【0113】

（項３）
前記情報処理部は、前記学習データを用いて前記所定の機械学習により学習する、
ことを特徴とする項１又は２に記載の情報処理装置。

【0114】

（項４）
前記情報処理部は、前記所定の機械学習により学習済みの機械学習モデルを取得する、
ことを特徴とする項３に記載の情報処理装置。

【0115】

（項５）
前記学習済みの機械学習モデルに入力される入力データは、制御対象に含まれるセンサから得られるデータを含む、
ことを特徴とする項４に記載の情報処理装置。

【0116】

（項６）
前記所定の機械学習に用いられる形式は、前記制御対象に含まれるセンサから得られるデータの形式である、
ことを特徴とする項５に記載の情報処理装置。

【0117】

（項７）
前記制御対象がロボットである、
ことを特徴とする項５又は６に記載の情報処理装置。

【0118】

（項８）
前記情報処理部は、前記制御対象に含まれるセンサから得られるデータを含む学習データを用いて、前記所定の機械学習により再学習する、
ことを特徴とする項５乃至７のいずれか１項に記載の情報処理装置。

【0119】

（項９）
前記所定の機械学習は、教師あり学習であり、
前記学習データに含まれる２種類以上のデータのうちの少なくとも１つはラベルデータである、
ことを特徴とする項１乃至８のいずれか１項に記載の情報処理装置。

【0120】

（項１０）
前記情報処理部は、前記学習データに含まれる前記２種類以上のデータの各々を、時系列に取得する、
ことを特徴とする項１乃至９のいずれか１項に記載の情報処理装置。

【0121】

（項１１）
前記情報処理部は、
前記２種類以上のデータの各々を時系列に取得し、
前記２種類以上のデータのうち少なくとも１つを前記所定の機械学習に用いられる形式に変換し、
変換後のデータを含む２種類以上のデータを互いに時刻毎に紐づけして時刻毎の複数のデータセットを取得し、
前記複数のデータセットの中から選択されたデータセットにより前記学習データを取得する、
ことを特徴とする項１乃至９のいずれか１項に記載の情報処理装置。

【0122】

（項１２）
前記情報処理部は、前記複数のデータセットの中から前記学習データに用いられるデータセットの選択を受け付けるユーザインタフェースを、表示部に表示させる、
ことを特徴とする項１１に記載の情報処理装置。

【0123】

（項１３）
前記情報処理部は、前記所定の機械学習に用いる機械学習モデルの選択を受け付けるユーザインタフェースを、表示部に表示させる、
ことを特徴とする項１乃至１２のいずれか１項に記載の情報処理装置。

【0124】

（項１４）
前記情報処理部は、取得するデータの種類の選択を受け付けるユーザインタフェースを、表示部に表示させる、
ことを特徴とする項１乃至１３のいずれか１項に記載の情報処理装置。

【0125】

（項１５）
前記２つ以上のセンサは、イメージセンサを含む、
ことを特徴とする項２に記載の情報処理装置。

【0126】

（項１６）
前記２つ以上のセンサは、ユーザが操作可能なツールに配置されたセンサを含む、
ことを特徴とする項２に記載の情報処理装置。

【0127】

（項１７）
前記２種類以上のデータは異なる種類のデータである、
ことを特徴とする項１乃至１６のいずれか１項に記載の情報処理装置。

【0128】

（項１８）
情報処理方法であって、
２種類以上のデータを取得し、
前記２種類以上のデータのうち少なくとも１つを所定の機械学習に用いられる形式に変換して学習データを取得する、
ことを特徴とする情報処理方法。

【0129】

（項１９）
項１乃至１７のいずれか１項に記載の情報処理装置と、
前記情報処理装置に制御されるロボットと、を備える、
ことを特徴とするロボットシステム。

【0130】

（項２０）
項１９に記載のロボットシステムを用いて物品を製造する、
ことを特徴とする物品の製造方法。

【0131】

（項２１）
項１８に記載の情報処理方法をコンピュータに実行させるためのプログラム。

【0132】

（項２２）
項２１に記載のプログラムを記録した、コンピュータによって読み取り可能な記録媒体。

【符号の説明】

【0133】

１００…情報処理装置、２００…情報処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】