知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-17
(45)【発行日】2024-09-26
(54)【発明の名称】機械学習装置、及び機械学習方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20240918BHJP
G06V 10/776 20220101ALI20240918BHJP
G06T 7/00 20170101ALN20240918BHJP
【ＦＩ】
G06N20/00
G06V10/776
G06T7/00 350B
【請求項の数】
19
(21)【出願番号】P 2022571435
(86)(22)【出願日】2021-12-20
(86)【国際出願番号】 JP2021046971
(87)【国際公開番号】W WO2022138545
(87)【国際公開日】2022-06-30
【審査請求日】2023-07-11
(31)【優先権主張番号】P 2020216583
(32)【優先日】2020-12-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】390008235
【氏名又は名称】ファナック株式会社
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100165157
【弁理士】
【氏名又は名称】芝 哲央
(74)【代理人】
【識別番号】100160794
【弁理士】
【氏名又は名称】星野 寛明
(72)【発明者】
【氏名】李 維佳
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０１９－１７５１４０（ＪＰ，Ａ）
【文献】特開２０１９－９３４９５（ＪＰ，Ａ）
【文献】特開２０１９－５８９６０（ＪＰ，Ａ）
【文献】特許第６８０１１４９（ＪＰ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
Ｇ０６Ｖ １０／７７６
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
ロボットによるワークの取り出し位置を少なくとも予測可能な機械学習装置であって、機械学習に用いるトレーニングデータと推論用データを取得する取得部と、
前記トレーニングデータと複数セットの学習用パラメータに基づいて機械学習を行い、複数の学習済みモデルを生成する学習部と、
前記複数の学習済みモデルの学習結果の良否評価を行い、評価結果を表示するモデル評価部と、
学習済みモデルの選択の受付が可能なモデル選択部と、
前記複数の学習済みモデルの少なくとも一部と前記推論用データとに基づいて推論計算処理を行い、前記ワークの少なくとも１つの取り出し位置の予測位置リストを少なくとも１つ算出して推論結果候補とする推論演算部と、
前記推論結果候補の全部又は一部又はその組合せを出力する推論決定部と、
を備える、機械学習装置。
【請求項2】
前記モデル選択部は、ユーザが前記モデル評価部により表示される前記評価結果に基づいて選択した学習済みモデルを受け付ける請求項１に記載の機械学習装置。
【請求項3】
前記モデル選択部は、前記モデル評価部による前記評価結果に基づいて学習済みモデルを選択する請求項１に記載の機械学習装置。
【請求項4】
パラメータ抽出部をさらに備え、前記パラメータ抽出部は、複数の前記学習用パラメータの中から重要な学習用パラメータを抽出し、
前記学習部は、抽出された前記学習用パラメータに基づいて機械学習を行い、前記複数の学習済みモデルを生成する請求項１～３の何れか１項に記載の機械学習装置。
【請求項5】
前記モデル評価部は、前記推論演算部により生成された前記推論結果候補に基づいて、前記学習済みモデルの良否を評価する請求項１～４の何れか１項に記載の機械学習装置。
【請求項6】
前記モデル選択部は、前記推論演算部により生成された前記推論結果候補に基づく前記モデル評価部による前記評価結果に基づいて、学習済みモデルを選択する請求項５に記載の機械学習装置。
【請求項7】
前記推論演算部は、前記モデル評価部により良と評価された学習済みモデルに基づいて前記推論計算処理を行い、前記推論結果候補を生成する請求項１～６の何れか１項に記載の機械学習装置。
【請求項8】
前記モデル選択部は、前記推論演算部により生成された前記推論結果候補に基づいて、前記学習済みモデルを選択する請求項１～７の何れか１項に記載の機械学習装置。
【請求項9】
前記推論決定部による出力がなくなった時、前記モデル選択部は前記複数の学習済みモデルから、新たに少なくとも１つの学習済みモデルを選択し、前記推論演算部は、新たに選択された前記少なくとも１つの学習済みモデルに基づいて前記推論計算処理を行い、少なくとも１つの新しい推論結果候補を生成し、
前記推論決定部は、新しい前記推論結果候補の全部又は一部又はその組み合わせを出力する請求項１～８の何れか１項に記載の機械学習装置。
【請求項10】
前記学習部は、複数セットの前記トレーニングデータに基づいて機械学習を行う請求項１～９の何れか１項に記載の機械学習装置。
【請求項11】
前記取得部は、前記トレーニングデータと前記推論用データとして、複数のワークの存在領域の画像データを取得し、前記トレーニングデータは、前記画像データ上の前記ワークの少なくとも１つの特徴の教示データを含む請求項１～１０の何れか１項に記載の機械学習装置。
【請求項12】
前記取得部は、前記トレーニングデータと前記推論用データとして、複数のワークの存在領域の３次元計測データを取得し、前記トレーニングデータは、前記３次元計測データ上の前記ワークの少なくとも１つの特徴の教示データを含む請求項１～１１の何れか１項に記載の機械学習装置。
【請求項13】
前記学習部は、前記トレーニングデータに基づいて機械学習を行い、前記推論演算部は、前記ワークの少なくとも１つの前記特徴の情報を含む推論結果候補を生成する請求項１１又は１２に記載の機械学習装置。
【請求項14】
前記取得部は、前記トレーニングデータと前記推論用データとして、複数のワークの存在領域の画像データを取得し、前記トレーニングデータは、前記画像データ上の前記ワークの少なくとも１つの取り出し位置の教示データを含む請求項１～１０の何れか１項に記載の機械学習装置。
【請求項15】
前記取得部は、前記トレーニングデータと前記推論用データとして、複数のワークの存在領域の３次元計測データを取得し、前記トレーニングデータは、前記３次元計測データ上の前記ワークの少なくとも１つの取り出し位置の教示データを含む請求項１～１０及び１４の何れか１項に記載の機械学習装置。
【請求項16】
前記学習部は、前記トレーニングデータに基づいて機械学習を行い、前記推論演算部は、前記ワークの少なくとも１つの取り出し位置の情報を含む推論結果候補を生成する請求項１４又は１５に記載の機械学習装置。
【請求項17】
前記モデル評価部は、前記ワークを取り出すハンドを有するロボットに対して前記ハンドによる前記ワークの取り出し動作を実行させる動作実行部を含む制御装置から、前記機械学習装置により出力された前記ワークの少なくとも１つの取り出し位置の推論結果に基づいた前記動作実行部による前記取り出し動作の実行結果を受け取り、前記取り出し動作の実行結果に基づいて前記複数の学習済みモデルの学習結果の良否を評価する請求項１６に記載の機械学習装置。
【請求項18】
前記モデル選択部は、前記ワークを取り出すハンドを有するロボットに対して前記ハンドによる前記ワークの取り出し動作を実行させる動作実行部を含む制御装置から、前記機械学習装置により出力された前記ワークの少なくとも１つの取り出し位置の推論結果に基づいた前記動作実行部による前記取り出し動作の実行結果を受け取り、前記取り出し動作の実行結果に基づいて学習済みモデルを選択する請求項１６又は１７に記載の機械学習装置。
【請求項19】
コンピュータにより実現される、ロボットによるワークの取り出し位置を少なくとも予測可能な機械学習方法であって、機械学習に用いるトレーニングデータと推論用データを取得する取得工程と、
前記トレーニングデータと複数セットの学習用パラメータに基づいて機械学習を行い、複数の学習済みモデルを生成する学習工程と、
前記複数の学習済みモデルの学習結果の良否評価を行い、評価結果を表示するモデル評価工程と、
学習済みモデルの選択の受付が可能なモデル選択工程と、
前記複数の学習済みモデルの少なくとも一部と前記推論用データとに基づいて推論計算処理を行い、前記ワークの少なくとも１つの取り出し位置の予測位置リストを少なくとも１つ算出して推論結果候補とする推論演算工程と、
前記推論結果候補の全部又は一部又はその組合せを出力する推論決定工程と、
を備える、機械学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習装置、及び機械学習方法に関する。
【背景技術】
【0002】
近年、機械学習は様々な分野で盛んに適用されている。教師有り学習のアルゴリズムにおいて、トレーニングデータを用いて学習を行って学習済みモデル（例えば、分類問題における分類器、ニューラルネットワーク等）を生成し、生成された学習済みモデルを利用して未学習のケースも推論する。ここで、よいパフォーマンスが得られる学習済みモデルの生成は難点である。
１つの解決方法としては、トレーニングデータのバリエーションを増やして学習を行うことがある。例えば、様々な物体を検出するように、複数のトレーニングデータを用いて生成した複数の学習済みモデルに基づくアンサンブル学習を行う技術が提案されている。例えば、特許文献１参照。
１つの解決方法としては、トレーニングデータのバリエーションを増やして学習を行うことがある。例えば、様々な物体を検出するように、複数のトレーニングデータを用いて生成した複数の学習済みモデルに基づくアンサンブル学習を行う技術が提案されている。例えば、特許文献１参照。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０２０－７７２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
２つ目の解決方法としては、学習済みモデルに含まれる様々な学習用パラメータ（以下、「ハイパーパラメータ」ともいう）をうまく調整するように長い時間をかけて工夫することである。
しかしながら、次の３つの問題がある。
（１）トレーニングデータのバリエーションを増やして学習する方法は限界があり、バリエーションを増やしてもうまく学習できない場合もあり、大量のトレーニングデータの収集には時間と手間がかかってしまう。
（２）学習済みモデルに含まれる様々な学習用パラメータ（ハイパーパラメータ）の調整が難しく、調整に時間をかけても、よいパフォーマンスを得られないという問題がある。
（３）画像認識分野においては、トレーニング画像データを利用した学習により生成された学習済みモデルを利用した推論結果として、推論用画像上に写るワークの未検出問題が生じて、ワークを取り出す時に取り残し問題が発生し、生産効率が低下してしまう問題がある。
しかしながら、次の３つの問題がある。
（１）トレーニングデータのバリエーションを増やして学習する方法は限界があり、バリエーションを増やしてもうまく学習できない場合もあり、大量のトレーニングデータの収集には時間と手間がかかってしまう。
（２）学習済みモデルに含まれる様々な学習用パラメータ（ハイパーパラメータ）の調整が難しく、調整に時間をかけても、よいパフォーマンスを得られないという問題がある。
（３）画像認識分野においては、トレーニング画像データを利用した学習により生成された学習済みモデルを利用した推論結果として、推論用画像上に写るワークの未検出問題が生じて、ワークを取り出す時に取り残し問題が発生し、生産効率が低下してしまう問題がある。
【0005】
そこで、学習に用いるトレーニングデータの収集にかかる時間と手間を減らして、少ないトレーニングデータでも、よいパフォーマンスを得ることが望まれている。
【課題を解決するための手段】
【0006】
本開示の機械学習装置の一態様は、機械学習装置であって、機械学習に用いるトレーニングデータと推論用データを取得する取得部と、前記トレーニングデータと複数セットの学習用パラメータに基づいて機械学習を行い、複数の学習済みモデルを生成する学習部と、前記複数の学習済みモデルの学習結果の良否評価を行い、評価結果を表示するモデル評価部と、学習済みモデルの選択の受付が可能なモデル選択部と、前記複数の学習済みモデルの少なくとも一部と、前記推論用データと、に基づいて推論計算処理を行い、推論結果候補を生成する推論演算部と、前記推論結果候補の全部又は一部又はその組合せを出力する推論決定部と、を備える。
【0007】
本開示の機械学習方法は、コンピュータにより実現される機械学習方法であって、機械学習に用いるトレーニングデータと推論用データを取得する取得工程と、前記トレーニングデータと複数セットの学習用パラメータに基づいて機械学習を行い、複数の学習済みモデルを生成する学習工程と、前記複数の学習済みモデルの学習結果の良否評価を行い、評価結果を表示するモデル評価工程と、学習済みモデルの選択の受付が可能なモデル選択工程と、前記複数の学習済みモデルの少なくとも一部と、前記推論用データとに基づいて推論計算処理を行い、推論結果候補を生成する推論演算工程と、前記推論結果候補の全部又は一部又はその組合せを出力する推論決定工程と、を備える。
【発明の効果】
【0008】
一態様によれば、学習に用いるトレーニングデータの収集にかかる時間と手間を減らして、少ないトレーニングデータでも、よいパフォーマンスを得ることができる。
【図面の簡単な説明】
【0009】
【図1】一実施形態に係るロボットシステムの構成の一例を示す図である。
【図2】一実施形態に係るロボット制御装置の機能的構成例を示す機能ブロック図である。
【図3】一実施形態に係る機械学習装置の機能的構成例を示す機能ブロック図である。
【図4】学習フェーズにおける機械学習装置の機械学習処理について説明するフローチャートである。
【図5】運用フェーズにおける機械学習装置の推論計算処理について説明するフローチャートである。
【発明を実施するための形態】
【0010】
＜一実施形態＞
本実施形態の構成について図面を用いて詳細に説明する。
図１は、一実施形態に係るロボットシステム１の構成の一例を示す図である。
図１に示すように、ロボットシステム１は、機械学習装置１０、ロボット制御装置２０、ロボット３０、計測器４０、複数のワーク５０、及びコンテナ６０を有する。
機械学習装置１０、ロボット制御装置２０、ロボット３０、及び計測器４０は、図示しない接続インタフェースを介して互いに直接接続されてもよい。なお、機械学習装置１０、ロボット制御装置２０、ロボット３０、及び計測器４０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の図示しないネットワークを介して相互に接続されていてもよい。この場合、機械学習装置１０、ロボット制御装置２０、ロボット３０、及び計測器４０は、かかる接続によって相互に通信を行うための図示しない通信部を備えている。また、説明しやすくするために、図１は機械学習装置１０とロボット制御装置２０をそれぞれ独立に描いていて、この場合の機械学習装置１０は例えばコンピュータより構成されてもよい。このような構成に限定されず、例えば、機械学習装置１０はロボット制御装置２０の内部に実装され、ロボット制御装置２０と一体化されてもよい。
本実施形態の構成について図面を用いて詳細に説明する。
図１は、一実施形態に係るロボットシステム１の構成の一例を示す図である。
図１に示すように、ロボットシステム１は、機械学習装置１０、ロボット制御装置２０、ロボット３０、計測器４０、複数のワーク５０、及びコンテナ６０を有する。
機械学習装置１０、ロボット制御装置２０、ロボット３０、及び計測器４０は、図示しない接続インタフェースを介して互いに直接接続されてもよい。なお、機械学習装置１０、ロボット制御装置２０、ロボット３０、及び計測器４０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の図示しないネットワークを介して相互に接続されていてもよい。この場合、機械学習装置１０、ロボット制御装置２０、ロボット３０、及び計測器４０は、かかる接続によって相互に通信を行うための図示しない通信部を備えている。また、説明しやすくするために、図１は機械学習装置１０とロボット制御装置２０をそれぞれ独立に描いていて、この場合の機械学習装置１０は例えばコンピュータより構成されてもよい。このような構成に限定されず、例えば、機械学習装置１０はロボット制御装置２０の内部に実装され、ロボット制御装置２０と一体化されてもよい。
【0011】
＜ロボット制御装置２０＞
ロボット制御装置２０は、ロボット３０の動作を制御するための当業者にとって公知の装置である。ロボット制御装置２０は、例えば、バラ積みされたワーク５０のうち後述する機械学習装置１０によって選択されたワーク５０の取り出し位置情報を機械学習装置１０から受信する。ロボット制御装置２０は、機械学習装置１０から受信した取り出し位置にあるワーク５０を取り出すように、ロボット３０の動作を制御するための制御信号を生成する。そして、ロボット制御装置２０は、生成した制御信号をロボット３０に対して出力する。また、ロボット制御装置２０は、ロボット３０による取り出し動作の実行結果を機械学習装置１０に出力する。
図２は、一実施形態に係るロボット制御装置２０の機能的構成例を示す機能ブロック図である。
ロボット制御装置２０は、当業者にとって公知のコンピュータであり、図２に示すように、制御部２１を有する。また、制御部２１は、動作実行部２１０を有する。
ロボット制御装置２０は、ロボット３０の動作を制御するための当業者にとって公知の装置である。ロボット制御装置２０は、例えば、バラ積みされたワーク５０のうち後述する機械学習装置１０によって選択されたワーク５０の取り出し位置情報を機械学習装置１０から受信する。ロボット制御装置２０は、機械学習装置１０から受信した取り出し位置にあるワーク５０を取り出すように、ロボット３０の動作を制御するための制御信号を生成する。そして、ロボット制御装置２０は、生成した制御信号をロボット３０に対して出力する。また、ロボット制御装置２０は、ロボット３０による取り出し動作の実行結果を機械学習装置１０に出力する。
図２は、一実施形態に係るロボット制御装置２０の機能的構成例を示す機能ブロック図である。
ロボット制御装置２０は、当業者にとって公知のコンピュータであり、図２に示すように、制御部２１を有する。また、制御部２１は、動作実行部２１０を有する。
【0012】
＜制御部２１＞
制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）メモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
ＣＰＵはロボット制御装置２０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、システムプログラム及びアプリケーションプログラムに従ってロボット制御装置２０全体を制御する。これにより、図２に示すように、制御部２１が、動作実行部２１０の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。また、ＣＭＯＳメモリは図示しないバッテリでバックアップされ、ロボット制御装置２０の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）メモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
ＣＰＵはロボット制御装置２０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、システムプログラム及びアプリケーションプログラムに従ってロボット制御装置２０全体を制御する。これにより、図２に示すように、制御部２１が、動作実行部２１０の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。また、ＣＭＯＳメモリは図示しないバッテリでバックアップされ、ロボット制御装置２０の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
【0013】
＜動作実行部２１０＞
動作実行部２１０は、後述するロボット３０の取り出しハンド３１を、後述する機械学習装置１０により出力された取り出し位置の推論結果に基づいて、ワーク５０を取り出しハンド３１で取り出すように制御する。そして、動作実行部２１０は、例えば、取り出しハンド３１に設置されたセンサからの信号に基づいて、取り出しハンド３１によるワーク５０の取り出しが成功したか否かを示す情報を、取り出し動作の実行結果として機械学習装置１０にフィードバックするようにしてもよい。
なお、ロボット制御装置２０は、後述するように、機械学習装置１０を含んでもよい。
動作実行部２１０は、後述するロボット３０の取り出しハンド３１を、後述する機械学習装置１０により出力された取り出し位置の推論結果に基づいて、ワーク５０を取り出しハンド３１で取り出すように制御する。そして、動作実行部２１０は、例えば、取り出しハンド３１に設置されたセンサからの信号に基づいて、取り出しハンド３１によるワーク５０の取り出しが成功したか否かを示す情報を、取り出し動作の実行結果として機械学習装置１０にフィードバックするようにしてもよい。
なお、ロボット制御装置２０は、後述するように、機械学習装置１０を含んでもよい。
【0014】
ロボット３０は、ロボット制御装置２０の制御に基づいて動作するロボットである。ロボット３０は、鉛直方向の軸を中心に回転するためのベース部や、移動及び回転するアームや、ワーク５０を保持するためにアームに装着される取り出しハンド３１を備える。
具体的に、取り出しハンド３１は、ワーク５０を１つずつ保持することができる任意の構成としてもよい。例えば、取り出しハンド３１は、ワーク５０を吸着する吸着式パッドを有する構成としてもよい。このようにエアの気密性を利用してワーク５０を吸着する吸着式ハンドでもよいが、エアの気密性を要求しない吸引力が強い吸引式ハンドでもよい。また、取り出しハンド３１は、ワーク５０を挟み込んで保持する一対の把持指又は３本以上の把持指を有する把持式ハンドの構成でもよく、複数の吸着パッドを有する構成でもよい。あるいは、取り出しハンド３１は、鉄製等のワーク５０を磁力で保持するような磁気式ハンドを有する構成とされてもよい。
また、取り出しハンド３１は、例えば、エア吸着式ハンドの場合、ワーク５０を保持していない時と保持している時のハンド内部のエア圧の変化を検出するセンサを実装してもよい。また、取り出しハンド３１は、把持式ハンドの場合、ワーク保持の有無を検知する接触センサや力センサ等を実装してもよく、動作する把持指の位置を検知する位置センサを実装してもよい。また、取り出しハンド３１は、磁気ハンドの場合、ハンド内部に永久磁石を実装し、その位置を検知する位置センサを実装してもよい。
ロボット３０は、ロボット制御装置２０が出力する制御信号に応じて、アームや取り出しハンド３１を駆動して、機械学習装置１０により選択された取り出し位置まで取り出しハンド３１を移動させて、バラ積みされたワーク５０を保持してコンテナ６０から取り出す。この場合、ロボット制御装置２０の動作実行部２１０は、取り出しハンド３１に実装されたセンサからの信号に基づいて、ワーク５０の取り出しに成功したか否かの情報を、取り出し動作の実行結果として自動的に収集してもよく、収集した実行結果を機械学習装置１０にフィードバックしてもよい。
なお、取り出したワーク５０の移載先については図示を省略する。また、ロボット３０の具体的な構成については、当業者によく知られているので、詳細な説明は省略する。
具体的に、取り出しハンド３１は、ワーク５０を１つずつ保持することができる任意の構成としてもよい。例えば、取り出しハンド３１は、ワーク５０を吸着する吸着式パッドを有する構成としてもよい。このようにエアの気密性を利用してワーク５０を吸着する吸着式ハンドでもよいが、エアの気密性を要求しない吸引力が強い吸引式ハンドでもよい。また、取り出しハンド３１は、ワーク５０を挟み込んで保持する一対の把持指又は３本以上の把持指を有する把持式ハンドの構成でもよく、複数の吸着パッドを有する構成でもよい。あるいは、取り出しハンド３１は、鉄製等のワーク５０を磁力で保持するような磁気式ハンドを有する構成とされてもよい。
また、取り出しハンド３１は、例えば、エア吸着式ハンドの場合、ワーク５０を保持していない時と保持している時のハンド内部のエア圧の変化を検出するセンサを実装してもよい。また、取り出しハンド３１は、把持式ハンドの場合、ワーク保持の有無を検知する接触センサや力センサ等を実装してもよく、動作する把持指の位置を検知する位置センサを実装してもよい。また、取り出しハンド３１は、磁気ハンドの場合、ハンド内部に永久磁石を実装し、その位置を検知する位置センサを実装してもよい。
ロボット３０は、ロボット制御装置２０が出力する制御信号に応じて、アームや取り出しハンド３１を駆動して、機械学習装置１０により選択された取り出し位置まで取り出しハンド３１を移動させて、バラ積みされたワーク５０を保持してコンテナ６０から取り出す。この場合、ロボット制御装置２０の動作実行部２１０は、取り出しハンド３１に実装されたセンサからの信号に基づいて、ワーク５０の取り出しに成功したか否かの情報を、取り出し動作の実行結果として自動的に収集してもよく、収集した実行結果を機械学習装置１０にフィードバックしてもよい。
なお、取り出したワーク５０の移載先については図示を省略する。また、ロボット３０の具体的な構成については、当業者によく知られているので、詳細な説明は省略する。
【0015】
また、機械学習装置１０やロボット制御装置２０は、予め行われたキャリブレーションにより、ロボット３０を制御するための機械座標系と、ワーク５０の取り出し位置を示す後述する計測器４０の座標系と、を対応付けているものとする。
【0016】
計測器４０は、例えば、カメラセンサ等を含むように構成され、コンテナ６０内のバラ積みされたワーク５０を計測器４０の光軸に対して垂直な平面に投影した２次元の画像データのＲＧＢカラー画像やグレースケール画像、深度画像等の可視光画像を撮影してもよい。また、計測器４０は、赤外線センサを含むように構成されて熱画像を撮像してもよく、紫外線センサを含むように構成されて物体表面の傷や斑等の検査用の紫外線画像を撮像してもよい。また、計測器４０は、Ｘ線カメラセンサを含むように構成されてＸ線画像を撮像してもよく、超音波センサを含むように構成されて超音波画像を撮像してもよい。
なお、計測器４０は、３次元計測器でもよく、３次元計測器の光軸に対して垂直な平面とコンテナ６０内のばら積みされたワーク５０の表面の各点との間の距離から換算した値を画素値とする３次元情報（以下、「距離画像」ともいう）を取得するように構成されてもよい。例えば、図１に示すように、距離画像上のワーク５０の点Ａの画素値は、計測器４０の３次元座標系（Ｘ，Ｙ，Ｚ）におけるＺ軸方向の、計測器４０とワーク５０の点Ａとの間の距離（計測器４０からの高さ）から換算したものである。すなわち、３次元座標系のＺ軸方向は計測器４０の光軸方向である。また、計測器４０は、例えばステレオカメラ、又はロボット３０の手先や移動装置に固定される１台のカメラ、カメラ１台とレーザスキャナや音波センサ等の距離センサの組み合わせにより構成され、コンテナ６０内に積載の複数のワーク５０の３次元点群データを取得してもよい。このように取得した３次元点群データは、３次元空間上のあらゆる視点から確認できる３Ｄビューの中で表示可能であり、コンテナ６０に積載の複数のワーク５０の重なり合う状態を３次元的に確認できる離散化されたデータである。
なお、計測器４０は、３次元計測器でもよく、３次元計測器の光軸に対して垂直な平面とコンテナ６０内のばら積みされたワーク５０の表面の各点との間の距離から換算した値を画素値とする３次元情報（以下、「距離画像」ともいう）を取得するように構成されてもよい。例えば、図１に示すように、距離画像上のワーク５０の点Ａの画素値は、計測器４０の３次元座標系（Ｘ，Ｙ，Ｚ）におけるＺ軸方向の、計測器４０とワーク５０の点Ａとの間の距離（計測器４０からの高さ）から換算したものである。すなわち、３次元座標系のＺ軸方向は計測器４０の光軸方向である。また、計測器４０は、例えばステレオカメラ、又はロボット３０の手先や移動装置に固定される１台のカメラ、カメラ１台とレーザスキャナや音波センサ等の距離センサの組み合わせにより構成され、コンテナ６０内に積載の複数のワーク５０の３次元点群データを取得してもよい。このように取得した３次元点群データは、３次元空間上のあらゆる視点から確認できる３Ｄビューの中で表示可能であり、コンテナ６０に積載の複数のワーク５０の重なり合う状態を３次元的に確認できる離散化されたデータである。
【0017】
ワーク５０は、コンテナ６０内で、バラ積みされた状態を含んで乱雑に置かれる。ワーク５０は、ロボット３０のアームに装着された取り出しハンド３１で保持可能なものであればよく、その形状等は特に限定されない。
【0018】
＜機械学習装置１０＞
図３は、一実施形態に係る機械学習装置１０の機能的構成例を示す機能ブロック図である。
機械学習装置１０は、当業者にとって公知のコンピュータであってもよいし、図３に示すように、制御部１１を有する。また、制御部１１は、取得部１１０、パラメータ抽出部１１１、学習部１１２、モデル評価部１１３、モデル選択部１１４、推論演算部１１５、及び推論決定部１１６を有する。また、取得部１１０は、データ保存部１１０１を有する。
図３は、一実施形態に係る機械学習装置１０の機能的構成例を示す機能ブロック図である。
機械学習装置１０は、当業者にとって公知のコンピュータであってもよいし、図３に示すように、制御部１１を有する。また、制御部１１は、取得部１１０、パラメータ抽出部１１１、学習部１１２、モデル評価部１１３、モデル選択部１１４、推論演算部１１５、及び推論決定部１１６を有する。また、取得部１１０は、データ保存部１１０１を有する。
【0019】
＜制御部１１＞
制御部１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＭＯＳメモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
ＣＰＵは機械学習装置１０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、システムプログラム及びアプリケーションプログラムに従って機械学習装置１０全体を制御する。これにより、図３に示すように、制御部１１が、取得部１１０、パラメータ抽出部１１１、学習部１１２、モデル評価部１１３、モデル選択部１１４、推論演算部１１５、及び推論決定部１１６の機能を実現するように構成される。また、取得部１１０は、データ保存部１１０１の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。また、ＣＭＯＳメモリは図示しないバッテリでバックアップされ、機械学習装置１０の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
制御部１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＭＯＳメモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
ＣＰＵは機械学習装置１０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、システムプログラム及びアプリケーションプログラムに従って機械学習装置１０全体を制御する。これにより、図３に示すように、制御部１１が、取得部１１０、パラメータ抽出部１１１、学習部１１２、モデル評価部１１３、モデル選択部１１４、推論演算部１１５、及び推論決定部１１６の機能を実現するように構成される。また、取得部１１０は、データ保存部１１０１の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。また、ＣＭＯＳメモリは図示しないバッテリでバックアップされ、機械学習装置１０の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
【0020】
＜取得部１１０＞
取得部１１０は、データ保存部１１０１を有するように構成され、クラウド又はエッジデバイス上のデータベース７０から機械学習に用いるトレーニングデータを取得してデータ保存部１１０１に保存するように構成されてもよい。例えば、取得部１１０は、クラウド又はエッジデバイス上のデータベース７０からＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体に記録されているトレーニングデータをＬＡＮ等のネットワークを経由して取得し、機械学習装置１０のＨＤＤやＵＳＢメモリ等の記録媒体（データ保存部１１０１）にコピーして保存する。
また、取得部１１０は、機械学習に用いる推論用データを計測器４０から取得してデータ保存部１１０１に保存するように構成されてもよい。推論用データは、画像データであってもよいが、３次元計測データとしての３次元点群データ又は距離画像であってもよい。
取得部１１０は、データ保存部１１０１を有するように構成され、クラウド又はエッジデバイス上のデータベース７０から機械学習に用いるトレーニングデータを取得してデータ保存部１１０１に保存するように構成されてもよい。例えば、取得部１１０は、クラウド又はエッジデバイス上のデータベース７０からＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体に記録されているトレーニングデータをＬＡＮ等のネットワークを経由して取得し、機械学習装置１０のＨＤＤやＵＳＢメモリ等の記録媒体（データ保存部１１０１）にコピーして保存する。
また、取得部１１０は、機械学習に用いる推論用データを計測器４０から取得してデータ保存部１１０１に保存するように構成されてもよい。推論用データは、画像データであってもよいが、３次元計測データとしての３次元点群データ又は距離画像であってもよい。
【0021】
＜パラメータ抽出部１１１＞
パラメータ抽出部１１１は、全てのハイパーパラメータ等の中から重要なハイパーパラメータ等を抽出するように構成されてもよい。
具体的には、パラメータ抽出部１１１は、例えば、学習パフォーマンスへの寄与度を定義して評価し、寄与度の高いハイパーパラメータ等を重要なハイパーパラメータ等として抽出することができる。例えば、損失関数は学習済みモデルによる予測結果と教師データとの差を評価するものであり、損失が小さければ小さいほど、よりよいパフォーマンスを得られるため、損失関数の中のハイパーパラメータの寄与度を学習率やバッチサイズなどのハイパーパラメータの寄与度よりも高く設定して、重要なハイパーパラメータとして抽出することができる。
また、パラメータ抽出部１１１は、各種ハイパーパラメータ等の独立性を調べて、互いに依存しない独立なものを重要なハイパーパラメータ等として抽出するようにしてもよい。
パラメータ抽出部１１１は、全てのハイパーパラメータ等の中から重要なハイパーパラメータ等を抽出するように構成されてもよい。
具体的には、パラメータ抽出部１１１は、例えば、学習パフォーマンスへの寄与度を定義して評価し、寄与度の高いハイパーパラメータ等を重要なハイパーパラメータ等として抽出することができる。例えば、損失関数は学習済みモデルによる予測結果と教師データとの差を評価するものであり、損失が小さければ小さいほど、よりよいパフォーマンスを得られるため、損失関数の中のハイパーパラメータの寄与度を学習率やバッチサイズなどのハイパーパラメータの寄与度よりも高く設定して、重要なハイパーパラメータとして抽出することができる。
また、パラメータ抽出部１１１は、各種ハイパーパラメータ等の独立性を調べて、互いに依存しない独立なものを重要なハイパーパラメータ等として抽出するようにしてもよい。
【0022】
パラメータ抽出部１１１は、上述の方法により寄与度が付与された複数のハイパーパラメータに対して、機械学習を行う際に段階的にハイパーパラメータを減らして行くように構成されてもよい。
具体的には、例えば、機械学習を行う際に、後述するモデル評価部１１３がオンラインで学習済みモデルの良否を評価し、学習済みモデルが予測した出力値や損失がほぼ収束したと判断した時に、パラメータ抽出部１１１は、学習率や学習エポックの最適値を見付けたと判定して、それ以降は残りの重要なハイパーパラメータのみに着目し、調整するハイパーパラメータの種類を段階的に減らして行ってもよい。
具体的には、例えば、機械学習を行う際に、後述するモデル評価部１１３がオンラインで学習済みモデルの良否を評価し、学習済みモデルが予測した出力値や損失がほぼ収束したと判断した時に、パラメータ抽出部１１１は、学習率や学習エポックの最適値を見付けたと判定して、それ以降は残りの重要なハイパーパラメータのみに着目し、調整するハイパーパラメータの種類を段階的に減らして行ってもよい。
【0023】
＜学習部１１２＞
学習部１１２は、取得部１１０により取得されたトレーニングデータに基づいて、ハイパーパラメータ等を設定して機械学習を行い、複数の学習済みモデルを生成するように構成されてもよい。ここで、学習部１１２は、１セットのトレーニングデータに対して、複数セットのハイパーパラメータ等を複数回に設定して複数回の機械学習を行うことで、複数の学習済みモデルを生成してもよい。また、学習部１１２は、複数セットのトレーニングデータのそれぞれに対して、複数セットのハイパーパラメータ等を複数回に設定して複数回の機械学習を行うことで、複数の学習済みモデルを生成してもよい。
学習部１１２は、取得部１１０により取得されたトレーニングデータに基づいて、ハイパーパラメータ等を設定して機械学習を行い、複数の学習済みモデルを生成するように構成されてもよい。ここで、学習部１１２は、１セットのトレーニングデータに対して、複数セットのハイパーパラメータ等を複数回に設定して複数回の機械学習を行うことで、複数の学習済みモデルを生成してもよい。また、学習部１１２は、複数セットのトレーニングデータのそれぞれに対して、複数セットのハイパーパラメータ等を複数回に設定して複数回の機械学習を行うことで、複数の学習済みモデルを生成してもよい。
【0024】
教師有り学習の場合、学習に用いるトレーニングデータは、学習入力データと出力データ（教師ラベルデータ）により構成されてもよい。学習済みモデルは、学習入力データから出力データ（教師ラベルデータ）への写像関数より構成され、ハイパーパラメータ等は、写像関数に含まれる各種パラメータより構成されてもよい。また、学習済みモデルは、分類ラベル（教師ラベルデータ）が既知であるような学習入力データから分類する分類問題における分類器（例えば、ＳＶＭ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）により構成され、ハイパーパラメータ等は、分類問題を解くために定義される損失関数の中のパラメータ等により構成されてもよい。もしくは、学習済みモデルは、学習入力データから出力データの予測値を算出するニューラルネットワーク等により構成され、ハイパーパラメータ等は、ニューラルネットワークのレイヤー数やユニット数、学習率、バッチサイズ、学習エポック等により構成されてもよい。
【0025】
教師無し学習の場合、学習に用いるトレーニングデータは、学習入力データにより構成されてもよい。学習済みモデルは、例えば、分類ラベルが未知であるような学習入力データから分類する分類問題における分類器（例えば、ｋ－ｍｅａｎｓクラスタリング法）により構成され、ハイパーパラメータ等は、分類問題を解くために定義される損失関数の中のパラメータ等により構成されてもよい。
【0026】
学習入力データが画像データである場合、トレーニングデータは画像データとその画像データ上に写っているワークの取り出し位置の位置教示データ（教師ラベルデータ）を含むように構成され、学習済みモデルはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）により構成されてもよい。このようＣＮＮの構造は、例えば、３次元（又は２次元）のＣｏｎｖｏｌｕｔｉｏｎ層や、データの正規化を保つＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層、活性化関数ＲｅＬｕ層等を含むように構成されてもよい。
【0027】
学習入力データは３次元点群データ（又は距離画像データ）である場合、トレーニングデータは３次元点群データ（又は距離画像データ）上のワークの取り出し位置の位置教示データ（教師ラベルデータ）を含むように構成され、学習済みモデルはＣＮＮにより構成されてもよい。このようＣＮＮの構造は、例えば、３次元（又は２次元）のＣｏｎｖｏｌｕｔｉｏｎ層や、データの正規化を保つＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層、活性化関数ＲｅＬｕ層等を含むように構成されてもよい。
【0028】
学習済みモデルは前述のＣＮＮ構造を有する場合、学習部１１２は、１セットのハイパーパラメータ等として、例えば、ＣＮＮのレイヤー数、ユニット数、Ｃｏｎｖｏｌｕｔｉｏｎ層のフィルタサイズ、学習率、バッチサイズ、学習エポックを所定の値に１回設定して、１セットのトレーニングデータを学習入力データとして機械学習を行い、１つの学習済みモデル（以下、「学習済みモデルＭ１」ともいう）、画像上のマクロ的な特徴（例えば、より大きな平面）の特定に得意な学習済みモデルＭ１を生成することができる。
具体的に、例えば、トレーニングデータは画像データと画像データ上に写るワークの取り出し位置の位置教示データを含む場合、学習部１１２は、１セットの画像データを学習済みモデルであるＣＮＮに代入し、ＣＮＮによりワークの取り出し位置の予測値を算出して出力することができる。学習部１１２は、出力されたワークの取り出し位置の予測値と、教師ラベルデータである位置教示データとの差が段々小さくなっていくようにバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ：誤差逆伝播法）を利用し、位置教示データに近い予測値を出力できるような学習済みモデルを、機械学習を行って１つ生成することができる。
また、学習部１１２は、複数セットのトレーニングデータのそれぞれに対して、複数セットのハイパーパラメータ等を複数回に設定して、前述のような機械学習を複数回に行うことで、複数の学習済みモデルを生成することができる。利用する複数セットのトレーニングデータは互いに依存しない独立なデータであり、複数セットのハイパーパラメータ等は互いに依存しない独立なデータであるため、学習部１１２は、前述のような機械学習を複数回に行う際に、並列に行ってトータルの学習時間を短縮することができる。
具体的に、例えば、トレーニングデータは画像データと画像データ上に写るワークの取り出し位置の位置教示データを含む場合、学習部１１２は、１セットの画像データを学習済みモデルであるＣＮＮに代入し、ＣＮＮによりワークの取り出し位置の予測値を算出して出力することができる。学習部１１２は、出力されたワークの取り出し位置の予測値と、教師ラベルデータである位置教示データとの差が段々小さくなっていくようにバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ：誤差逆伝播法）を利用し、位置教示データに近い予測値を出力できるような学習済みモデルを、機械学習を行って１つ生成することができる。
また、学習部１１２は、複数セットのトレーニングデータのそれぞれに対して、複数セットのハイパーパラメータ等を複数回に設定して、前述のような機械学習を複数回に行うことで、複数の学習済みモデルを生成することができる。利用する複数セットのトレーニングデータは互いに依存しない独立なデータであり、複数セットのハイパーパラメータ等は互いに依存しない独立なデータであるため、学習部１１２は、前述のような機械学習を複数回に行う際に、並列に行ってトータルの学習時間を短縮することができる。
【0029】
学習済みモデルは前述のＣＮＮ構造を有する場合、学習部１１２は、もう１セットのハイパーパラメータ等として、例えば、ＣＮＮのレイヤー数、ユニット数、Ｃｏｎｖｏｌｕｔｉｏｎ層のフィルタサイズ、学習率、バッチサイズ、学習エポックを学習済みモデルＭ１の場合と異なる値にもう１回設定して、１セットのトレーニングデータを学習入力データとして機械学習をもう１回行い、もう１つの学習済みモデル（以下、「学習済みモデルＭ２」ともいう）、画像上のミクロ的な特徴（例えば、材質を示すワークのテクスチャ）の特定に得意な学習済みモデルＭ２を生成することもできる。
このようにそれぞれで設定した複数セットの偏りのあるハイパーパラメータを利用して生成した複数の偏りのある学習済みモデルＭ１とＭ２を総合的に利用して、例えば、画像上のより大きな平面の中心をワークの取り出し位置として推定しつつ、ワークの材質も同時に推定するように、総合的によいパフォーマンスを得ることができる。
このようにそれぞれで設定した複数セットの偏りのあるハイパーパラメータを利用して生成した複数の偏りのある学習済みモデルＭ１とＭ２を総合的に利用して、例えば、画像上のより大きな平面の中心をワークの取り出し位置として推定しつつ、ワークの材質も同時に推定するように、総合的によいパフォーマンスを得ることができる。
【0030】
学習部１１２は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＨＤＤ又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録媒体と、を有するように構成され、トレーニングデータと学習済みモデルをＧＰＵに導入し、機械学習の演算（例えば、前述のバックプロパゲーション演算等）を高速に行い、複数の学習済みモデルを生成してＨＤＤ又はＳＳＤ等の記録媒体に保存するように構成されてもよい。
【0031】
＜モデル評価部１１３＞
モデル評価部１１３は、学習部１１２により生成された複数の学習済みモデルの学習結果の良否評価を行い、評価結果を表示するように構成されてもよい。
具体的には、モデル評価部１１３は、例えば、Ａｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ（以下、「ＡＰ」ともいう）を評価関数として定義し、学習に使用されていないテストデータに対してＡＰを算出し、予め決めた閾値を超えたＡＰを有する学習済みモデルの学習結果を「良」として評価し、ＡＰの算出値を学習済みモデルの評価値として記録してもよい。
モデル評価部１１３は、機械学習装置１０に含まれる表示部（図示しない）としてのモニタやタブレット等に、複数の学習済みモデルに対する上述の評価結果、すなわち、「良」や「不良」、ならびにＡＰ等の評価値を表示し、ユーザに提示するように構成されてもよい。なお、モデル評価部１１３は、評価値を数値的に表示してもよく、図式的に表示してもよい。
また、モデル評価部１１３は、前述したように、ロボット制御装置２０の動作実行部２１０によるワーク５０の取り出し動作に成功したか否かの結果情報に基づいて、学習部１１２により生成された複数の学習済みモデルの良否を評価するように構成されてもよい。例えば、モデル評価部１１３は、動作実行部２１０から収集した取り出し動作の成功可否を示す結果情報を利用して、取り出し成功率の高い推論結果候補を予測した学習済みモデルを「良」として評価し、成功率の低い推論結果候補を予測した学習済みモデルを「不良」として評価するようにしてもよい。さらに、モデル評価部１１３は、取り出し成功率の値に比例して、学習済みモデルの良さの程度を示す評価値を付与するようにしてもよい。
モデル評価部１１３は、学習部１１２により生成された複数の学習済みモデルの学習結果の良否評価を行い、評価結果を表示するように構成されてもよい。
具体的には、モデル評価部１１３は、例えば、Ａｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ（以下、「ＡＰ」ともいう）を評価関数として定義し、学習に使用されていないテストデータに対してＡＰを算出し、予め決めた閾値を超えたＡＰを有する学習済みモデルの学習結果を「良」として評価し、ＡＰの算出値を学習済みモデルの評価値として記録してもよい。
モデル評価部１１３は、機械学習装置１０に含まれる表示部（図示しない）としてのモニタやタブレット等に、複数の学習済みモデルに対する上述の評価結果、すなわち、「良」や「不良」、ならびにＡＰ等の評価値を表示し、ユーザに提示するように構成されてもよい。なお、モデル評価部１１３は、評価値を数値的に表示してもよく、図式的に表示してもよい。
また、モデル評価部１１３は、前述したように、ロボット制御装置２０の動作実行部２１０によるワーク５０の取り出し動作に成功したか否かの結果情報に基づいて、学習部１１２により生成された複数の学習済みモデルの良否を評価するように構成されてもよい。例えば、モデル評価部１１３は、動作実行部２１０から収集した取り出し動作の成功可否を示す結果情報を利用して、取り出し成功率の高い推論結果候補を予測した学習済みモデルを「良」として評価し、成功率の低い推論結果候補を予測した学習済みモデルを「不良」として評価するようにしてもよい。さらに、モデル評価部１１３は、取り出し成功率の値に比例して、学習済みモデルの良さの程度を示す評価値を付与するようにしてもよい。
【0032】
＜モデル選択部１１４＞
モデル選択部１１４は、学習済みモデルの選択を受け付けるように構成されてもよい。
例えば、モデル選択部１１４は、機械学習装置１０に含まれる入力部（図示しない）としてのキーボードやマウス、又はタッチパネルを介して、複数の学習済みモデルからユーザにより選択されたものを受け付けて記録するように構成されてもよい。モデル選択部１１４は、１つの学習済みモデルの選択を受け付けてもよく、２つ以上の複数の学習済みモデルの選択を受け付けてもよい。
また、ユーザは上述の表示部に表示されるモデル評価部１１３による複数の学習済みモデルの評価結果を確認することで、モデル選択部１１４は、機械学習装置１０の入力部（図示しない）を介して「良」として高い評価値を得た１つ以上の学習済みモデルの選択を受け付けた場合、選択された１つ以上の学習済みモデルを含む選択結果を受け付けて記録してもよい。
モデル選択部１１４は、学習済みモデルの選択を受け付けるように構成されてもよい。
例えば、モデル選択部１１４は、機械学習装置１０に含まれる入力部（図示しない）としてのキーボードやマウス、又はタッチパネルを介して、複数の学習済みモデルからユーザにより選択されたものを受け付けて記録するように構成されてもよい。モデル選択部１１４は、１つの学習済みモデルの選択を受け付けてもよく、２つ以上の複数の学習済みモデルの選択を受け付けてもよい。
また、ユーザは上述の表示部に表示されるモデル評価部１１３による複数の学習済みモデルの評価結果を確認することで、モデル選択部１１４は、機械学習装置１０の入力部（図示しない）を介して「良」として高い評価値を得た１つ以上の学習済みモデルの選択を受け付けた場合、選択された１つ以上の学習済みモデルを含む選択結果を受け付けて記録してもよい。
【0033】
モデル選択部１１４は、モデル評価部１１３により算出された評価結果に基づいて、複数の学習済みモデルから少なくとも１つを自動的に選択するように構成されてもよい。
例えば、モデル選択部１１４は、モデル評価部１１３により「良」として評価された複数の学習済みモデルの中から、最も高い評価値を得た学習済みモデルを自動的に選択してもよく、評価値が予め指定された閾値を超えた全ての学習済みモデルを自動的に選択してもよい。
また、モデル選択部１１４は、上述のロボット制御装置２０の動作実行部２１０によるワーク５０の取り出し動作の成功可否を示す結果情報に基づいて、学習部１１２により生成された複数の学習済みモデルから、少なくとも１つを選択するように構成されてもよい。例えば、モデル選択部１１４は、上述の取り出し成功率に基づいて、最も高い成功率を得た学習済みモデルを選択して次回に使用するようにしてもよく、成功率の高い順に必要に応じて複数の学習済みモデルを選択して切り替えながら使用してもよい。
例えば、モデル選択部１１４は、モデル評価部１１３により「良」として評価された複数の学習済みモデルの中から、最も高い評価値を得た学習済みモデルを自動的に選択してもよく、評価値が予め指定された閾値を超えた全ての学習済みモデルを自動的に選択してもよい。
また、モデル選択部１１４は、上述のロボット制御装置２０の動作実行部２１０によるワーク５０の取り出し動作の成功可否を示す結果情報に基づいて、学習部１１２により生成された複数の学習済みモデルから、少なくとも１つを選択するように構成されてもよい。例えば、モデル選択部１１４は、上述の取り出し成功率に基づいて、最も高い成功率を得た学習済みモデルを選択して次回に使用するようにしてもよく、成功率の高い順に必要に応じて複数の学習済みモデルを選択して切り替えながら使用してもよい。
【0034】
＜推論演算部１１５＞
推論演算部１１５は、取得部１１０により取得された推論用データと、学習部１１２により生成された複数の学習済みモデルの少なくとも一部と、に基づいて推論計算処理を行い、推論結果候補を生成するように構成されてもよい。
例えば、トレーニングデータは複数のワーク５０の存在領域を撮影した画像データとその画像データ上に写っているワークの取り出し位置の位置教示データにより構成され、学習部１１２は、このようなトレーニングデータを用いて機械学習を行い、上述のＣＮＮ構造を有する学習済みモデルを生成した場合について述べる。この場合、推論演算部１１５は、推論用画像データを入力データとして学習済みモデルであるＣＮＮに代入し、推論用画像上に写っているワーク５０の取り出し位置の予測位置リストを算出して推論結果候補として出力することができる。複数の学習済みモデル、例えば、ｍ個の学習済みモデルＣＮＮ１～ＣＮＮｍを用いて推論計算処理を行う場合、推論演算部１１５は、推論用画像上に写っているワーク５０の取り出し位置のｍ個の予測位置リスト１～ｍを生成することができる（ｍは１以上の整数）。推論演算部１１５は、データ保存部（図示しない）を含むように構成され、算出した推論結果候補であるワーク５０の取り出し位置のｍ個の予測位置リスト１～ｍを保存するように構成されてもよい。
推論演算部１１５は、取得部１１０により取得された推論用データと、学習部１１２により生成された複数の学習済みモデルの少なくとも一部と、に基づいて推論計算処理を行い、推論結果候補を生成するように構成されてもよい。
例えば、トレーニングデータは複数のワーク５０の存在領域を撮影した画像データとその画像データ上に写っているワークの取り出し位置の位置教示データにより構成され、学習部１１２は、このようなトレーニングデータを用いて機械学習を行い、上述のＣＮＮ構造を有する学習済みモデルを生成した場合について述べる。この場合、推論演算部１１５は、推論用画像データを入力データとして学習済みモデルであるＣＮＮに代入し、推論用画像上に写っているワーク５０の取り出し位置の予測位置リストを算出して推論結果候補として出力することができる。複数の学習済みモデル、例えば、ｍ個の学習済みモデルＣＮＮ１～ＣＮＮｍを用いて推論計算処理を行う場合、推論演算部１１５は、推論用画像上に写っているワーク５０の取り出し位置のｍ個の予測位置リスト１～ｍを生成することができる（ｍは１以上の整数）。推論演算部１１５は、データ保存部（図示しない）を含むように構成され、算出した推論結果候補であるワーク５０の取り出し位置のｍ個の予測位置リスト１～ｍを保存するように構成されてもよい。
【0035】
なお、モデル評価部１１３は、推論演算部１１５による推論結果候補を利用して、学習部１１２により生成された複数の学習済みモデルの良否を評価し、モデル選択部１１４は、評価された複数の学習済みモデルの中から、少なくとも１つの学習済みモデルを選択するように構成されてもよい。
具体的に、例えば、上述の複数のワーク５０の存在領域を撮影した推論用画像データから、画像上に写っているワーク５０の取り出し位置を推論計算処理により予測する場合、推論演算部１１５は、推論用画像上に写っているワーク５０の取り出し位置の予測位置リストを算出して推論結果候補として出力する。複数の学習済みモデル、例えば、ＣＮＮ１～ＣＮＮｍを用いて推論計算処理を行う場合、推論演算部１１５は、ｍ個の予測位置リスト１～ｍを生成して出力する。
モデル評価部１１３は、これらの予測位置リスト１～ｍの中から、取り出し位置の候補数が多いリストに対応している学習済みモデルに高い評価値を付与して「良」として評価し、取り出し位置の候補数が少ないリストに対応している学習済みモデルに低い評価値を付与して「不良」として評価してもよい。
モデル選択部１１４は、これらの予測位置リスト１～ｍの中から、取り出し位置の候補数が最も多いリストに対応している学習済みモデルを選択してもよいが、予め指定された総数に達するように、候補数の多い順から必要だけの複数のリストに対応している複数の学習済みモデルを選択してもよい。これにより、機械学習装置１０は、１回の撮影で撮った推論用画像１枚に対して、より多い取り出し位置候補を予測でき、１回の取り出し動作でより多いワーク５０を取り出すことができ、ワーク５０を取り出す効率を上げることができる。
具体的に、例えば、上述の複数のワーク５０の存在領域を撮影した推論用画像データから、画像上に写っているワーク５０の取り出し位置を推論計算処理により予測する場合、推論演算部１１５は、推論用画像上に写っているワーク５０の取り出し位置の予測位置リストを算出して推論結果候補として出力する。複数の学習済みモデル、例えば、ＣＮＮ１～ＣＮＮｍを用いて推論計算処理を行う場合、推論演算部１１５は、ｍ個の予測位置リスト１～ｍを生成して出力する。
モデル評価部１１３は、これらの予測位置リスト１～ｍの中から、取り出し位置の候補数が多いリストに対応している学習済みモデルに高い評価値を付与して「良」として評価し、取り出し位置の候補数が少ないリストに対応している学習済みモデルに低い評価値を付与して「不良」として評価してもよい。
モデル選択部１１４は、これらの予測位置リスト１～ｍの中から、取り出し位置の候補数が最も多いリストに対応している学習済みモデルを選択してもよいが、予め指定された総数に達するように、候補数の多い順から必要だけの複数のリストに対応している複数の学習済みモデルを選択してもよい。これにより、機械学習装置１０は、１回の撮影で撮った推論用画像１枚に対して、より多い取り出し位置候補を予測でき、１回の取り出し動作でより多いワーク５０を取り出すことができ、ワーク５０を取り出す効率を上げることができる。
【0036】
推論演算部１１５は、モデル評価部１１３により「良」として評価された学習済みモデルを利用して、推論用データを代入して推論計算処理を行い、推論結果候補を生成するように構成されてもよい。
そうすることで、機械学習装置１０は、うまく学習できずに生成した「不良な」学習済みモデルを利用して推論計算処理を行っても、よい推論結果候補を得られないので、このような無駄な推論計算処理時間をなくし、推論計算処理の効率を上げることができる。
そうすることで、機械学習装置１０は、うまく学習できずに生成した「不良な」学習済みモデルを利用して推論計算処理を行っても、よい推論結果候補を得られないので、このような無駄な推論計算処理時間をなくし、推論計算処理の効率を上げることができる。
【0037】
＜推論決定部１１６＞
推論決定部１１６は、推論演算部１１５により算出された推論結果候補からその全部又は一部又はその組み合わせを出力するように構成されてもよい。
例えば、推論演算部１１５は、上述の推論用画像上のワーク５０の取り出し位置の予測位置リスト１～ｍを推論結果候補として生成した場合、推論決定部１１６は、ｍ個の予測位置リスト１～ｍの全てのリストに含まれる予測位置の情報を組み合わせて１つの位置リスト１００として生成して出力してもよい。また、推論決定部１１６は、その一部の複数のリスト、例えば、予測位置リスト１と予測位置リスト３に含まれる予測位置の情報を組み合わせて１つの位置リスト１００として生成して出力してもよい。また、推論決定部１１６は、予測位置の数が最も多いリスト（例えば、予測位置リスト２）を１つの位置リスト１００として出力してもよい。
これにより、機械学習装置１０は、１回の計測で取得した推論用画像１枚に対して、偏りのある複数の学習済みモデル（ＣＮＮ１～ＣＮＮｍ）により予測した予測位置リスト１～ｍを組み合わせることで、１回の計測でより多くの取り出し位置候補を出力でき、１回の取り出し動作でより多くのワーク５０を取り出すことができるようになり、ワーク５０を取り出す効率を上げることができる。
推論決定部１１６は、推論演算部１１５により算出された推論結果候補からその全部又は一部又はその組み合わせを出力するように構成されてもよい。
例えば、推論演算部１１５は、上述の推論用画像上のワーク５０の取り出し位置の予測位置リスト１～ｍを推論結果候補として生成した場合、推論決定部１１６は、ｍ個の予測位置リスト１～ｍの全てのリストに含まれる予測位置の情報を組み合わせて１つの位置リスト１００として生成して出力してもよい。また、推論決定部１１６は、その一部の複数のリスト、例えば、予測位置リスト１と予測位置リスト３に含まれる予測位置の情報を組み合わせて１つの位置リスト１００として生成して出力してもよい。また、推論決定部１１６は、予測位置の数が最も多いリスト（例えば、予測位置リスト２）を１つの位置リスト１００として出力してもよい。
これにより、機械学習装置１０は、１回の計測で取得した推論用画像１枚に対して、偏りのある複数の学習済みモデル（ＣＮＮ１～ＣＮＮｍ）により予測した予測位置リスト１～ｍを組み合わせることで、１回の計測でより多くの取り出し位置候補を出力でき、１回の取り出し動作でより多くのワーク５０を取り出すことができるようになり、ワーク５０を取り出す効率を上げることができる。
【0038】
機械学習装置１０は、ハイパーパラメータ等の数が多すぎてうまく調整できていない場合でも、複数セットのハイパーパラメータ等を用いて複数回の機械学習を行い、生成した複数の学習済みモデルを利用して総合的によいパフォーマンスを得ることができる。
一例を挙げて、コンテナ６０内にある複数のワーク５０の存在領域を撮影した画像又は計測した３次元計測データを利用して複数のワーク５０を連続的に取り出すタスクを、機械学習を用いて実現するアプリケーションについて述べる。複雑な形状を有するワーク５０上の複数箇所の取り出し位置を教示し、例えば、Ａ種のワーク５０上の取り出し位置Ａ１、Ａ２、Ａ３等を教示したトレーニングデータを用いてＡ種のワーク５０の取り出し位置を学習して推論するタスクがある。また、多品種ワーク混在状況の中で各種ワーク５０の取り出し位置を教示し、例えば、Ｂ種のワーク５０上の取り出し位置Ｂ１、Ｃ種のワーク５０上の取り出し位置Ｃ１、Ｄ種のワーク５０上の取り出し位置Ｄ１、Ｄ２等を教示したトレーニングデータを用いて、それぞれの種類のワーク５０の取り出し位置を学習して推論するタスクもある。
これらの複雑なタスクにおいて、数多いハイパーパラメータ等をどう調整して学習しても、生成した学習済みモデルには偏りが存在しているため、１つの学習済みモデルでは総合的にいいパフォーマンスを得ることが難しい。例えば、１つの学習済みモデルを用いてＡ種のワーク５０上の取り出し位置Ａ１をうまく推論して予測できるが、Ａ種のワーク５０上の取り出し位置Ａ２をうまく推論して予測することができない場合がある。また、１つの学習済みモデルを用いてＢ種のワーク５０上の取り出し位置Ｂ１をうまく推論して予測できるが、Ｃ種のワーク５０上の取り出し位置Ｃ１をうまく推論して予測することができない場合がある。
このような偏りのある学習済みモデル１つを利用して推論した推論結果に基づいてワーク５０を取り出すと、コンテナ６０内のワーク５０を全て取り出すことができず、うまく推論して予測できなかった一部のワーク５０の取り残しが発生してしまい、生産効率が低下してしまう。
一例を挙げて、コンテナ６０内にある複数のワーク５０の存在領域を撮影した画像又は計測した３次元計測データを利用して複数のワーク５０を連続的に取り出すタスクを、機械学習を用いて実現するアプリケーションについて述べる。複雑な形状を有するワーク５０上の複数箇所の取り出し位置を教示し、例えば、Ａ種のワーク５０上の取り出し位置Ａ１、Ａ２、Ａ３等を教示したトレーニングデータを用いてＡ種のワーク５０の取り出し位置を学習して推論するタスクがある。また、多品種ワーク混在状況の中で各種ワーク５０の取り出し位置を教示し、例えば、Ｂ種のワーク５０上の取り出し位置Ｂ１、Ｃ種のワーク５０上の取り出し位置Ｃ１、Ｄ種のワーク５０上の取り出し位置Ｄ１、Ｄ２等を教示したトレーニングデータを用いて、それぞれの種類のワーク５０の取り出し位置を学習して推論するタスクもある。
これらの複雑なタスクにおいて、数多いハイパーパラメータ等をどう調整して学習しても、生成した学習済みモデルには偏りが存在しているため、１つの学習済みモデルでは総合的にいいパフォーマンスを得ることが難しい。例えば、１つの学習済みモデルを用いてＡ種のワーク５０上の取り出し位置Ａ１をうまく推論して予測できるが、Ａ種のワーク５０上の取り出し位置Ａ２をうまく推論して予測することができない場合がある。また、１つの学習済みモデルを用いてＢ種のワーク５０上の取り出し位置Ｂ１をうまく推論して予測できるが、Ｃ種のワーク５０上の取り出し位置Ｃ１をうまく推論して予測することができない場合がある。
このような偏りのある学習済みモデル１つを利用して推論した推論結果に基づいてワーク５０を取り出すと、コンテナ６０内のワーク５０を全て取り出すことができず、うまく推論して予測できなかった一部のワーク５０の取り残しが発生してしまい、生産効率が低下してしまう。
【0039】
ここで、生成した偏りのある複数の学習済みモデル（例えば、ＣＮＮ１～ＣＮＮｍ）をうまく利用して総合的によいパフォーマンスを得る方法を説明する。
機械学習装置１０は、複数セットのハイパーパラメータ等を利用した複数回の学習を行うことで、例えば、Ｂ種のワーク５０上の取り出し位置Ｂ１とＣ種のワーク５０上の取り出し位置Ｃ１の推論予測は得意だが、他の種類のワーク５０上の取り出し位置の推論予測は苦手な学習済みモデルＣＮＮ１を生成し、Ｄ種のワーク５０上の取り出し位置Ｄ１、Ｄ２の推論予測は得意だが、他の種類のワーク５０上の取り出し位置の推論予測は苦手な学習済みモデルＣＮＮ２も生成する。これにより、機械学習装置１０は、Ｂ、Ｃ、Ｄ三種類のワーク５０が混在しているコンテナ６０の内部を撮影した１つの推論用画像データに対して、学習済みモデルＣＮＮ１と学習済みモデルＣＮＮ２とのそれぞれが推論して予測した取り出し位置情報を組み合わせることで、Ｂ～Ｄ種の全てのワーク５０の取り出し位置Ｂ１～Ｄ２を全て予測した推論結果を得ることができる。これにより、機械学習装置１０は、一部のワーク５０の未検出又は取り残り問題を改善して、総合的によいパフォーマンスを得ることができる。
また、ワーク５０を取り出して行くと、コンテナ６０内のワーク５０が減って行くとともに、例えば、撮影した画像上はＤ種のワーク５０がなくなっている場合がある。このような実状況に応じて、機械学習装置１０は、Ｂ種とＣ種のワークの取り出し位置の推論予測が得意な学習済みモデルＣＮＮ１を選択して切り替えて推論してもよい。
機械学習装置１０は、複数セットのハイパーパラメータ等を利用した複数回の学習を行うことで、例えば、Ｂ種のワーク５０上の取り出し位置Ｂ１とＣ種のワーク５０上の取り出し位置Ｃ１の推論予測は得意だが、他の種類のワーク５０上の取り出し位置の推論予測は苦手な学習済みモデルＣＮＮ１を生成し、Ｄ種のワーク５０上の取り出し位置Ｄ１、Ｄ２の推論予測は得意だが、他の種類のワーク５０上の取り出し位置の推論予測は苦手な学習済みモデルＣＮＮ２も生成する。これにより、機械学習装置１０は、Ｂ、Ｃ、Ｄ三種類のワーク５０が混在しているコンテナ６０の内部を撮影した１つの推論用画像データに対して、学習済みモデルＣＮＮ１と学習済みモデルＣＮＮ２とのそれぞれが推論して予測した取り出し位置情報を組み合わせることで、Ｂ～Ｄ種の全てのワーク５０の取り出し位置Ｂ１～Ｄ２を全て予測した推論結果を得ることができる。これにより、機械学習装置１０は、一部のワーク５０の未検出又は取り残り問題を改善して、総合的によいパフォーマンスを得ることができる。
また、ワーク５０を取り出して行くと、コンテナ６０内のワーク５０が減って行くとともに、例えば、撮影した画像上はＤ種のワーク５０がなくなっている場合がある。このような実状況に応じて、機械学習装置１０は、Ｂ種とＣ種のワークの取り出し位置の推論予測が得意な学習済みモデルＣＮＮ１を選択して切り替えて推論してもよい。
【0040】
推論決定部１１６による出力がなくなった時、モデル選択部１１４は、複数の学習済みモデルから新たに学習済みモデルを少なくとも１つ選択し、推論演算部１１５は、新たに選択された学習済みモデルに基づいて推論計算処理を行い、推論決定部１１６は、この新しい推論結果候補を出力するように構成されてもよい。
そうすることで、機械学習装置１０は、上述の予測位置リストに取り出し位置の予測情報が１つもないような場合でも、新たに学習済みモデルを選択し、推論予測した新しい取り出し位置に取り行くことで、連続的な取り出し動作を実現できる。これにより、機械学習装置１０は、ハンド３１によるワーク５０の取り出し動作の稼働停止を防止して、生産ラインの生産効率を上げることができる。
そうすることで、機械学習装置１０は、上述の予測位置リストに取り出し位置の予測情報が１つもないような場合でも、新たに学習済みモデルを選択し、推論予測した新しい取り出し位置に取り行くことで、連続的な取り出し動作を実現できる。これにより、機械学習装置１０は、ハンド３１によるワーク５０の取り出し動作の稼働停止を防止して、生産ラインの生産効率を上げることができる。
【0041】
＜学習フェーズにおける機械学習装置１０の機械学習処理＞
次に、学習フェーズにおける本実施形態に係る機械学習装置１０の機械学習処理に係る動作について説明する。
図４は、学習フェーズにおける機械学習装置１０の機械学習処理について説明するフローチャートである。
なお、図４のフローはバッチ学習を例示するが、バッチ学習に替えてオンライン学習又はミニバッチ学習に置き換えてもよい。
次に、学習フェーズにおける本実施形態に係る機械学習装置１０の機械学習処理に係る動作について説明する。
図４は、学習フェーズにおける機械学習装置１０の機械学習処理について説明するフローチャートである。
なお、図４のフローはバッチ学習を例示するが、バッチ学習に替えてオンライン学習又はミニバッチ学習に置き換えてもよい。
【0042】
ステップＳ１１において、取得部１１０は、データベース７０からトレーニングデータを取得する。
【0043】
ステップＳ１２において、パラメータ抽出部１１１は、全てのハイパーパラメータ等の中から重要なハイパーパラメータを抽出する。ここで重要なハイパーパラメータを抽出するように説明しているが、これに限定されない。例えば、ハイパーパラメータのトータル数が少ない場合、ステップＳ１２による重要なハイパーパラメータの抽出を行わなくてもよい。
【0044】
ステップＳ１３において、学習部１１２は、ステップＳ１１で取得されたトレーニングデータに基づいて、複数セットのハイパーパラメータ等を複数回に設定して複数回の機械学習を行い、複数の学習済みモデルを生成する。
【0045】
＜運用フェーズにおける機械学習装置１０の推論計算処理＞
次に、運用フェーズにおける本実施形態に係る機械学習装置１０の推論計算処理に係る動作について説明する。
図５は、運用フェーズにおける機械学習装置１０の推論計算処理について説明するフローチャートである。
次に、運用フェーズにおける本実施形態に係る機械学習装置１０の推論計算処理に係る動作について説明する。
図５は、運用フェーズにおける機械学習装置１０の推論計算処理について説明するフローチャートである。
【0046】
ステップＳ２１において、取得部１１０は、計測器４０から推論用データを取得する。
【0047】
ステップＳ２２において、モデル評価部１１３は、学習部１１２により図４の機械学習処理で生成された複数の学習済みモデルの学習結果の良否を評価し、評価結果を機械学習装置１０の表示部（図示しない）に表示する。ここで、学習フェーズと運用フェーズに分けて説明していて、学習フェーズが全て完了した後に、生成した複数の学習済みモデルをまとめてモデル評価部１１３に渡して評価してもよいが、これに限定されない。例えば、学習フェーズのステップＳ１３の途中でも、学習済みモデルを１つ生成したら、すぐにモデル評価部１１３に渡してその学習結果を評価するように、学習済みモデルの学習結果の評価をオンラインで実行してもよい。
【0048】
ステップＳ２３において、モデル選択部１１４は、機械学習装置１０の入力部（図示しない）を介してユーザによる学習済みモデルの選択があったか否かを判定する。ユーザによる学習済みモデルの選択があった場合、処理はステップＳ２５に移る。一方、ユーザによる学習済みモデルの選択がない場合、処理はステップＳ２４に進む。
【0049】
ステップＳ２４において、モデル選択部１１４は、ステップＳ２２で算出された評価結果に基づいて、複数の学習済みモデルから少なくとも１つのより良い学習済みモデルを選択する。
【0050】
ステップＳ２５において、推論演算部１１５は、ステップＳ２１で取得された推論用データと、ステップＳ２３又はステップＳ２４で選択された学習済みモデルと、に基づいて推論計算処理を行い、推論結果候補を生成する。
【0051】
ステップＳ２６において、モデル評価部１１３は、ステップＳ２５で生成された推論結果候補を利用して、複数の学習済みモデルの良否を再評価する。ここで、再評価するように説明しているが、これに限定されない。例えば、全体的な計算処理時間を減らすように、このステップＳ２６をスキップしてもよい。この場合、ステップＳ２７もスキップして、直接ステップＳ２８に遷移する。
【0052】
ステップＳ２７において、モデル選択部１１４は、ステップＳ２６で再評価された複数の学習済みモデルの中から、少なくとも１つの学習済みモデルを再選択するか否かを判定する。学習済みモデルを再選択する場合、処理はステップＳ２４に戻る。一方、学習済みモデルを再選択しない場合、処理はステップＳ２８に移る。
【0053】
ステップＳ２８において、推論決定部１１６は、ステップＳ２５で算出された推論結果候補からその全部又は一部又はその組み合わせを出力する。
【0054】
ステップＳ２９において、推論決定部１１６は、ステップＳ２８で出力した推論結果候補がなしか否かを判定する。出力がない場合、処理は学習済みモデルを再選択するためにステップＳ２４に戻る。一方、出力がある場合、処理はステップＳ３０に進む。
【0055】
ステップＳ３０において、機械学習装置１０は、ステップＳ２８で出力された推論結果候補を取り出し位置情報として、ロボット制御装置２０の動作実行部２１０がこの取り出し位置情報に基づいて取り出し動作を実行したか否かを判定する。取り出し動作を実行した場合、処理はステップＳ３１に移る。一方、取り出し動作を実行していない場合、推論計算処理を終了する。
【0056】
ステップＳ３１において、機械学習装置１０は、ロボット制御装置２０の動作実行部２１０によるワーク５０の取り出し動作の実行結果のフィードバックを受信したか否かを判定する。フィードバックを受信した場合、処理はステップＳ２２、Ｓ２４に戻る。一方、フィードバックを受信しない場合、推論計算処理は終了する。
【0057】
以上により、一実施形態に係る機械学習装置１０は、データベース７０からトレーニングデータを取得し、取得したトレーニングデータに基づいて、１セットのトレーニングデータに対して、複数セットのハイパーパラメータを複数回に設定して複数回の機械学習を行い、複数の学習済みモデルを生成する。機械学習装置１０は、生成した複数の学習済みモデルそれぞれの学習結果の良否を評価し、評価結果に基づいて複数の学習済みモデルから少なくとも１つのより良い学習済みモデルを選択する。機械学習装置１０は、計測器４０から取得した推論用データと、選択した学習済みモデルと、に基づいて推論計算処理を行い、推論結果候補を生成する。機械学習装置１０は、生成した推論結果候補の全部又は一部又はその組み合わせを出力する。
これにより、機械学習装置１０は、偏りのある複数の学習済みモデルを生成して総合的に利用することにより、学習に用いるトレーニングデータの収集にかかる時間と手間を減らして、少ないトレーニングデータでも、よいパフォーマンスを得ることができる。すなわち、学習に用いるトレーニングデータの収集にかかる時間と手間を減らして、少ないトレーニングデータでも、よいパフォーマンスを得られる。
また、機械学習装置１０は、調整必要なハイパーパラメータの数が多くて、どのように調整してもよい学習済みモデルを生成できない場合でも、偏りのある複数の学習済みモデルを利用して生成した偏りのある複数の推論結果候補を組み合わせることで、あるいは実状況に応じてよい学習済みモデルを少なくとも１つ選択して総合的にいいパフォーマンスを出せる。
また、機械学習装置１０は、画像認識におけるワークの未検出問題や、取り残し問題を解決し、高い生産効率を実現できる。
これにより、機械学習装置１０は、偏りのある複数の学習済みモデルを生成して総合的に利用することにより、学習に用いるトレーニングデータの収集にかかる時間と手間を減らして、少ないトレーニングデータでも、よいパフォーマンスを得ることができる。すなわち、学習に用いるトレーニングデータの収集にかかる時間と手間を減らして、少ないトレーニングデータでも、よいパフォーマンスを得られる。
また、機械学習装置１０は、調整必要なハイパーパラメータの数が多くて、どのように調整してもよい学習済みモデルを生成できない場合でも、偏りのある複数の学習済みモデルを利用して生成した偏りのある複数の推論結果候補を組み合わせることで、あるいは実状況に応じてよい学習済みモデルを少なくとも１つ選択して総合的にいいパフォーマンスを出せる。
また、機械学習装置１０は、画像認識におけるワークの未検出問題や、取り残し問題を解決し、高い生産効率を実現できる。
【0058】
以上、一実施形態について説明したが、機械学習装置１０は、上述の実施形態に限定されるものではなく、目的を達成できる範囲での変形、改良等を含む。
【0059】
＜変形例１＞
上述の一実施形態では、機械学習装置１０は、ロボット制御装置２０と異なる装置として例示したが、機械学習装置１０の一部又は全部の機能を、ロボット制御装置２０が備えるように構成されてもよい。
あるいは、機械学習装置１０の取得部１１０、パラメータ抽出部１１１、学習部１１２、モデル評価部１１３、モデル選択部１１４、推論演算部１１５、及び推論決定部１１６の一部又は全部を、例えば、サーバが備えるようにしてもよい。また、クラウド上で仮想サーバ機能等を利用して、機械学習装置１０の各機能を実現してもよい。
さらに、機械学習装置１０は、機械学習装置１０の各機能を適宜複数のサーバに分散される、分散処理システムとしてもよい。
上述の一実施形態では、機械学習装置１０は、ロボット制御装置２０と異なる装置として例示したが、機械学習装置１０の一部又は全部の機能を、ロボット制御装置２０が備えるように構成されてもよい。
あるいは、機械学習装置１０の取得部１１０、パラメータ抽出部１１１、学習部１１２、モデル評価部１１３、モデル選択部１１４、推論演算部１１５、及び推論決定部１１６の一部又は全部を、例えば、サーバが備えるようにしてもよい。また、クラウド上で仮想サーバ機能等を利用して、機械学習装置１０の各機能を実現してもよい。
さらに、機械学習装置１０は、機械学習装置１０の各機能を適宜複数のサーバに分散される、分散処理システムとしてもよい。
【0060】
＜変形例２＞
また例えば、上述の実施形態では、機械学習装置１０は、機械学習処理と推論計算処理とを別々に実行したが、これに限定されない。例えば、機械学習装置１０は、オンライン学習で機械学習処理を実行しながら、推論計算処理を実行するようにしてもよい。
また例えば、上述の実施形態では、機械学習装置１０は、機械学習処理と推論計算処理とを別々に実行したが、これに限定されない。例えば、機械学習装置１０は、オンライン学習で機械学習処理を実行しながら、推論計算処理を実行するようにしてもよい。
【0061】
なお、一実施形態における機械学習装置１０に含まれる各機能は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【0062】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（Ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は、無線通信路を介して、プログラムをコンピュータに供給できる。
【0063】
なお、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0064】
以上を換言すると、本開示の機械学習装置、及び機械学習方法は、次のような構成を有する各種各様の実施形態を取ることができる。
【0065】
（１）本開示の機械学習装置１０は、機械学習装置であって、機械学習に用いるトレーニングデータと推論用データを取得する取得部１１０と、トレーニングデータと複数セットの学習用パラメータに基づいて機械学習を行い、複数の学習済みモデルを生成する学習部１１２と、複数の学習済みモデルの学習結果の良否評価を行い、評価結果を表示するモデル評価部１１３と、学習済みモデルの選択の受付が可能なモデル選択部１１４と、複数の学習済みモデルの少なくとも一部と、推論用データと、に基づいて推論計算処理を行い、推論結果候補を生成する推論演算部１１５と、推論結果候補の全部又は一部又はその組合せを出力する推論決定部１１６と、を備える。
この機械学習装置１０によれば、学習に用いるトレーニングデータの収集にかかる時間と手間を減らして、少ないトレーニングデータでも、よいパフォーマンスを得ることができる。
この機械学習装置１０によれば、学習に用いるトレーニングデータの収集にかかる時間と手間を減らして、少ないトレーニングデータでも、よいパフォーマンスを得ることができる。
【0066】
（２） （１）に記載の機械学習装置１０において、モデル選択部１１４は、ユーザがモデル評価部１１３により表示される評価結果に基づいて選択した学習済みモデルを受け付けてもよい。
そうすることで、機械学習装置１０は、コンピュータが計算した評価結果にミスがある場合でも、ユーザが認識した現場の実状況に合わせて選択した最適な学習済みモデルに応じた推論演算処理を行うことができる。さらに、ユーザによる選択結果をフィードバックして学習し、コンピュータの計算ミスの修正や機械学習のアルゴリズムの改善を行って機械学習装置１０の予測精度を上げることもできる。
そうすることで、機械学習装置１０は、コンピュータが計算した評価結果にミスがある場合でも、ユーザが認識した現場の実状況に合わせて選択した最適な学習済みモデルに応じた推論演算処理を行うことができる。さらに、ユーザによる選択結果をフィードバックして学習し、コンピュータの計算ミスの修正や機械学習のアルゴリズムの改善を行って機械学習装置１０の予測精度を上げることもできる。
【0067】
（３） （１）に記載の機械学習装置１０において、モデル選択部１１４は、ユーザの介入を頼らずに、モデル評価部１１３による評価結果に基づいて学習済みモデルを自動的に選択してもよい。
そうすることで、機械学習装置１０は、無人な環境の中で自ら学習して得たルールに従って最適な学習済みモデルを自律的に選択し、最適な学習済みモデルを用いて推論演算処理を行うことができる。
そうすることで、機械学習装置１０は、無人な環境の中で自ら学習して得たルールに従って最適な学習済みモデルを自律的に選択し、最適な学習済みモデルを用いて推論演算処理を行うことができる。
【0068】
（４） （１）～（３）の何れかに記載の機械学習装置１０において、パラメータ抽出部１１１をさらに備え、パラメータ抽出部１１１は、複数のハイパーパラメータの中から重要なハイパーパラメータを抽出し、学習部１１２は、抽出されたハイパーパラメータに基づいて機械学習を行い、複数の学習済みモデルを生成してもよい。
そうすることで、機械学習装置１０は、ハイパーパラメータの調整にかかる時間を減らして学習の効率を上げることができる。
そうすることで、機械学習装置１０は、ハイパーパラメータの調整にかかる時間を減らして学習の効率を上げることができる。
【0069】
（５） （１）～（４）の何れかに記載の機械学習装置１０において、モデル評価部１１３は、推論演算部１１５により生成された推論結果候補に基づいて、学習済みモデルの良否を評価してもよい。
そうすることで、機械学習装置１０は、学習に用いたことのない実際の推論用データに基づいて学習済みモデルの実力を正しく評価することができる。
そうすることで、機械学習装置１０は、学習に用いたことのない実際の推論用データに基づいて学習済みモデルの実力を正しく評価することができる。
【0070】
（６） （５）に記載の機械学習装置１０において、推論演算部１１５により生成された推論結果候補に基づくモデル評価部１１３による評価結果に基づいて、よりよい推論結果候補を得た学習済みモデルを選択してもよい。
そうすることで、機械学習装置１０は、最良のパフォーマンスが得られた最良の学習済みモデルを選択することができる。
そうすることで、機械学習装置１０は、最良のパフォーマンスが得られた最良の学習済みモデルを選択することができる。
【0071】
（７） （１）～（６）の何れかに記載の機械学習装置１０において、推論演算部１１５は、モデル評価部１１３により良と評価された学習済みモデルに基づいて推論計算処理を行い、推論結果候補を生成してもよい。
そうすることで、機械学習装置１０は、うまく学習できずに生成した「不良な」学習済みモデルを利用して推論計算処理を行っても、よい推論結果候補を得られないので、このような無駄な推論計算処理時間をなくし、推論計算処理の効率を上げることができる。
そうすることで、機械学習装置１０は、うまく学習できずに生成した「不良な」学習済みモデルを利用して推論計算処理を行っても、よい推論結果候補を得られないので、このような無駄な推論計算処理時間をなくし、推論計算処理の効率を上げることができる。
【0072】
（８） （１）～（７）の何れかに記載の機械学習装置１０において、モデル選択部１１４は、推論演算部１１５により生成された推論結果候補に基づいて、学習済みモデルを選択してもよい。
そうすることで、機械学習装置１０は、１回の撮影で撮った推論用画像１枚に対して、より多い取り出し位置候補を予測できた学習済みモデルを選択することで、１回の取り出し動作でより多いワークを取り出すことができ、ワークを取り出す効率を上げることができる。
そうすることで、機械学習装置１０は、１回の撮影で撮った推論用画像１枚に対して、より多い取り出し位置候補を予測できた学習済みモデルを選択することで、１回の取り出し動作でより多いワークを取り出すことができ、ワークを取り出す効率を上げることができる。
【0073】
（９） （１）～（８）の何れかに記載の機械学習装置１０において、推論決定部１１６による出力がなくなった時、モデル選択部１１４は複数の学習済みモデルから、新たに少なくとも１つの学習済みモデルを選択し、推論演算部１１５は、新たに選択された少なくとも１つの学習済みモデルに基づいて推論計算処理を行い、少なくとも１つの新しい推論結果候補を生成し、推論決定部１１６は、新しい推論結果候補の全部又は一部又はその組み合わせを出力してもよい。
そうすることで、機械学習装置１０は、推論結果として出力された取り出し位置は１つもないような場合でも、新たに学習済みモデルを選択し、新たに推論予測した新しい取り出し位置に取り行くことで、ハンド３１によるワーク５０の取り出し動作の稼働停止を防止して、連続的な取り出し動作を実現でき、生産ラインの生産効率を上げることができる。
そうすることで、機械学習装置１０は、推論結果として出力された取り出し位置は１つもないような場合でも、新たに学習済みモデルを選択し、新たに推論予測した新しい取り出し位置に取り行くことで、ハンド３１によるワーク５０の取り出し動作の稼働停止を防止して、連続的な取り出し動作を実現でき、生産ラインの生産効率を上げることができる。
【0074】
（１０） （１）～（９）の何れかに記載の機械学習装置１０において、学習部１１２は、複数セットのトレーニングデータに基づいて機械学習を行ってもよい。
そうすることで、機械学習装置１０は、バリエーションの多いトレーニングデータを利用して学習し、様々な状況をうまく推論できるようなロバスト性がよい学習済みモデルを得られ、総合的にいいパフォーマンスを出すことができる。
そうすることで、機械学習装置１０は、バリエーションの多いトレーニングデータを利用して学習し、様々な状況をうまく推論できるようなロバスト性がよい学習済みモデルを得られ、総合的にいいパフォーマンスを出すことができる。
【0075】
（１１） （１）～（１０）の何れかに記載の機械学習装置１０において、取得部１１０は、トレーニングデータと推論用データとして、複数のワーク５０の存在領域の画像データを取得し、トレーニングデータは、画像データ上のワーク５０の少なくとも１つの特徴の教示データを含んでもよい。
そうすることで、機械学習装置１０は、教示データに近い予測値を出力でき、教示データに含まれる特徴と似ている特徴を様々な推論用画像データ上で特定できるような学習済みモデルを機械学習により生成することができる。
そうすることで、機械学習装置１０は、教示データに近い予測値を出力でき、教示データに含まれる特徴と似ている特徴を様々な推論用画像データ上で特定できるような学習済みモデルを機械学習により生成することができる。
【0076】
（１２） （１）～（１１）の何れかに記載の機械学習装置１０において、取得部１１０は、トレーニングデータと推論用データとして、複数のワーク５０の存在領域の３次元計測データを取得し、トレーニングデータは、３次元計測データ上のワーク５０の少なくとも１つの特徴の教示データを含んでもよい。
そうすることで、機械学習装置１０は、教示データに近い予測値を出力でき、教示データに含まれる特徴と似ている特徴を様々な推論用３次元計測データ上で特定できるような学習済みモデルを機械学習により生成することができる。
そうすることで、機械学習装置１０は、教示データに近い予測値を出力でき、教示データに含まれる特徴と似ている特徴を様々な推論用３次元計測データ上で特定できるような学習済みモデルを機械学習により生成することができる。
【0077】
（１３） （１１）又は（１２）に記載の機械学習装置１０において、学習部１１２は、トレーニングデータに基づいて機械学習を行い、推論演算部１１５は、ワーク５０の少なくとも１つの特徴の情報を含む推論結果候補を生成してもよい。
そうすることで、機械学習装置１０は、教示データに含まれる特徴と似ている特徴を様々な推論用データ上で特定できる学習済みモデルの複数をうまく利用して総合的によいパフォーマンスを得ることができる。
そうすることで、機械学習装置１０は、教示データに含まれる特徴と似ている特徴を様々な推論用データ上で特定できる学習済みモデルの複数をうまく利用して総合的によいパフォーマンスを得ることができる。
【0078】
（１４） （１）～（１０）の何れかに記載の機械学習装置１０において、取得部１１０は、トレーニングデータと推論用データとして、複数のワーク５０の存在領域の画像データを取得し、トレーニングデータは、画像データ上のワーク５０の少なくとも１つの取り出し位置の教示データを含んでもよい。
そうすることで、機械学習装置１０は、教示データに近い予測値を出力でき、教示データに含まれる取り出し位置と似ている位置を様々な推論用画像データ上で推定できるような学習済みモデルを機械学習により生成することができる。
そうすることで、機械学習装置１０は、教示データに近い予測値を出力でき、教示データに含まれる取り出し位置と似ている位置を様々な推論用画像データ上で推定できるような学習済みモデルを機械学習により生成することができる。
【0079】
（１５） （１）～（１０）及び（１４）の何れかに記載の機械学習装置１０において、取得部１１０は、トレーニングデータと推論用データとして、複数のワーク５０の存在領域の３次元計測データを取得し、トレーニングデータは、３次元計測データ上のワーク５０の少なくとも１つの取り出し位置の教示データを含んでもよい。
そうすることで、機械学習装置１０は、教示データに近い予測値を出力でき、教示データに含まれる取り出し位置と似ている位置を様々な推論用３次元計測データ上で推定できるような学習済みモデルを機械学習により生成することができる。
そうすることで、機械学習装置１０は、教示データに近い予測値を出力でき、教示データに含まれる取り出し位置と似ている位置を様々な推論用３次元計測データ上で推定できるような学習済みモデルを機械学習により生成することができる。
【0080】
（１６） （１４）又は（１５）に記載の機械学習装置１０において、学習部１１２は、トレーニングデータに基づいて機械学習を行い、推論演算部１１５は、ワーク５０の少なくとも１つの取り出し位置の情報を含む推論結果候補を生成してもよい。
そうすることで、機械学習装置１０は、教示データに含まれる取り出し位置と似ている位置を様々な推論用データ上で推定できる学習済みモデルの複数をうまく利用して総合的によいパフォーマンスを得ることができる。
そうすることで、機械学習装置１０は、教示データに含まれる取り出し位置と似ている位置を様々な推論用データ上で推定できる学習済みモデルの複数をうまく利用して総合的によいパフォーマンスを得ることができる。
【0081】
（１７） （１６）に記載の機械学習装置１０において、モデル評価部１１３は、ワーク５０を取り出すハンド３１を有するロボット３０に対してハンド３１によるワーク５０の取り出し動作を実行させる動作実行部２１０を含むロボット制御装置２０から、機械学習装置１０により出力されたワーク５０の少なくとも１つの取り出し位置の推論結果に基づいた動作実行部２１０による取り出し動作の実行結果を受け取り、取り出し動作の実行結果に基づいて複数の学習済みモデルの学習結果の良否を評価してもよい。
そうすることで、機械学習装置１０は、ワーク５０の取り出し成功率の高い推論結果候補を予測した学習済みモデルに対して高い評価値を付与することができる。
そうすることで、機械学習装置１０は、ワーク５０の取り出し成功率の高い推論結果候補を予測した学習済みモデルに対して高い評価値を付与することができる。
【0082】
（１８） （１６）又は（１７）に記載の機械学習装置１０において、モデル選択部１１４は、ワーク５０を取り出すハンド３１を有するロボット３０に対してハンド３１によるワーク５０の取り出し動作を実行させる動作実行部２１０を含むロボット制御装置２０から、機械学習装置１０により出力されたワーク５０の少なくとも１つの取り出し位置の推論結果に基づいた動作実行部２１０による取り出し動作の実行結果を受け取り、取り出し動作の実行結果に基づいて学習済みモデルを選択してもよい。
そうすることで、機械学習装置１０は、ワーク５０の取り出し成功率の高い推論結果候補を予測する学習済みモデルを選択することができる。
そうすることで、機械学習装置１０は、ワーク５０の取り出し成功率の高い推論結果候補を予測する学習済みモデルを選択することができる。
【0083】
（１９）本開示の機械学習方法は、コンピュータにより実現される機械学習方法であって、機械学習に用いるトレーニングデータと推論用データを取得する取得工程と、トレーニングデータと複数セットの学習用パラメータに基づいて機械学習を行い、複数の学習済みモデルを生成する学習工程と、複数の学習済みモデルの学習結果の良否評価を行い、評価結果を表示するモデル評価工程と、学習済みモデルの選択の受付が可能なモデル選択工程と、複数の学習済みモデルの少なくとも一部と、推論用データとに基づいて推論計算処理を行い、推論結果候補を生成する推論演算工程と、推論結果候補の全部又は一部又はその組合せを出力する推論決定工程と、を備える。
この機械学習方法によれば、（１）と同様の効果を奏することができる。
この機械学習方法によれば、（１）と同様の効果を奏することができる。
【符号の説明】
【0084】
１ ロボットシステム
１０ 機械学習装置
１１ 制御部
１１０ 取得部
１１１ パラメータ抽出部
１１２ 学習部
１１３ モデル評価部
１１４ モデル選択部
１１５ 推論演算部
１１６ 推論決定部
２０ ロボット制御装置
２１ 制御部
２１０ 動作実行部
３０ ロボット
４０ 計測器
５０ ワーク
６０ コンテナ
７０ データベース
１０ 機械学習装置
１１ 制御部
１１０ 取得部
１１１ パラメータ抽出部
１１２ 学習部
１１３ モデル評価部
１１４ モデル選択部
１１５ 推論演算部
１１６ 推論決定部
２０ ロボット制御装置
２１ 制御部
２１０ 動作実行部
３０ ロボット
４０ 計測器
５０ ワーク
６０ コンテナ
７０ データベース
【図1】
【図2】
【図3】
【図4】
【図5】