知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-24
(45)【発行日】2024-10-02
(54)【発明の名称】推論計算処理装置、及び推論計算処理方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20240925BHJP
G06T 7/00 20170101ALI20240925BHJP
G10L 15/16 20060101ALN20240925BHJP
【ＦＩ】
G06N20/00
G06T7/00 350B
G10L15/16
【請求項の数】
16
(21)【出願番号】P 2022551996
(86)(22)【出願日】2021-09-21
(86)【国際出願番号】 JP2021034571
(87)【国際公開番号】W WO2022065303
(87)【国際公開日】2022-03-31
【審査請求日】2023-04-05
(31)【優先権主張番号】P 2020161213
(32)【優先日】2020-09-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】390008235
【氏名又は名称】ファナック株式会社
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100165157
【弁理士】
【氏名又は名称】芝 哲央
(74)【代理人】
【識別番号】100160794
【弁理士】
【氏名又は名称】星野 寛明
(72)【発明者】
【氏名】李 維佳
【審査官】佐藤 直樹
(56)【参考文献】
【文献】特開２０１８－１３６８０３（ＪＰ，Ａ）
【文献】国際公開第２０２０／０２６６４３（ＷＯ，Ａ１）
【文献】茂出木 敏雄，「概念テンプレートを用いた衛星画像のパターン検索ツールの開発」，情報処理学会第７０回（平成２０年）全国大会講演論文集（２），日本，社団法人 情報処理学会，2008年03月13日，第2-525～2-526頁
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
Ｇ０６Ｔ ７／００
Ｇ１０Ｌ １５／１６
(57)【特許請求の範囲】
【請求項1】
学習済みモデルに推論用データを入力して前記推論用データの推論計算処理を実行する推論計算処理装置であって、前記推論用データと前記学習済みモデルとを取得する取得部と、
取得された前記推論用データをバッチ処理で複数の推論用サブデータに分割する前処理部と、
前記複数の推論用サブデータの少なくとも一部と前記学習済みモデルとに基づいて前記推論用データの推論計算処理を実行する実行部と、を備え、
前記取得部は、前記学習済みモデルを生成するために用いられたトレーニングデータを取得し、
前記実行部は、前記トレーニングデータと前記複数の推論用サブデータとのマッチングの度合いに応じた評価スコアを前記複数の推論用サブデータに付与し、付与された前記評価スコアによる優先順位に基づいて前記複数の推論用サブデータの推論計算処理順番を調整する
推論計算処理装置。
【請求項2】
前記前処理部は、前記トレーニングデータに基づいて前記推論用データの前記バッチ処理を行う、請求項１に記載の推論計算処理装置。
【請求項3】
前記取得部は、前記推論用データとして画像データを取得する、請求項１又は請求項２に記載の推論計算処理装置。
【請求項4】
前記前処理部は、前記推論用データとして取得された前記画像データの画像処理を行う、請求項３に記載の推論計算処理装置。
【請求項5】
前記前処理部は、前記画像処理の結果に基づいて前記推論用データの前記バッチ処理を行う、請求項４に記載の推論計算処理装置。
【請求項6】
前記実行部は、前記画像処理の結果に基づいて前記複数の推論用サブデータそれぞれに評価スコアを付与し、付与された前記評価スコアによる優先順位に基づいて前記複数の推論用サブデータの前記推論計算処理順番を最適化する、請求項４又は請求項５に記載の推論計算処理装置。
【請求項7】
学習済みモデルに推論用データを入力して前記推論用データの推論計算処理を実行する推論計算処理装置であって、前記推論用データと前記学習済みモデルとを取得する取得部と、
取得された前記推論用データをバッチ処理で複数の推論用サブデータに分割する前処理部と、
前記複数の推論用サブデータの少なくとも一部と前記学習済みモデルとに基づいて前記推論用データの推論計算処理を実行する実行部と、を備え、
前記取得部は、前記推論用データとして音声データを取得し、
前記前処理部は、前記推論用データとして取得された前記音声データの特徴分析を行い、
前記実行部は、前記特徴分析の結果に基づいて前記複数の推論用サブデータに評価スコアを付与し、付与された前記評価スコアによる優先順位に基づいて前記複数の推論用サブデータの推論計算処理順番を調整する
推論計算処理装置。
【請求項8】
前記前処理部は、前記特徴分析の結果に基づいて前記推論用データの前記バッチ処理を行う、請求項７に記載の推論計算処理装置。
【請求項9】
前記取得部は、前記推論用データとして文字データを取得する、請求項１又は請求項２に記載の推論計算処理装置。
【請求項10】
前記前処理部は、前記推論用データとして取得された前記文字データの特徴分析を行う、請求項９に記載の推論計算処理装置。
【請求項11】
前記前処理部は、前記特徴分析の結果に基づいて前記推論用データの前記バッチ処理を行う、請求項１０に記載の推論計算処理装置。
【請求項12】
前記実行部は、前記特徴分析の結果に基づいて前記複数の推論用サブデータに評価スコアを付与し、付与された前記評価スコアによる優先順位に基づいて前記複数の推論用サブデータの推論計算処理順番を調整する、請求項１０又は請求項１１に記載の推論計算処理装置。
【請求項13】
前記取得部は、３次元計測データを取得する、請求項１又は請求項２に記載の推論計算処理装置。
【請求項14】
前記前処理部は、前記３次元計測データに基づいて前記推論用データの前記バッチ処理を行う、請求項１３に記載の推論計算処理装置。
【請求項15】
前記実行部は、前記３次元計測データに基づいて前記複数の推論用サブデータに評価スコアを付与し、付与された前記評価スコアによる優先順位に基づいて前記複数の推論用サブデータの推論計算処理順番を調整する、請求項１３又は請求項１４に記載の推論計算処理装置。
【請求項16】
コンピュータにより実現される、学習済みモデルに推論用データを入力して前記推論用データの推論計算処理を実行する推論計算処理方法であって、前記推論用データと前記学習済みモデルとを取得する取得工程と、
取得された前記推論用データをバッチ処理で複数の推論用サブデータに分割する前処理工程と、
前記複数の推論用サブデータの少なくとも一部と前記学習済みモデルとに基づいて前記推論用データの推論計算処理を実行する実行工程と、を備え、
前記取得工程は、前記学習済みモデルを生成するために用いられたトレーニングデータを取得し、
前記実行工程は、前記トレーニングデータと前記複数の推論用サブデータとのマッチングの度合いに応じた評価スコアを前記複数の推論用サブデータに付与し、付与された前記評価スコアによる優先順位に基づいて前記複数の推論用サブデータの推論計算処理順番を調整する
推論計算処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、推論計算処理装置、及び推論計算処理方法に関する。
【背景技術】
【0002】
深層学習を利用したアプリケーションの計算処理を高速に行うためには大抵ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）デバイスの利用は必須であるが、ＧＰＵデバイスの更新スピードは速く、長い時間の保守の面から商品に組み込むことは難しい点がある。また、ＧＰＵデバイスは高価なデバイスであり導入コストが高くなる点もある。また、深層学習を利用したバラ積みされたワークの取出しは工場の生産ラインで使用されるアプリケーションとして、低いコストで生産ラインの目標サイクルタイムを達成させるために通常の安価なＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）デバイスを使用して高速に推論を実行できることが望ましい。
この点、バラ積みされているワークの距離画像を生成して表示し、表示された距離画像において教示された取り出し位置の近傍の３次元点群データを入力データとし、教示に応じた評価値又は取り出し動作の成否結果に応じた評価値をラベルとする機械学習を行い、３次元点群データを入力し前記３次元点群データの評価値を出力する学習済みモデルを生成し、生成された学習済みモデルに所定領域の大きさで切り抜いた距離画像の３次元点群データを入力することで出力される評価値に基づいて、評価値が高い切り抜かれた距離画像に対応する取り出し位置が選択されることで、バラ積みされているワークを取り出す技術が知られている。例えば、特許文献１参照。
この点、バラ積みされているワークの距離画像を生成して表示し、表示された距離画像において教示された取り出し位置の近傍の３次元点群データを入力データとし、教示に応じた評価値又は取り出し動作の成否結果に応じた評価値をラベルとする機械学習を行い、３次元点群データを入力し前記３次元点群データの評価値を出力する学習済みモデルを生成し、生成された学習済みモデルに所定領域の大きさで切り抜いた距離画像の３次元点群データを入力することで出力される評価値に基づいて、評価値が高い切り抜かれた距離画像に対応する取り出し位置が選択されることで、バラ積みされているワークを取り出す技術が知られている。例えば、特許文献１参照。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－５８９６０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、距離画像から所定領域の距離画像が切り抜かれたが、機械学習で用いられる学習用の入力データの大きさが一旦決められると、学習済みモデルに入力される所定領域で切り抜かれた距離画像（以下、「切り抜き画像」ともいう）の大きさは学習用の入力データと同じ大きさとなるように距離画像から切り抜く必要がある。
また、全ての切り抜き画像（取り出し位置候補）の３次元点群データそれぞれを学習済みモデルに入力してそれぞれの評価値を出力し、評価値が高い切り抜き画像に対応している取り出し位置が選択される。すなわち、全ての切り抜き画像（取り出し位置候補）を学習済みモデルに入力して推論計算処理を行うことから、評価値が低くて推論計算を行っても選択／使用されない切り抜き画像（取り出し位置候補）に対しても無駄な推論計算が行われることになる。
また、全ての切り抜き画像（取り出し位置候補）の３次元点群データそれぞれを学習済みモデルに入力してそれぞれの評価値を出力し、評価値が高い切り抜き画像に対応している取り出し位置が選択される。すなわち、全ての切り抜き画像（取り出し位置候補）を学習済みモデルに入力して推論計算処理を行うことから、評価値が低くて推論計算を行っても選択／使用されない切り抜き画像（取り出し位置候補）に対しても無駄な推論計算が行われることになる。
【0005】
特に、複雑な形状を有するワークの場合は解像度の高い（すなわちデータサイズが大きい）距離画像や３次元点群データが必要となる。また、サイズの大きいワークの場合に取得した距離画像や３次元点群データもデータサイズが大きくなる。このため、データサイズが大きなデータに対して推論計算処理を行うにあたり、全ての切り抜き画像（取り出し位置候補）を計算する手法では、評価値が低くて推論計算を行っても選択／使用されない切り抜き画像（取り出し位置候補）に対する無駄な計算処理時間も含む。これにより、トータルの推論時間が長くなり、その期間、工場の生産ラインのロボット等が待機状態となり、生産効率が低下してしまう。
【0006】
そこで、ロボットが長く待機することなく短時間で推論計算処理を実行することが望まれている。
【課題を解決するための手段】
【0007】
本開示の推論計算処理装置の一態様は、学習済みモデルに推論用データを入力して前記推論用データの推論計算処理を実行する推論計算処理装置であって、前記推論用データと前記学習済みモデルとを取得する取得部と、取得された前記推論用データをバッチ処理で複数の推論用サブデータに分割する前処理部と、前記複数の推論用サブデータの推論計算処理順番を最適化し、最適化された前記推論計算処理順番で前記複数の推論用サブデータの少なくとも一部のそれぞれと前記学習済みモデルとに基づいて前記推論用データの推論計算処理を実行する実行部と、を備える。
【0008】
本開示の推論計算処理方法の一態様は、コンピュータにより実現される、学習済みモデルに推論用データを入力して前記推論用データの推論計算処理を実行する推論計算処理方法であって、前記推論用データと前記学習済みモデルとを取得する取得工程と、取得された前記推論用データをバッチ処理で複数の推論用サブデータに分割する前処理工程と、前記複数の推論用サブデータの推論計算処理順番を最適化し、最適化された前記推論計算処理順番で前記複数の推論用サブデータの少なくとも一部のそれぞれと前記学習済みモデルとに基づいて前記推論用データの推論計算処理を実行する実行工程と、を備える。
【発明の効果】
【0009】
一態様によれば、ロボットが長く待機することなく短時間で推論計算処理を実行することができる。
【図面の簡単な説明】
【0010】
【図1】第１実施形態に係るロボットシステムの構成の一例を示す図である。
【図2】第１実施形態に係る学習済みモデル実行装置の機能的構成例を示す機能ブロック図である。
【図3】学習済みモデル実行装置の推論計算処理について説明するフローチャートである。
【図4】第２実施形態に係る学習済みモデル実行装置の機能的構成例を示す機能ブロック図である。
【図5】学習済みモデル実行装置の推論計算処理について説明するフローチャートである。
【図6】第３実施形態に係るロボットシステムの構成の一例を示す図である。
【図7】第３実施形態に係る学習済みモデル実行装置の機能的構成例を示す機能ブロック図である。
【図8】学習済みモデル実行装置の推論計算処理について説明するフローチャートである。
【図9】トレーニング画像データも取得する場合の第３実施形態の変形例に係る学習済みモデル実行装置の機能的構成例を示す機能ブロック図である。
【図10】推論用データが音声データの場合の学習済みモデル実行装置の機能的構成例を示す機能ブロック図である。
【図11】推論用データが文字データの場合の学習済みモデル実行装置の機能的構成例を示す機能ブロック図である。
【図12】推論用データが音声データの場合の学習済みモデル実行装置の機能的構成例を示す機能ブロック図である。
【図13】推論用データが文字データの場合の学習済みモデル実行装置の機能的構成例を示す機能ブロック図である。
【図14】トレーニング画像データも取得する場合の学習済みモデル実行装置の機能的構成例を示す機能ブロック図である。
【発明を実施するための形態】
【0011】
第１実施形態から第３実施形態について図面を参照して詳細に説明をする。
ここで、各実施形態は、バラ積みされた重なり合う状態の複数のワークの取り出し位置を特定する学習済みモデルを用いて、ロボットが長く待機することなく短時間で推論計算処理を実行するという構成において共通する。
ただし、推論計算処理において、第１実施形態では学習済みモデルを生成する機械学習で用いた教師データであるトレーニング画像データのサイズに基づいて、バラ積みで重なり合う状態の複数のワークが撮像された推論用画像データをバッチ処理で分割し、分割することで生成された複数の推論用サブ画像データに対する画像特徴分析から特徴量を抽出し、複数の推論用サブ画像データそれぞれの特徴量とトレーニング画像データに対する画像特徴分析からの特徴量とのマッチング結果に基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与し、付与された評価スコアによる優先順位に基づいて複数の推論用サブ画像データの推論計算処理順番を最適化する。これに対し、第２実施形態では推論用画像データを画像処理することにより特徴点を抽出し、特徴点の数に応じて推論用画像データをバッチ処理で分割し、特徴点の数に基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与する点で、第１実施形態と相違する。また、第３実施形態では３次元計測機等で取得されたワークがバラ積みで重なり合う状態の３次元点群データ（又は距離画像データ）に基づいて推論用画像データをバッチ処理で分割し、分割された複数の推論用サブ画像データそれぞれにおけるコンテナ底からの高さ（以下、「所定の高さ」ともいう）に基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与する点で、第１実施形態及び第２実施形態と相違する。
以下では、まず第１実施形態について詳細に説明し、次に第２実施形態及び第３実施形態において特に第１実施形態と相違する部分について説明を行う。
ここで、各実施形態は、バラ積みされた重なり合う状態の複数のワークの取り出し位置を特定する学習済みモデルを用いて、ロボットが長く待機することなく短時間で推論計算処理を実行するという構成において共通する。
ただし、推論計算処理において、第１実施形態では学習済みモデルを生成する機械学習で用いた教師データであるトレーニング画像データのサイズに基づいて、バラ積みで重なり合う状態の複数のワークが撮像された推論用画像データをバッチ処理で分割し、分割することで生成された複数の推論用サブ画像データに対する画像特徴分析から特徴量を抽出し、複数の推論用サブ画像データそれぞれの特徴量とトレーニング画像データに対する画像特徴分析からの特徴量とのマッチング結果に基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与し、付与された評価スコアによる優先順位に基づいて複数の推論用サブ画像データの推論計算処理順番を最適化する。これに対し、第２実施形態では推論用画像データを画像処理することにより特徴点を抽出し、特徴点の数に応じて推論用画像データをバッチ処理で分割し、特徴点の数に基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与する点で、第１実施形態と相違する。また、第３実施形態では３次元計測機等で取得されたワークがバラ積みで重なり合う状態の３次元点群データ（又は距離画像データ）に基づいて推論用画像データをバッチ処理で分割し、分割された複数の推論用サブ画像データそれぞれにおけるコンテナ底からの高さ（以下、「所定の高さ」ともいう）に基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与する点で、第１実施形態及び第２実施形態と相違する。
以下では、まず第１実施形態について詳細に説明し、次に第２実施形態及び第３実施形態において特に第１実施形態と相違する部分について説明を行う。
【0012】
＜第１実施形態＞
図１は、第１実施形態に係るロボットシステム１の構成の一例を示す図である。ここでは、ロボットがコンテナ内にバラ積みされたワークを取り出す場合において画像データに基づいて機械学習して生成された学習済みモデルを実行するケースを例示する。なお、本発明は、ロボットがコンテナ内にバラ積みされたワークを取り出す場合において画像データに基づいて機械学習して生成された学習済みモデルを実行するケースに限られない。例えば、ロボットの動作に限らず、画像データに基づいて任意のタスクを実行するための推論を行うシステムにおいて、画像データに基づいて機械学習して生成される学習済みモデルを実行するケースにも適用することができる。
また、例えば、後述するように、音声データに基づいて任意のタスクを実行するための推論を行うシステムにおいて、音声データに基づいて機械学習して生成される学習済みモデルを実行するケースにも適用することができる。また、文字データに基づいて任意のタスクを実行するための推論を行うシステムにおいて、文字データに基づいて機械学習して生成される学習済みモデルを実行するケースにも適用することができる。
図１に示すように、ロボットシステム１は、推論計算処理装置としての学習済みモデル実行装置１０、ロボット制御装置２０、ロボット３０、撮像装置４０、複数のワーク５０、及びコンテナ６０を有する。
学習済みモデル実行装置１０、ロボット制御装置２０、ロボット３０、及び撮像装置４０は、図示しない接続インタフェースを介して互いに直接接続されてもよい。なお、学習済みモデル実行装置１０、ロボット制御装置２０、ロボット３０、及び撮像装置４０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の図示しないネットワークを介して相互に接続されていてもよい。この場合、学習済みモデル実行装置１０、ロボット制御装置２０、ロボット３０、及び撮像装置４０は、かかる接続によって相互に通信を行うための図示しない通信部を備えている。また、説明しやすくするために、図１は学習済みモデル実行装置１０とロボット制御装置２０をそれぞれ独立に描いていて、この場合の学習済みモデル実行装置１０は例えばコンピュータより構成されてもよい。このような構成に限定されず、例えば、学習済みモデル実行装置１０はロボット制御装置２０の内部に実装され、ロボット制御装置２０と一体化されてもよい。
図１は、第１実施形態に係るロボットシステム１の構成の一例を示す図である。ここでは、ロボットがコンテナ内にバラ積みされたワークを取り出す場合において画像データに基づいて機械学習して生成された学習済みモデルを実行するケースを例示する。なお、本発明は、ロボットがコンテナ内にバラ積みされたワークを取り出す場合において画像データに基づいて機械学習して生成された学習済みモデルを実行するケースに限られない。例えば、ロボットの動作に限らず、画像データに基づいて任意のタスクを実行するための推論を行うシステムにおいて、画像データに基づいて機械学習して生成される学習済みモデルを実行するケースにも適用することができる。
また、例えば、後述するように、音声データに基づいて任意のタスクを実行するための推論を行うシステムにおいて、音声データに基づいて機械学習して生成される学習済みモデルを実行するケースにも適用することができる。また、文字データに基づいて任意のタスクを実行するための推論を行うシステムにおいて、文字データに基づいて機械学習して生成される学習済みモデルを実行するケースにも適用することができる。
図１に示すように、ロボットシステム１は、推論計算処理装置としての学習済みモデル実行装置１０、ロボット制御装置２０、ロボット３０、撮像装置４０、複数のワーク５０、及びコンテナ６０を有する。
学習済みモデル実行装置１０、ロボット制御装置２０、ロボット３０、及び撮像装置４０は、図示しない接続インタフェースを介して互いに直接接続されてもよい。なお、学習済みモデル実行装置１０、ロボット制御装置２０、ロボット３０、及び撮像装置４０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の図示しないネットワークを介して相互に接続されていてもよい。この場合、学習済みモデル実行装置１０、ロボット制御装置２０、ロボット３０、及び撮像装置４０は、かかる接続によって相互に通信を行うための図示しない通信部を備えている。また、説明しやすくするために、図１は学習済みモデル実行装置１０とロボット制御装置２０をそれぞれ独立に描いていて、この場合の学習済みモデル実行装置１０は例えばコンピュータより構成されてもよい。このような構成に限定されず、例えば、学習済みモデル実行装置１０はロボット制御装置２０の内部に実装され、ロボット制御装置２０と一体化されてもよい。
【0013】
ロボット制御装置２０は、ロボット３０の動作を制御するための当業者にとって公知の装置である。ロボット制御装置２０は、例えば、バラ積みされたワーク５０のうち後述する学習済みモデル実行装置１０によって選択されたワーク５０の取り出し位置情報を学習済みモデル実行装置１０から受信する。ロボット制御装置２０は、学習済みモデル実行装置１０から受信した取り出し位置にあるワーク５０を取り出すように、ロボット３０の動作を制御するための制御信号を生成する。そして、ロボット制御装置２０は、生成した制御信号をロボット３０に対して出力する。
なお、ロボット制御装置２０は、後述するように、学習済みモデル実行装置１０を含んでもよい。
なお、ロボット制御装置２０は、後述するように、学習済みモデル実行装置１０を含んでもよい。
【0014】
ロボット３０は、ロボット制御装置２０の制御に基づいて動作するロボットである。ロボット３０は、鉛直方向の軸を中心に回転するためのベース部や、移動及び回転するアームや、ワーク５０を保持するためにアームに装着される取り出しハンド３１を備える。なお、図１では、ロボット３０の取り出しハンド３１には、エア吸着式の取り出しハンドが装着されているが、把持式の取り出しハンドが装着されてもよいし、磁力で鉄製のワークを取り出す磁気式ハンドが装着されてもよい。
ロボット３０は、ロボット制御装置２０が出力する制御信号に応じて、アームや取り出しハンド３１を駆動して、学習済みモデル実行装置１０により選択された取り出し位置まで取り出しハンド３１を移動させて、バラ積みされたワーク５０を保持してコンテナ６０から取り出す。
なお、取り出したワーク５０の移載先については図示を省略する。また、ロボット３０の具体的な構成については、当業者によく知られているので、詳細な説明は省略する。
ロボット３０は、ロボット制御装置２０が出力する制御信号に応じて、アームや取り出しハンド３１を駆動して、学習済みモデル実行装置１０により選択された取り出し位置まで取り出しハンド３１を移動させて、バラ積みされたワーク５０を保持してコンテナ６０から取り出す。
なお、取り出したワーク５０の移載先については図示を省略する。また、ロボット３０の具体的な構成については、当業者によく知られているので、詳細な説明は省略する。
【0015】
また、学習済みモデル実行装置１０やロボット制御装置２０は、予め行われたキャリブレーションにより、ロボット３０を制御するための機械座標系と、ワーク５０の取り出し位置を示すカメラ座標系とを対応付けているものとする。
【0016】
撮像装置４０は、デジタルカメラ等であり、コンテナ６０内のバラ積みされたワーク５０を撮像装置４０の光軸に対して垂直な平面に投影した２次元の画像データを撮像する。撮像装置４０により撮像される画像データは、ＲＧＢカラー画像やグレースケール画像、深度画像等の可視光画像でもよい。また、撮像装置４０は、赤外線センサを含むように構成されて熱画像を撮像してもよく、紫外線センサを含むように構成されて物体表面の傷や斑等の検査用の紫外線画像を撮像してもよい。また、撮像装置４０は、Ｘ線カメラセンサを含むように構成されてＸ線画像を撮像してもよく、超音波センサを含むように構成されて超音波画像を撮像してもよい。
なお、撮像装置４０は、後述するように、ステレオカメラ等の３次元計測機でもよい。
なお、撮像装置４０は、後述するように、ステレオカメラ等の３次元計測機でもよい。
【0017】
ワーク５０は、コンテナ６０内で、バラ積みされた状態を含んで乱雑に置かれる。ワーク５０は、ロボット３０のアームに装着された取り出しハンド３１で保持可能なものであればよく、その形状等は特に限定されない。
【0018】
＜学習済みモデル実行装置１０＞
図２は、第１実施形態に係る学習済みモデル実行装置１０の機能的構成例を示す機能ブロック図である。
学習済みモデル実行装置１０は、当業者にとって公知のコンピュータであり、図２に示すように、制御部１１を有する。また、制御部１１は、取得部１１０、前処理部１２０、及び実行部１３０を有する。また、取得部１１０は、データ保存部１１１を有する。また、前処理部１２０は、バッチ処理部１２１を有する。また、実行部１３０は、特徴分析部１３１、評価スコア計算部１３２、最適化計算部１３３、推論計算処理部１３４、及び推論結果保存部１３５を有する。
図２は、第１実施形態に係る学習済みモデル実行装置１０の機能的構成例を示す機能ブロック図である。
学習済みモデル実行装置１０は、当業者にとって公知のコンピュータであり、図２に示すように、制御部１１を有する。また、制御部１１は、取得部１１０、前処理部１２０、及び実行部１３０を有する。また、取得部１１０は、データ保存部１１１を有する。また、前処理部１２０は、バッチ処理部１２１を有する。また、実行部１３０は、特徴分析部１３１、評価スコア計算部１３２、最適化計算部１３３、推論計算処理部１３４、及び推論結果保存部１３５を有する。
【0019】
＜制御部１１＞
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）メモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
ＣＰＵは学習済みモデル実行装置１０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、システムプログラム及びアプリケーションプログラムに従って学習済みモデル実行装置１０全体を制御する。これにより、図２に示すように、制御部１１が、取得部１１０、前処理部１２０、及び実行部１３０の機能を実現するように構成される。また、取得部１１０は、データ保存部１１１の機能を実現するように構成される。また、前処理部１２０は、バッチ処理部１２１の機能を実現するように構成される。また、実行部１３０は、特徴分析部１３１、評価スコア計算部１３２、最適化計算部１３３、推論計算処理部１３４、及び推論結果保存部１３５の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。また、ＣＭＯＳメモリは図示しないバッテリでバックアップされ、学習済みモデル実行装置１０の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）メモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
ＣＰＵは学習済みモデル実行装置１０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、システムプログラム及びアプリケーションプログラムに従って学習済みモデル実行装置１０全体を制御する。これにより、図２に示すように、制御部１１が、取得部１１０、前処理部１２０、及び実行部１３０の機能を実現するように構成される。また、取得部１１０は、データ保存部１１１の機能を実現するように構成される。また、前処理部１２０は、バッチ処理部１２１の機能を実現するように構成される。また、実行部１３０は、特徴分析部１３１、評価スコア計算部１３２、最適化計算部１３３、推論計算処理部１３４、及び推論結果保存部１３５の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。また、ＣＭＯＳメモリは図示しないバッテリでバックアップされ、学習済みモデル実行装置１０の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
【0020】
＜取得部１１０＞
取得部１１０は、例えば、推論用データとしての画像データを撮像装置４０から取得するとともに、クラウド又はエッジデバイス上のデータベース７０から学習済みモデル、及び前記学習済みモデルを機械学習で生成する際に用いたトレーニング画像データを取得する。
取得部１１０はさらに、ＨＤＤやＵＳＢメモリ等のデータ保存部１１１を含むように構成され、取得した学習済みモデルをデータ保存部１１１に保存するように構成されてもよい。例えば、取得部１１０は、クラウド又はエッジデバイス上のデータベース７０からＨＤＤやＵＳＢメモリ等の記録媒体に記録されている学習済みモデルをＬＡＮ等のネットワークを経由して取得し、取得した学習済みモデルをデータ保存部１１１にコピーして保存してもよい。
取得部１１０は、例えば、推論用データとしての画像データを撮像装置４０から取得するとともに、クラウド又はエッジデバイス上のデータベース７０から学習済みモデル、及び前記学習済みモデルを機械学習で生成する際に用いたトレーニング画像データを取得する。
取得部１１０はさらに、ＨＤＤやＵＳＢメモリ等のデータ保存部１１１を含むように構成され、取得した学習済みモデルをデータ保存部１１１に保存するように構成されてもよい。例えば、取得部１１０は、クラウド又はエッジデバイス上のデータベース７０からＨＤＤやＵＳＢメモリ等の記録媒体に記録されている学習済みモデルをＬＡＮ等のネットワークを経由して取得し、取得した学習済みモデルをデータ保存部１１１にコピーして保存してもよい。
【0021】
また、取得部１１０は、例えば、クラウド又はエッジデバイス上のデータベース７０からＨＤＤやＵＳＢメモリ等の記録媒体に記録されているトレーニング画像データをＬＡＮ等のネットワークを経由して取得し、取得したトレーニング画像データをデータ保存部１１１にコピーして保存してもよい。
また、取得部１１０は、例えば、撮像装置４０から撮像された画像データを取得し、取得した画像データを推論用画像データとしてデータ保存部１１１にコピーして保存してもよい。
なお、取得部１１０は、撮像装置４０から画像データを取得したが、後述するように、３次元点群データ又は距離画像データ等を取得してもよい。
また、取得部１１０は、例えば、撮像装置４０から撮像された画像データを取得し、取得した画像データを推論用画像データとしてデータ保存部１１１にコピーして保存してもよい。
なお、取得部１１０は、撮像装置４０から画像データを取得したが、後述するように、３次元点群データ又は距離画像データ等を取得してもよい。
【0022】
＜前処理部１２０＞
前処理部１２０はバッチ処理部１２１を備え、バッチ処理部１２１は、取得部１１０により取得されたトレーニング画像データに基づいて推論用データをバッチ処理して複数の推論用サブ画像データに分割するように構成されてもよい。
具体的には、バッチ処理部１２１は、例えば、機械学習に用いたトレーニング画像データのデータサイズを基準に、推論用画像データをバッチ処理して複数の推論用サブ画像データに分割してもよい。
前処理部１２０はバッチ処理部１２１を備え、バッチ処理部１２１は、取得部１１０により取得されたトレーニング画像データに基づいて推論用データをバッチ処理して複数の推論用サブ画像データに分割するように構成されてもよい。
具体的には、バッチ処理部１２１は、例えば、機械学習に用いたトレーニング画像データのデータサイズを基準に、推論用画像データをバッチ処理して複数の推論用サブ画像データに分割してもよい。
【0023】
＜実行部１３０＞
実行部１３０は、前処理部１２０によりバッチ処理で分割された複数の推論用サブ画像データの推論計算処理順番を最適化し、予め指定された探索目標に達成するまでに、最適化された推論計算処理順番で必要な分だけの複数の推論用サブ画像データそれぞれと学習済みモデルとに基づいて推論用データの推論計算処理を実行するように構成されてもよい。
例えば、実行部１３０は、トレーニング画像データ上のラベル付き教示位置の近傍画像と、前処理部１２０のバッチ処理で分割された複数の推論用サブ画像データそれぞれとに対して画像特徴分析を行い、抽出された特徴量のマッチング結果に基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与し、付与された複数の推論用サブ画像データそれぞれの評価スコアの値の大きさに従って決まる優先順位に基づいて、複数の推論用サブ画像データの推論計算処理順番の最適化を行うように構成されてもよい。
具体的に、実行部１３０の特徴分析部１３１は、例えば、トレーニング画像データ上にワーク５０の取り出し可能な位置を示すラベルが付けられていることから、トレーニング画像データのうちラベルが示す取り出し位置を含む近傍画像領域に対して画像処理を行う。特徴分析部１３１は、例えば、画像処理により特定な特徴量（以下、「局所特徴量」ともいう）Ａを抽出する。また、特徴分析部１３１は、前処理部１２０のバッチ処理で分割されたｎ個の推論用サブ画像データＩＭＧ１、ＩＭＧ２…、ＩＭＧｎに対しても画像処理を行い、局所特徴量を抽出する（ｎは２以上の整数）。例えば、特徴分析部１３１は、推論用サブ画像データＩＭＧ１から局所特徴量Ａ１１、Ａ１２を抽出し、推論用サブ画像データＩＭＧ２から局所特徴量Ａ２１、Ａ２２、Ａ２３を抽出し、推論用サブ画像データＩＭＧ３から局所特徴量Ａ３１、Ａ３２、Ａ３３、Ａ３４を抽出したとする。特徴分析部１３１は、抽出した局所特徴量Ａ１１、Ａ１２、Ａ２１、Ａ２２、Ａ２３、Ａ３１、Ａ３２、Ａ３３、Ａ３４それぞれと、トレーニング画像データの局所特徴量Ａと、のマッチング処理を行い、前記マッチング処理の分析結果データを後述する評価スコア計算部１３２に出力する。
実行部１３０は、前処理部１２０によりバッチ処理で分割された複数の推論用サブ画像データの推論計算処理順番を最適化し、予め指定された探索目標に達成するまでに、最適化された推論計算処理順番で必要な分だけの複数の推論用サブ画像データそれぞれと学習済みモデルとに基づいて推論用データの推論計算処理を実行するように構成されてもよい。
例えば、実行部１３０は、トレーニング画像データ上のラベル付き教示位置の近傍画像と、前処理部１２０のバッチ処理で分割された複数の推論用サブ画像データそれぞれとに対して画像特徴分析を行い、抽出された特徴量のマッチング結果に基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与し、付与された複数の推論用サブ画像データそれぞれの評価スコアの値の大きさに従って決まる優先順位に基づいて、複数の推論用サブ画像データの推論計算処理順番の最適化を行うように構成されてもよい。
具体的に、実行部１３０の特徴分析部１３１は、例えば、トレーニング画像データ上にワーク５０の取り出し可能な位置を示すラベルが付けられていることから、トレーニング画像データのうちラベルが示す取り出し位置を含む近傍画像領域に対して画像処理を行う。特徴分析部１３１は、例えば、画像処理により特定な特徴量（以下、「局所特徴量」ともいう）Ａを抽出する。また、特徴分析部１３１は、前処理部１２０のバッチ処理で分割されたｎ個の推論用サブ画像データＩＭＧ１、ＩＭＧ２…、ＩＭＧｎに対しても画像処理を行い、局所特徴量を抽出する（ｎは２以上の整数）。例えば、特徴分析部１３１は、推論用サブ画像データＩＭＧ１から局所特徴量Ａ１１、Ａ１２を抽出し、推論用サブ画像データＩＭＧ２から局所特徴量Ａ２１、Ａ２２、Ａ２３を抽出し、推論用サブ画像データＩＭＧ３から局所特徴量Ａ３１、Ａ３２、Ａ３３、Ａ３４を抽出したとする。特徴分析部１３１は、抽出した局所特徴量Ａ１１、Ａ１２、Ａ２１、Ａ２２、Ａ２３、Ａ３１、Ａ３２、Ａ３３、Ａ３４それぞれと、トレーニング画像データの局所特徴量Ａと、のマッチング処理を行い、前記マッチング処理の分析結果データを後述する評価スコア計算部１３２に出力する。
【0024】
実行部１３０の評価スコア計算部１３２は、特徴分析部１３１により出力された分析結果データを受け取り、例えば推論用サブ画像データＩＭＧ２がマッチング度の高い局所特徴量（例えば、Ａ２２）を含む場合、推論用サブ画像データＩＭＧ２に高い評価スコア（例えば、７０点等）を付与する。また、評価スコア計算部１３２は、例えば１つの推論用サブ画像データＩＭＧ３がマッチング度の高い複数の局所特徴量（例えば、Ａ３２、Ａ３４）を含む場合、推論用サブ画像データＩＭＧ３により高い評価スコア（例えば、８０点等）を付与する。評価スコア計算部１３２は、このように付与した評価スコアを後述する最適化計算部１３３に出力する。
【0025】
実行部１３０の最適化計算部１３３は、評価スコア計算部１３２により出力された評価スコアの情報に基づいて、高い評価スコアを有する推論用サブ画像データから順に優先的に推論計算処理されるように高い優先順位を付与する。最適化計算部１３３は、前処理部１２０のバッチ処理で分割されたｎ個の推論用サブ画像データの推論計算処理順番の最適化を行い、最適化された推論計算処理順番の処理順番リストを生成する。最適化計算部１３３は、生成した処理順番リストを後述する推論計算処理部１３４に出力する。
なお、最適化計算部１３３は、低い評価スコアを有する推論用サブ画像データを推論計算処理しないように処理順番リストから削除するようにしてもよい。
なお、最適化計算部１３３は、低い評価スコアを有する推論用サブ画像データを推論計算処理しないように処理順番リストから削除するようにしてもよい。
【0026】
実行部１３０の推論計算処理部１３４は、最適化計算部１３３から受信した処理順番リストの情報と、前処理部１２０のバッチ処理で分割されたｎ個の推論用サブ画像データと、取得部１１０により取得された学習済みモデルとに基づいて、予め指定された探索目標（例えば、１０個のワーク５０の取り出し位置を見付け出すこと）に達成するまでに、処理順番リストの高い順でｎ個の推論用サブ画像データから必要な分だけの推論計算処理を行う。推論計算処理部１３４は、推論計算処理の推論結果データを後述する推論結果保存部１３５に出力する。
【0027】
実行部１３０の推論結果保存部１３５は、推論計算処理部１３４から推論結果データを受信して保存する。
【0028】
このように、高い評価スコアを有する推論用サブ画像データにトレーニング画像データ上の教示位置と同じ特徴を有するようなより良い取り出し位置候補が存在する可能性が高いことから、学習済みモデル実行装置１０は、高い評価スコアを有する推論用サブ画像データから優先的に推論計算処理する。そうすることで、学習済みモデル実行装置１０は、予め指定したワーク５０の目標の取り出し数（以下、「所定の候補数」ともいう）の探索を早めに達成して推論計算処理を早めに終了することにより、推論計算処理時間を短縮することができる。換言すれば、学習済みモデル実行装置１０は、低い評価スコアを有する推論用サブ画像データにトレーニング画像データ上の教示位置と同じ特徴を有するより良い取り出し位置候補が存在する可能性が低いことから、低い評価スコアを有する推論用サブ画像データの推論計算処理をしないようにすることで、無駄な推論計算処理をなくして推論計算処理時間を短縮できる。すなわち、学習済みモデル実行装置１０は、評価スコアによる優先順位に基づいて推論計算処理順番を最適化することにより、推論計算処理の高速化を実現することができる。
なお、所定の候補数は、要求される推論計算処理の精度や処理速度等に応じて適宜決定されることが好ましいが、工場の生産ラインの生産要求に応じて決定されてもよい。
なお、所定の候補数は、要求される推論計算処理の精度や処理速度等に応じて適宜決定されることが好ましいが、工場の生産ラインの生産要求に応じて決定されてもよい。
【0029】
＜学習済みモデル実行装置１０の推論計算処理＞
次に、本実施形態に係る学習済みモデル実行装置１０の推論計算処理に係る動作について説明する。
図３は、学習済みモデル実行装置１０の推論計算処理について説明するフローチャートである。
次に、本実施形態に係る学習済みモデル実行装置１０の推論計算処理に係る動作について説明する。
図３は、学習済みモデル実行装置１０の推論計算処理について説明するフローチャートである。
【0030】
ステップＳ１１において、取得部１１０は、データベース７０から学習済みモデル、及びトレーニング画像データを取得する。
【0031】
ステップＳ１２において、取得部１１０は、撮像装置４０から推論用画像データを取得する。
【0032】
ステップＳ１３において、前処理部１２０のバッチ処理部１２１は、トレーニング画像データに基づいてステップＳ１２で取得された推論用画像データをバッチ処理でｎ個の推論用サブ画像データに分割する。
【0033】
ステップＳ１４において、実行部１３０の特徴分析部１３１は、トレーニング画像データ、及びｎ個の推論用サブ画像データに対して画像特徴分析を行い、トレーニング画像データ、及びｎ個の推論用サブ画像データから局所特徴量を抽出する。
【0034】
ステップＳ１５において、特徴分析部１３１は、トレーニング画像データの局所特徴量と、各推論用サブ画像データの局所特徴量とのマッチング処理を行い、マッチング処理の分析結果データを評価スコア計算部１３２に出力する。
【0035】
ステップＳ１６において、評価スコア計算部１３２は、ステップＳ１５より出力された分析結果データに基づいて、ｎ個の推論用サブ画像データそれぞれに、トレーニング画像データの局所特徴量とのマッチング度に応じた評価スコアを付与する。
【0036】
ステップＳ１７において、最適化計算部１３３は、ステップＳ１６より付与された評価スコアの情報に基づいて推論計算処理を行う複数の推論用サブ画像データの推論計算処理順番を最適化し、処理順番リストを生成する。
【0037】
ステップＳ１８において、推論計算処理部１３４は、ステップＳ１７で生成された処理順番リストの情報と、推論用サブ画像データと、学習済みモデルとに基づいて推論計算処理を行う。
【0038】
ステップＳ１９において、推論計算処理部１３４は、ステップＳ１８での推論計算処理により探索された取り出し位置候補の数が所定の候補数に達したか否かを判定する。取り出し位置候補の数が所定の候補数に達した場合、推論計算処理を終了する。一方、取り出し位置候補の数が所定の候補数より少ない場合、処理はステップＳ１８に戻る。
【0039】
以上により、第１実施形態に係る学習済みモデル実行装置１０は、撮像装置４０から推論用データと、データベース７０から学習済みモデル及びトレーニング画像データと、をそれぞれ取得する。学習済みモデル実行装置１０は、トレーニング画像データのサイズに基づいて推論用画像データをバッチ処理でｎ個の推論用サブ画像データに分割する。学習済みモデル実行装置１０は、トレーニング画像データ、及びｎ個の推論用サブ画像データのそれぞれから局所特徴量を抽出し、抽出したトレーニング画像データの局所特徴量と各推論用サブ画像データの局所特徴量とのマッチング処理を行う。学習済みモデル実行装置１０は、マッチング処理の分析結果データに基づいてｎ個の推論用サブ画像データそれぞれに、トレーニング画像データの局所特徴量とのマッチング度に応じた評価スコアを付与し、評価スコアの情報に基づいて推論計算処理を行う複数の推論用サブ画像データの推論計算処理順番を最適化する。
これにより、学習済みモデル実行装置１０は、ロボット３０が長く待機することなく短時間で推論計算処理を実行することができる。
また、学習済みモデル実行装置１０は、通常の安価なＣＰＵデバイスを使用して高速に推論を実行することができ、低いコストで生産ラインに求められる高い生産効率を実現することができる。
以上、第１実施形態について説明した。
これにより、学習済みモデル実行装置１０は、ロボット３０が長く待機することなく短時間で推論計算処理を実行することができる。
また、学習済みモデル実行装置１０は、通常の安価なＣＰＵデバイスを使用して高速に推論を実行することができ、低いコストで生産ラインに求められる高い生産効率を実現することができる。
以上、第１実施形態について説明した。
【0040】
＜第２実施形態＞
次に、第２実施形態について説明する。上述したように、推論計算処理において、第１実施形態ではトレーニング画像データのサイズに合わせて推論用画像データをバッチ処理で分割し、分割することで生成された複数の推論用サブ画像データそれぞれに対する画像特徴分析から特徴量を抽出し、複数の推論用サブ画像データそれぞれの特徴量とトレーニング画像データの特徴量とのマッチング結果に基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与し、付与された評価スコアの値による優先順位に基づいて複数の推論用サブ画像データの推論計算処理順番を最適化する。これに対し、第２実施形態では推論用画像データを画像処理することにより、例えば特定な特徴点を抽出し、抽出された特徴点の数に応じて推論用画像データをバッチ処理で分割し、各領域内に含まれる特徴点の数に基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与する点で、第１実施形態と相違する。
これにより、学習済みモデル実行装置１０ａは、ロボット３０が長く待機することなく短時間で推論計算処理を実行することができる。
以下、第２実施形態について説明する。
次に、第２実施形態について説明する。上述したように、推論計算処理において、第１実施形態ではトレーニング画像データのサイズに合わせて推論用画像データをバッチ処理で分割し、分割することで生成された複数の推論用サブ画像データそれぞれに対する画像特徴分析から特徴量を抽出し、複数の推論用サブ画像データそれぞれの特徴量とトレーニング画像データの特徴量とのマッチング結果に基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与し、付与された評価スコアの値による優先順位に基づいて複数の推論用サブ画像データの推論計算処理順番を最適化する。これに対し、第２実施形態では推論用画像データを画像処理することにより、例えば特定な特徴点を抽出し、抽出された特徴点の数に応じて推論用画像データをバッチ処理で分割し、各領域内に含まれる特徴点の数に基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与する点で、第１実施形態と相違する。
これにより、学習済みモデル実行装置１０ａは、ロボット３０が長く待機することなく短時間で推論計算処理を実行することができる。
以下、第２実施形態について説明する。
【0041】
第２実施形態に係るロボットシステム１は、図１の第１実施形態の場合と同様に、学習済みモデル実行装置１０ａ、ロボット制御装置２０、ロボット３０、撮像装置４０、複数のワーク５０、及びコンテナ６０を有する。
【0042】
＜学習済みモデル実行装置１０ａ＞
図４は、第２実施形態に係る学習済みモデル実行装置１０ａの機能的構成例を示す機能ブロック図である。なお、図２の学習済みモデル実行装置１０の要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
学習済みモデル実行装置１０ａは、第１実施形態に係る学習済みモデル実行装置１０と同様に、制御部１１ａを有する。また、制御部１１ａは、取得部１１０ａ、前処理部１２０ａ、及び実行部１３０ａを有する。また、取得部１１０ａは、データ保存部１１１を有する。また、前処理部１２０ａは、バッチ処理部１２１ａ、及び画像処理部１２２を有する。また、実行部１３０ａは、評価スコア計算部１３２ａ、最適化計算部１３３、推論計算処理部１３４、及び推論結果保存部１３５を有する。
図４は、第２実施形態に係る学習済みモデル実行装置１０ａの機能的構成例を示す機能ブロック図である。なお、図２の学習済みモデル実行装置１０の要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
学習済みモデル実行装置１０ａは、第１実施形態に係る学習済みモデル実行装置１０と同様に、制御部１１ａを有する。また、制御部１１ａは、取得部１１０ａ、前処理部１２０ａ、及び実行部１３０ａを有する。また、取得部１１０ａは、データ保存部１１１を有する。また、前処理部１２０ａは、バッチ処理部１２１ａ、及び画像処理部１２２を有する。また、実行部１３０ａは、評価スコア計算部１３２ａ、最適化計算部１３３、推論計算処理部１３４、及び推論結果保存部１３５を有する。
【0043】
＜取得部１１０ａ＞
取得部１１０ａは、例えば、推論用データとしての画像データを撮像装置４０から取得するとともに、クラウド又はエッジデバイス上のデータベース７０から学習済みモデルを取得する。取得部１１０ａは、取得した学習済みモデル、及び画像データをデータ保存部１１１に保存する。
なお、データ保存部１１１は、第１実施形態に係るデータ保存部１１１と同等の機能を有する。
取得部１１０ａは、例えば、推論用データとしての画像データを撮像装置４０から取得するとともに、クラウド又はエッジデバイス上のデータベース７０から学習済みモデルを取得する。取得部１１０ａは、取得した学習済みモデル、及び画像データをデータ保存部１１１に保存する。
なお、データ保存部１１１は、第１実施形態に係るデータ保存部１１１と同等の機能を有する。
【0044】
＜前処理部１２０ａ＞
前処理部１２０ａは、例えば、取得部１１０ａのデータ保存部１１１から画像データを推論用画像データとして取得し、取得した推論用画像データの画像処理を行い、画像処理結果に基づいて推論用画像データをバッチ処理で複数の推論用サブ画像データに分割するように構成されてもよい。
具体的には、前処理部１２０ａの画像処理部１２２は、例えば、推論用画像データに対して画像処理を行い、エッジやコーナー、特徴点等の特徴を抽出して画像処理結果データとして出力してもよい。以下はその一例を挙げて、画像処理部１２２は、推論用画像データの全領域に対して特定な特徴点を抽出する場合を述べる。図１に示すように、例えば、推論用画像データがコンテナ６０内にバラ積みされたワーク５０の状況を撮像した画像である場合、抽出された特徴点の数が少ない局所画像領域内にはワーク５０が殆どなく、明るさも画素値も均一になっている１つ大きな平面（例えば、コンテナ６０の底等）が写っている可能性が高いと予測することができる。この場合、学習済みモデル実行装置１０ａは、当該画像領域に対して推論計算処理を行っても、取り出す対象のワーク５０を見つけられない可能性が高いことから、無駄な推論計算処理に時間をかけてしまうことになる。すなわち、学習済みモデル実行装置１０ａは、画像処理部１２２により抽出された特徴点の位置分布を分析することで、より多くの特徴点が集中している局所画像領域、すなわちワーク５０が多く存在している局所画像領域を特定することができる。
なお、画像処理部１２２は、推論用画像データの画像処理を行って特徴点を抽出した場合を一例として説明したが、これに限定されない。例えば、画像処理部１２２は、実際のワーク５０の形状に合わせて画像処理で抽出する特徴を変えることで効率を上げるようにしてもよい。
前処理部１２０ａは、例えば、取得部１１０ａのデータ保存部１１１から画像データを推論用画像データとして取得し、取得した推論用画像データの画像処理を行い、画像処理結果に基づいて推論用画像データをバッチ処理で複数の推論用サブ画像データに分割するように構成されてもよい。
具体的には、前処理部１２０ａの画像処理部１２２は、例えば、推論用画像データに対して画像処理を行い、エッジやコーナー、特徴点等の特徴を抽出して画像処理結果データとして出力してもよい。以下はその一例を挙げて、画像処理部１２２は、推論用画像データの全領域に対して特定な特徴点を抽出する場合を述べる。図１に示すように、例えば、推論用画像データがコンテナ６０内にバラ積みされたワーク５０の状況を撮像した画像である場合、抽出された特徴点の数が少ない局所画像領域内にはワーク５０が殆どなく、明るさも画素値も均一になっている１つ大きな平面（例えば、コンテナ６０の底等）が写っている可能性が高いと予測することができる。この場合、学習済みモデル実行装置１０ａは、当該画像領域に対して推論計算処理を行っても、取り出す対象のワーク５０を見つけられない可能性が高いことから、無駄な推論計算処理に時間をかけてしまうことになる。すなわち、学習済みモデル実行装置１０ａは、画像処理部１２２により抽出された特徴点の位置分布を分析することで、より多くの特徴点が集中している局所画像領域、すなわちワーク５０が多く存在している局所画像領域を特定することができる。
なお、画像処理部１２２は、推論用画像データの画像処理を行って特徴点を抽出した場合を一例として説明したが、これに限定されない。例えば、画像処理部１２２は、実際のワーク５０の形状に合わせて画像処理で抽出する特徴を変えることで効率を上げるようにしてもよい。
【0045】
バッチ処理部１２１ａは、推論用画像上に特徴点が集中している局所画像領域が１つの推論用サブ画像となるように推論用画像を分割し、特徴点が少ない又は１つも存在しない局所画像領域が１つの推論用サブ画像となるように推論用画像を分割する処理を行う。そうすることで、ワーク５０が多く存在している可能性の高い局所画像領域が１つの推論用サブ画像になり、ワーク５０が少ない又は１つも存在しない局所画像領域が１つの推論用サブ画像になるように推論用画像データを複数に分割して複数の推論用サブ画像データを生成して、実行部１３０ａに出力してもよい。なお、バッチ処理部１２１ａは、推論用画像データ上において特徴点が集中しているか、特徴点が少ないかを、予め設定された閾値に基づいて、例えば、特徴点の数が閾値Ｄ１を超えたものは多いと判定し、閾値Ｄ２（Ｄ２＜Ｄ１）より少ないものは少ないと判定するようにしてもよい。
これにより、優先して推論計算処理すべき局所画像領域と、推論計算しても対象ワークを見つけられなく、無駄になるような局所画像領域とを、推論用画像データのバッチ処理の段階で見分け、後述の推論計算処理順番の最適化が効率よくスムーズに行えるようにバッチ処理を最適化することができる。
すなわち、優先して推論計算処理すべきワーク５０を見つけられる可能性の高い推論用サブ画像データと、推論計算しても対象となるワーク５０を見つけられず無駄になるような推論用サブ画像データとを推論用画像データのバッチ処理の段階で見分けるようにすることで、後述する実行部１３０ａは推論計算処理順番の最適化を効率よくスムーズに行うことができる。
これにより、優先して推論計算処理すべき局所画像領域と、推論計算しても対象ワークを見つけられなく、無駄になるような局所画像領域とを、推論用画像データのバッチ処理の段階で見分け、後述の推論計算処理順番の最適化が効率よくスムーズに行えるようにバッチ処理を最適化することができる。
すなわち、優先して推論計算処理すべきワーク５０を見つけられる可能性の高い推論用サブ画像データと、推論計算しても対象となるワーク５０を見つけられず無駄になるような推論用サブ画像データとを推論用画像データのバッチ処理の段階で見分けるようにすることで、後述する実行部１３０ａは推論計算処理順番の最適化を効率よくスムーズに行うことができる。
【0046】
＜実行部１３０ａ＞
実行部１３０ａは、前処理部１２０ａの画像処理部１２２により出力された画像処理結果データに基づいて、複数の推論用サブ画像データの推論計算処理順番の最適化を行い、予め指定された探索目標に達成するまでに、最適化された推論計算処理順番で必要な分だけの複数の推論用サブ画像データそれぞれと学習済みモデルとに基づいて推論用データの推論計算処理を実行するように構成されてもよい。
具体的には、前述したように前処理部１２０ａのバッチ処理部１２１ａにより、前述したコンテナ６０内にバラバラに積載しているワーク５０を撮影した推論用画像に対して特徴点を抽出して推論用画像データを複数に分割して複数の推論用サブ画像データを生成して出力したとする。そうすることで、実行部１３０ａは評価スコア計算部１３２ａを備え、評価スコア計算部１３２ａにより、特徴点の数が多い推論用サブ画像データに高い評価スコアを付与し、特徴点の数が少ない推論用サブ画像データに低い評価スコアを付与するようにしてもよい。
そうすることで、実行部１３０ａの最適化計算部１３３は、図２の最適化計算部１３３と同様に、評価スコア計算部１３２ａにより付与された評価スコアの高い順で処理順番リストを生成して出力する。
実行部１３０ａの推論計算処理部１３４は、図２の推論計算処理部１３４と同様に、処理順番リストの情報と、複数の推論用サブ画像データと、学習済みモデルとに基づいて推論計算処理を行い、推論結果データを推論結果保存部１３５に保存する。
実行部１３０ａは、前処理部１２０ａの画像処理部１２２により出力された画像処理結果データに基づいて、複数の推論用サブ画像データの推論計算処理順番の最適化を行い、予め指定された探索目標に達成するまでに、最適化された推論計算処理順番で必要な分だけの複数の推論用サブ画像データそれぞれと学習済みモデルとに基づいて推論用データの推論計算処理を実行するように構成されてもよい。
具体的には、前述したように前処理部１２０ａのバッチ処理部１２１ａにより、前述したコンテナ６０内にバラバラに積載しているワーク５０を撮影した推論用画像に対して特徴点を抽出して推論用画像データを複数に分割して複数の推論用サブ画像データを生成して出力したとする。そうすることで、実行部１３０ａは評価スコア計算部１３２ａを備え、評価スコア計算部１３２ａにより、特徴点の数が多い推論用サブ画像データに高い評価スコアを付与し、特徴点の数が少ない推論用サブ画像データに低い評価スコアを付与するようにしてもよい。
そうすることで、実行部１３０ａの最適化計算部１３３は、図２の最適化計算部１３３と同様に、評価スコア計算部１３２ａにより付与された評価スコアの高い順で処理順番リストを生成して出力する。
実行部１３０ａの推論計算処理部１３４は、図２の推論計算処理部１３４と同様に、処理順番リストの情報と、複数の推論用サブ画像データと、学習済みモデルとに基づいて推論計算処理を行い、推論結果データを推論結果保存部１３５に保存する。
【0047】
このように、学習済みモデル実行装置１０ａは、抽出された特徴点の数が多くワーク５０が多く存在している可能性の高い推論用サブ画像データを優先的に推論計算処理し、特徴点の数が少なくワーク５０が少ない又は１つも存在しない推論用サブ画像データを推論計算処理しないことで、推論用画像データから予め指定した取り出すワーク５０の所定の候補数を見つけるための推論計算処理時間を短縮することができる。
そうすることで、学習済みモデル実行装置１０ａは、推論用画像データから予め指定した取り出すワーク５０の所定の候補数を見つけ出すことができ、推論計算処理を早めに終了して推論計算処理時間を短縮することができる。
そうすることで、学習済みモデル実行装置１０ａは、推論用画像データから予め指定した取り出すワーク５０の所定の候補数を見つけ出すことができ、推論計算処理を早めに終了して推論計算処理時間を短縮することができる。
【0048】
＜学習済みモデル実行装置１０ａの推論計算処理＞
次に、本実施形態に係る学習済みモデル実行装置１０ａの推論計算処理に係る動作について説明する。
図５は、学習済みモデル実行装置１０ａの推論計算処理について説明するフローチャートである。
なお、ステップＳ２６からステップＳ２８の処理は、図３の第１実施形態のステップＳ１７からステップＳ１９と同様であり、説明は省略する。
次に、本実施形態に係る学習済みモデル実行装置１０ａの推論計算処理に係る動作について説明する。
図５は、学習済みモデル実行装置１０ａの推論計算処理について説明するフローチャートである。
なお、ステップＳ２６からステップＳ２８の処理は、図３の第１実施形態のステップＳ１７からステップＳ１９と同様であり、説明は省略する。
【0049】
ステップＳ２１において、取得部１１０ａは、データベース７０から学習済みモデルを取得する。
【0050】
ステップＳ２２において、取得部１１０ａは、撮像装置４０から推論用画像データを取得する。
【0051】
ステップＳ２３において、前処理部１２０ａの画像処理部１２２は、ステップＳ２２で取得された推論用画像データに対して画像処理を行い、推論用画像データの全領域から特徴点を抽出する。
【0052】
ステップＳ２４において、前処理部１２０ａのバッチ処理部１２１ａは、ステップＳ２３で抽出された特徴点に基づいてステップＳ２２で取得された推論用画像データ上に特徴点が集中している局所画像領域が１つの推論用サブ画像となるように推論用画像を分割し、特徴点が少ない又は１つも存在しない局所画像領域が１つの推論用サブ画像となるように推論用画像データを分割する処理を行う。
【0053】
ステップＳ２５において、評価スコア計算部１３２ａは、特徴点の数に基づいてステップＳ２４において分割された各推論用サブ画像データに評価スコアを付与する。
【0054】
以上により、第２実施形態に係る学習済みモデル実行装置１０ａは、撮像装置４０から推論用画像データと、データベース７０から学習済みモデルと、をそれぞれ取得する。学習済みモデル実行装置１０ａは、取得した推論用画像データに対して画像処理を行い、推論用画像データの全領域から特徴点を抽出し、抽出した特徴点に基づいて推論用画像データを特徴点が集中している推論用サブ画像データと特徴点が少ない又は１つも存在しない推論用サブ画像データとに分割する。学習済みモデル実行装置１０ａは、各推論用サブ画像領域内の特徴点の数に基づいて、推論用画像データを分割して生成された各推論用サブ画像データに評価スコアを付与し、付与した評価スコアの情報に基づいて推論計算処理を行う複数の推論用サブ画像データの推論計算処理順番を最適化する。
これにより、学習済みモデル実行装置１０ａは、ロボット３０が長く待機することなく短時間で推論計算処理を実行することができる。
また、学習済みモデル実行装置１０ａは、通常の安価なＣＰＵデバイスを使用して高速に推論を実行することができ、低いコストで生産ラインに求められる高い生産効率を実現することができる。
以上、第２実施形態について説明した。
これにより、学習済みモデル実行装置１０ａは、ロボット３０が長く待機することなく短時間で推論計算処理を実行することができる。
また、学習済みモデル実行装置１０ａは、通常の安価なＣＰＵデバイスを使用して高速に推論を実行することができ、低いコストで生産ラインに求められる高い生産効率を実現することができる。
以上、第２実施形態について説明した。
【0055】
＜第３実施形態＞
次に、第３実施形態について説明する。上述したように、推論計算処理において、第１実施形態ではトレーニング画像データのサイズに合わせて推論用画像データをバッチ処理で分割し、分割された複数の推論用サブ画像データそれぞれに対する画像特徴分析から特徴量を抽出し、複数の推論用サブ画像データそれぞれの特徴量とトレーニング画像データの特徴量とのマッチング結果に基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与し、付与された評価スコアの値による優先順位に基づいて複数の推論用サブ画像データの推論計算処理順番を最適化する。第２実施形態では推論用画像データを画像処理することにより特徴点を抽出し、特徴点の数に応じて推論用画像データをバッチ処理で分割し、特徴点の数に基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与する。これに対して、第３実施形態では３次元計測機４５で取得されたワークがバラ積みで重なり合う状態の３次元点群データ（又は距離画像データ）に基づいて推論用画像データをバッチ処理で分割し、分割された複数の推論用サブ画像データそれぞれにおける所定の高さに基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与する点で、第１実施形態及び第２実施形態と相違する。
これにより、第３実施形態に係る学習済みモデル実行装置１０ｂは、ロボット３０が長く待機することなく短時間で推論計算処理を実行することができる。
以下、第３実施形態について説明する。
次に、第３実施形態について説明する。上述したように、推論計算処理において、第１実施形態ではトレーニング画像データのサイズに合わせて推論用画像データをバッチ処理で分割し、分割された複数の推論用サブ画像データそれぞれに対する画像特徴分析から特徴量を抽出し、複数の推論用サブ画像データそれぞれの特徴量とトレーニング画像データの特徴量とのマッチング結果に基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与し、付与された評価スコアの値による優先順位に基づいて複数の推論用サブ画像データの推論計算処理順番を最適化する。第２実施形態では推論用画像データを画像処理することにより特徴点を抽出し、特徴点の数に応じて推論用画像データをバッチ処理で分割し、特徴点の数に基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与する。これに対して、第３実施形態では３次元計測機４５で取得されたワークがバラ積みで重なり合う状態の３次元点群データ（又は距離画像データ）に基づいて推論用画像データをバッチ処理で分割し、分割された複数の推論用サブ画像データそれぞれにおける所定の高さに基づいて複数の推論用サブ画像データそれぞれに評価スコアを付与する点で、第１実施形態及び第２実施形態と相違する。
これにより、第３実施形態に係る学習済みモデル実行装置１０ｂは、ロボット３０が長く待機することなく短時間で推論計算処理を実行することができる。
以下、第３実施形態について説明する。
【0056】
図６は、第３実施形態に係るロボットシステム１Ａの構成の一例を示す図である。なお、図１のロボットシステム１の要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
図６に示すように、ロボットシステム１Ａは、学習済みモデル実行装置１０ｂ、ロボット制御装置２０、ロボット３０、３次元計測機４５、複数のワーク５０、及びコンテナ６０を有する。
ロボット制御装置２０、及びロボット３０は、第１実施形態に係るロボット制御装置２０、及びロボット３０と同等の機能を有する。
図６に示すように、ロボットシステム１Ａは、学習済みモデル実行装置１０ｂ、ロボット制御装置２０、ロボット３０、３次元計測機４５、複数のワーク５０、及びコンテナ６０を有する。
ロボット制御装置２０、及びロボット３０は、第１実施形態に係るロボット制御装置２０、及びロボット３０と同等の機能を有する。
【0057】
３次元計測機４５は、３次元計測機４５の光軸に対して垂直な平面とコンテナ６０内のばら積みされたワーク５０の表面の各点との間の距離から換算した値を画素値とする３次元情報（以下、「距離画像」ともいう）を取得するように構成されてもよい。例えば、図６に示すように、距離画像上のワーク５０の点Ａの画素値は、３次元計測機４５の３次元座標系（Ｘ，Ｙ，Ｚ）のＺ軸方向の、３次元計測機４５とワーク５０の点Ａとの間の距離（３次元計測機４５からの高さ）から換算したものである。すなわち、３次元座標系のＺ軸方向は３次元計測機４５の光軸方向である。また、３次元計測機４５は、例えばステレオカメラ、又はロボット３０の手先や移動装置に固定される１台のカメラ、カメラ１台とレーザスキャナや音波センサ等の距離センサの組み合わせにより構成され、コンテナ６０内に積載の複数のワーク５０の３次元点群データを取得してもよい。このように取得した３次元点群データは、３次元空間上のあらゆる視点から確認できる３Ｄビューの中で表示可能であり、コンテナ６０に積載の複数のワーク５０の重なり合う状態を３次元的に確認できる離散化されたデータである。
また、３次元計測機４５は、３次元点群データ又は距離画像とともに、グレースケール画像又はＲＧＢ画像等の２次元画像を取得してもよい。なお、ロボットシステム１Ａは、３次元計測機４５とは異なるデジタルカメラ等の撮像装置（図示しない）を含み、学習済みモデル実行装置１０ｂは、３次元計測機４５から３次元点群データ又は距離画像とともに撮像装置（図示しない）から２次元画像を取得してもよい。
また、３次元計測機４５は、３次元点群データ又は距離画像とともに、グレースケール画像又はＲＧＢ画像等の２次元画像を取得してもよい。なお、ロボットシステム１Ａは、３次元計測機４５とは異なるデジタルカメラ等の撮像装置（図示しない）を含み、学習済みモデル実行装置１０ｂは、３次元計測機４５から３次元点群データ又は距離画像とともに撮像装置（図示しない）から２次元画像を取得してもよい。
【0058】
＜学習済みモデル実行装置１０ｂ＞
図７は、第３実施形態に係る学習済みモデル実行装置１０ｂの機能的構成例を示す機能ブロック図である。なお、図１の学習済みモデル実行装置１０の要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
学習済みモデル実行装置１０ｂは、制御部１１ｂを有する。また、制御部１１ｂは、取得部１１０ｂ、前処理部１２０ｂ、及び実行部１３０ｂを有する。また、取得部１１０ｂは、データ保存部１１１を有する。また、前処理部１２０ｂは、バッチ処理部１２１ｂ、及び３次元処理部１２３を有する。また、実行部１３０ｂは、評価スコア計算部１３２ｂ、最適化計算部１３３、推論計算処理部１３４、及び推論結果保存部１３５を有する。
図７は、第３実施形態に係る学習済みモデル実行装置１０ｂの機能的構成例を示す機能ブロック図である。なお、図１の学習済みモデル実行装置１０の要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
学習済みモデル実行装置１０ｂは、制御部１１ｂを有する。また、制御部１１ｂは、取得部１１０ｂ、前処理部１２０ｂ、及び実行部１３０ｂを有する。また、取得部１１０ｂは、データ保存部１１１を有する。また、前処理部１２０ｂは、バッチ処理部１２１ｂ、及び３次元処理部１２３を有する。また、実行部１３０ｂは、評価スコア計算部１３２ｂ、最適化計算部１３３、推論計算処理部１３４、及び推論結果保存部１３５を有する。
【0059】
＜取得部１１０ｂ＞
取得部１１０ｂは、例えば、推論用データとしての画像データとともに、３次元点群データ又は距離画像を３次元計測機４５から取得する。また、取得部１１０ｂは、クラウド又はエッジデバイス上のデータベース７０から学習済みモデルを取得する。取得部１１０ｂは、取得した学習済みモデル、３次元点群データ又は距離画像、及び画像データをデータ保存部１１１に保存する。
なお、データ保存部１１１は、第１実施形態に係るデータ保存部１１１と同等の機能を有する。
取得部１１０ｂは、例えば、推論用データとしての画像データとともに、３次元点群データ又は距離画像を３次元計測機４５から取得する。また、取得部１１０ｂは、クラウド又はエッジデバイス上のデータベース７０から学習済みモデルを取得する。取得部１１０ｂは、取得した学習済みモデル、３次元点群データ又は距離画像、及び画像データをデータ保存部１１１に保存する。
なお、データ保存部１１１は、第１実施形態に係るデータ保存部１１１と同等の機能を有する。
【0060】
＜前処理部１２０ｂ＞
前処理部１２０ｂは、３次元点群データ又は距離画像データに基づいて推論用画像データのバッチ処理の最適化を行い、複数の推論用サブ画像データを生成するように構成されてもよい。
具体的には、前処理部１２０ｂの３次元処理部１２３は、例えば、コンテナ６０内にバラ積みされた複数のワーク５０を２次元、３次元的に計測することにより取得した推論用画像データと３次元点群データ（又は距離画像データ）との照らし合わせを行う。これにより、３次元処理部１２３は、推論用画像データ上の各画素位置に対応している現実世界の３次元位置のコンテナ６０の底からの高さ（「所定の高さ」ともいう）の分布を分析することができる。３次元処理部１２３は、所定の高さの分布の分析結果を３次元処理結果データとしてバッチ処理部１２１ｂに出力する。
前処理部１２０ｂは、３次元点群データ又は距離画像データに基づいて推論用画像データのバッチ処理の最適化を行い、複数の推論用サブ画像データを生成するように構成されてもよい。
具体的には、前処理部１２０ｂの３次元処理部１２３は、例えば、コンテナ６０内にバラ積みされた複数のワーク５０を２次元、３次元的に計測することにより取得した推論用画像データと３次元点群データ（又は距離画像データ）との照らし合わせを行う。これにより、３次元処理部１２３は、推論用画像データ上の各画素位置に対応している現実世界の３次元位置のコンテナ６０の底からの高さ（「所定の高さ」ともいう）の分布を分析することができる。３次元処理部１２３は、所定の高さの分布の分析結果を３次元処理結果データとしてバッチ処理部１２１ｂに出力する。
【0061】
ここで、バッチ処理部１２１ｂは、所定の高さの分布情報が含まれる３次元処理結果データを受け取り、推論用画像データ上の各画素位置に対応している所定の高さの差を反映して推論用画像データを複数の推論用サブ画像データに分割してもよい。
すなわち、推論用画像データのバッチ処理の段階で、推論用画像データをワーク５０が多く存在し優先して推論計算処理すべき推論用サブ画像データと、推論計算してもワーク５０が少ない又は１つも存在しない推論用サブ画像データとに分割することで、後述する実行部１３０ｂは推論計算処理順番の最適化を効率よくスムーズに行うことができる。
なお、前述の閾値は、要求される推論計算処理の精度や処理速度等に応じて適宜決定されることが好ましいが、工場の生産ラインの生産要求に応じて決定されてもよい。
すなわち、推論用画像データのバッチ処理の段階で、推論用画像データをワーク５０が多く存在し優先して推論計算処理すべき推論用サブ画像データと、推論計算してもワーク５０が少ない又は１つも存在しない推論用サブ画像データとに分割することで、後述する実行部１３０ｂは推論計算処理順番の最適化を効率よくスムーズに行うことができる。
なお、前述の閾値は、要求される推論計算処理の精度や処理速度等に応じて適宜決定されることが好ましいが、工場の生産ラインの生産要求に応じて決定されてもよい。
【0062】
＜実行部１３０ｂ＞
実行部１３０ｂは、３次元点群データ又は距離画像データに基づいて複数の推論用サブ画像データの推論計算処理順番の最適化を行い、予め指定された探索目標に達成するまでに、最適化された推論計算処理順番で必要な分だけの複数の推論用サブ画像データそれぞれと学習済みモデルとに基づいて推論用データの推論計算処理を実行するように構成されてもよい。
例えば、実行部１３０ｂの評価スコア計算部１３２ｂは、コンテナ６０内に複数のワーク５０がバラ積みされている場合、所定の高さが閾値以上の高い推論用サブ画像データに高い評価スコアを付与し、当該推論用サブ画像データに対する推論計算処理を優先的に行うようにしてもよい。一方、評価スコア計算部１３２ｂは、所定の高さが閾値より低い推論用サブ画像データに低い評価スコアを付与し、当該推論用サブ画像データに対する推論計算処理を行わないようにして推論計算処理の最適化を行ってもよい。これにより、学習済みモデル実行装置１０ｂは、莫大な画像データから予め指定した目標の候補数の対象のワーク５０を短い推論計算処理時間内で見つけ出すことができる。
実行部１３０ｂは、３次元点群データ又は距離画像データに基づいて複数の推論用サブ画像データの推論計算処理順番の最適化を行い、予め指定された探索目標に達成するまでに、最適化された推論計算処理順番で必要な分だけの複数の推論用サブ画像データそれぞれと学習済みモデルとに基づいて推論用データの推論計算処理を実行するように構成されてもよい。
例えば、実行部１３０ｂの評価スコア計算部１３２ｂは、コンテナ６０内に複数のワーク５０がバラ積みされている場合、所定の高さが閾値以上の高い推論用サブ画像データに高い評価スコアを付与し、当該推論用サブ画像データに対する推論計算処理を優先的に行うようにしてもよい。一方、評価スコア計算部１３２ｂは、所定の高さが閾値より低い推論用サブ画像データに低い評価スコアを付与し、当該推論用サブ画像データに対する推論計算処理を行わないようにして推論計算処理の最適化を行ってもよい。これにより、学習済みモデル実行装置１０ｂは、莫大な画像データから予め指定した目標の候補数の対象のワーク５０を短い推論計算処理時間内で見つけ出すことができる。
【0063】
ところで、３次元計測機４５の性能や照明条件によって３次元計測が失敗して３次元データを取得できなかった（データ抜け）領域が存在することもある。
そこで、評価スコア計算部１３２ｂは、前処理部１２０ｂのバッチ処理部１２１ｂにより出力された複数の推論用サブ画像データに対して、対応している３次元データの中にデータ抜け領域がより大きくて多いような推論用サブ画像データの推論計算処理の優先度を下げるようにしてもよい。そうすることで、学習済みモデル実行装置１０ｂは、無駄な推論計算処理をなくして、推論計算処理時間を短縮することができる。
そこで、評価スコア計算部１３２ｂは、前処理部１２０ｂのバッチ処理部１２１ｂにより出力された複数の推論用サブ画像データに対して、対応している３次元データの中にデータ抜け領域がより大きくて多いような推論用サブ画像データの推論計算処理の優先度を下げるようにしてもよい。そうすることで、学習済みモデル実行装置１０ｂは、無駄な推論計算処理をなくして、推論計算処理時間を短縮することができる。
【0064】
なお、最適化計算部１３３、推論計算処理部１３４、及び推論結果保存部１３５は、第１実施形態に係る最適化計算部１３３、推論計算処理部１３４、及び推論結果保存部１３５と同等の機能を有する。
【0065】
＜学習済みモデル実行装置１０ｂの推論計算処理＞
次に、本実施形態に係る学習済みモデル実行装置１０ｂの推論計算処理に係る動作について説明する。
図８は、学習済みモデル実行装置１０ｂの推論計算処理について説明するフローチャートである。
なお、ステップＳ３６からステップＳ３８の処理は、図３の第１実施形態のステップＳ１７からステップＳ１９と同様であり、説明は省略する。
次に、本実施形態に係る学習済みモデル実行装置１０ｂの推論計算処理に係る動作について説明する。
図８は、学習済みモデル実行装置１０ｂの推論計算処理について説明するフローチャートである。
なお、ステップＳ３６からステップＳ３８の処理は、図３の第１実施形態のステップＳ１７からステップＳ１９と同様であり、説明は省略する。
【0066】
ステップＳ３１において、取得部１１０ｂは、データベース７０から学習済みモデルを取得する。
【0067】
ステップＳ３２において、取得部１１０ｂは、３次元計測機４５から推論用画像データ、及び３次元点群データ又は距離画像を取得する。
【0068】
ステップＳ３３において、３次元処理部１２３は、ステップＳ３２で取得された３次元点群データ又は距離画像に基づいて推論用画像データの所定の高さの分布を分析し、３次元処理結果データを出力する。
【0069】
ステップＳ３４において、バッチ処理部１２１ｂは、ステップＳ３３で出力された３次元処理結果データに基づいて推論用画像データを複数の推論用サブ画像データに分割する。
【0070】
ステップＳ３５において、評価スコア計算部１３２ｂは、３次元点群データ又は距離画像に基づいて各推論用サブ画像データに評価スコアを付与する。
【0071】
以上により、第３実施形態に係る学習済みモデル実行装置１０ｂは、３次元計測機４５から推論用画像データ、及び３次元点群データ又は距離画像と、データベース７０から学習済みモデルと、をそれぞれ取得する。学習済みモデル実行装置１０ｂは、３次元点群データ又は距離画像に基づいて推論用画像データの所定の高さの分布を分析し、分析した３次元処理結果データに基づいて推論用画像データを複数の推論用サブ画像データに分割する。学習済みモデル実行装置１０ｂは、３次元点群データ又は距離画像に基づいて各推論用サブ画像データに評価スコアを付与し、評価スコアの情報に基づいて推論計算処理を行う複数の推論用サブ画像データの推論計算処理順番を最適化する。
これにより、学習済みモデル実行装置１０ｂは、ロボット３０が長く待機することなく短時間で推論計算処理を実行することができる。
また、学習済みモデル実行装置１０ｂは、通常の安価なＣＰＵデバイスを使用して高速に推論を実行することができ、低いコストで生産ラインに求められる高い生産効率を実現することができる。
以上、第３実施形態について説明した。
これにより、学習済みモデル実行装置１０ｂは、ロボット３０が長く待機することなく短時間で推論計算処理を実行することができる。
また、学習済みモデル実行装置１０ｂは、通常の安価なＣＰＵデバイスを使用して高速に推論を実行することができ、低いコストで生産ラインに求められる高い生産効率を実現することができる。
以上、第３実施形態について説明した。
【0072】
＜第３実施形態の変形例１＞
第３実施形態に係る学習済みモデル実行装置１０ｂは、３次元計測機４５から推論用画像データ、及び３次元点群データ又は距離画像も取得し利用し、バラ積みされた複数のワーク５０を取り出す場合を説明したが、これに限定されない。ワーク５０の種類、形状、サイズ、色、個数、積載状態などにも限定されない。
例えば、ロボット３０が複数のワーク５０が重なり合う状態のない平積み状態や箱形状のワーク５０の積荷状態（例えば、段ボールの段積み状態）からワーク５０を取り出すタスクを実行するための推論を行うシステムに適用してもよい。
第３実施形態に係る学習済みモデル実行装置１０ｂは、３次元計測機４５から推論用画像データ、及び３次元点群データ又は距離画像も取得し利用し、バラ積みされた複数のワーク５０を取り出す場合を説明したが、これに限定されない。ワーク５０の種類、形状、サイズ、色、個数、積載状態などにも限定されない。
例えば、ロボット３０が複数のワーク５０が重なり合う状態のない平積み状態や箱形状のワーク５０の積荷状態（例えば、段ボールの段積み状態）からワーク５０を取り出すタスクを実行するための推論を行うシステムに適用してもよい。
【0073】
＜第３実施形態の変形例２＞
第３実施形態では、学習済みモデル実行装置１０ｂは、データベース７０から学習済みモデルのみを取得したが、トレーニング画像データもデータベース７０から取得してもよい。
図９は、トレーニング画像データも取得する場合の第３実施形態の変形例に係る学習済みモデル実行装置１０ｂの機能的構成例を示す機能ブロック図である。なお、図７の学習済みモデル実行装置１０ｂ、及び図４の学習済みモデル実行装置１０ａの要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
第３実施形態では、学習済みモデル実行装置１０ｂは、データベース７０から学習済みモデルのみを取得したが、トレーニング画像データもデータベース７０から取得してもよい。
図９は、トレーニング画像データも取得する場合の第３実施形態の変形例に係る学習済みモデル実行装置１０ｂの機能的構成例を示す機能ブロック図である。なお、図７の学習済みモデル実行装置１０ｂ、及び図４の学習済みモデル実行装置１０ａの要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
【0074】
図９に示すように、取得部１１０ｂは、データベース７０から学習済みモデル、及びトレーニング画像データを取得する。
また、前処理部１２０ａの画像処理部１２２は、第２実施形態と同様に、トレーニング画像データと推論用画像データとに画像処理を行い、バッチ処理部１２１ａは、画像処理結果に基づいて推論用画像データのバッチ処理で複数の推論用サブ画像データに分割するように構成されてもよい。
なお、実行部１３０ｂ、評価スコア計算部１３２ｂ、最適化計算部１３３、推論計算処理部１３４、及び推論結果保存部１３５は、第３実施形態に係る評価スコア計算部１３２ｂ、最適化計算部１３３、推論計算処理部１３４、及び推論結果保存部１３５と同等の機能を有する。
また、前処理部１２０ａの画像処理部１２２は、第２実施形態と同様に、トレーニング画像データと推論用画像データとに画像処理を行い、バッチ処理部１２１ａは、画像処理結果に基づいて推論用画像データのバッチ処理で複数の推論用サブ画像データに分割するように構成されてもよい。
なお、実行部１３０ｂ、評価スコア計算部１３２ｂ、最適化計算部１３３、推論計算処理部１３４、及び推論結果保存部１３５は、第３実施形態に係る評価スコア計算部１３２ｂ、最適化計算部１３３、推論計算処理部１３４、及び推論結果保存部１３５と同等の機能を有する。
【0075】
これにより、学習済みモデル実行装置１０ｂは、データベース７０からトレーニング画像データを取得する場合でもロボット３０が長く待機することなく短時間で推論計算処理を実行することができる。また、学習済みモデル実行装置１０ｂは、通常の安価なＣＰＵデバイスを使用して高速に推論を実行することができ、低いコストで生産ラインに求められる高い生産効率を実現することができる。
【0076】
以上、第１実施形態、第２実施形態、及び第３実施形態について説明したが、学習済みモデル実行装置１０、１０ａ、１０ｂは、上述の実施形態に限定されるものではなく、目的を達成できる範囲での変形、改良等を含む。
【0077】
＜変形例１＞
上述の第１実施形態、第２実施形態、及び第３実施形態では、学習済みモデル実行装置１０、１０ａ、１０ｂは、ロボット制御装置２０と異なる装置として例示したが、学習済みモデル実行装置１０、１０ａ、１０ｂの一部又は全部の機能を、ロボット制御装置２０が備えるように構成されてもよい。
あるいは、学習済みモデル実行装置１０の取得部１１０、前処理部１２０、及び実行部１３０の一部又は全部を、例えば、サーバが備えるようにしてもよい。また、学習済みモデル実行装置１０ａの取得部１１０ａ、前処理部１２０ａ、及び実行部１３０ａの一部又は全部を、例えば、サーバが備えるようにしてもよい。また、学習済みモデル実行装置１０ｂの取得部１１０ｂ、前処理部１２０ｂ、及び実行部１３０ｂの一部又は全部を、例えば、サーバが備えるようにしてもよい。また、クラウド上で仮想サーバ機能等を利用して、学習済みモデル実行装置１０、１０ａ、１０ｂの各機能を実現してもよい。
さらに、学習済みモデル実行装置１０、１０ａ、１０ｂは、学習済みモデル実行装置１０、１０ａ、１０ｂの各機能を適宜複数のサーバに分散される、分散処理システムとしてもよい。
上述の第１実施形態、第２実施形態、及び第３実施形態では、学習済みモデル実行装置１０、１０ａ、１０ｂは、ロボット制御装置２０と異なる装置として例示したが、学習済みモデル実行装置１０、１０ａ、１０ｂの一部又は全部の機能を、ロボット制御装置２０が備えるように構成されてもよい。
あるいは、学習済みモデル実行装置１０の取得部１１０、前処理部１２０、及び実行部１３０の一部又は全部を、例えば、サーバが備えるようにしてもよい。また、学習済みモデル実行装置１０ａの取得部１１０ａ、前処理部１２０ａ、及び実行部１３０ａの一部又は全部を、例えば、サーバが備えるようにしてもよい。また、学習済みモデル実行装置１０ｂの取得部１１０ｂ、前処理部１２０ｂ、及び実行部１３０ｂの一部又は全部を、例えば、サーバが備えるようにしてもよい。また、クラウド上で仮想サーバ機能等を利用して、学習済みモデル実行装置１０、１０ａ、１０ｂの各機能を実現してもよい。
さらに、学習済みモデル実行装置１０、１０ａ、１０ｂは、学習済みモデル実行装置１０、１０ａ、１０ｂの各機能を適宜複数のサーバに分散される、分散処理システムとしてもよい。
【0078】
＜変形例２＞
また例えば、上述の第１実施形態に係る学習済みモデル実行装置１０は、ロボット３０がコンテナ６０内にバラ積みされた複数のワーク５０を取り出す場合において画像データに基づいて機械学習して生成された学習済みモデルを実行するケースであって、機械学習を行う際に用いたトレーニング画像データのサイズに基づいて推論用画像データをバッチ処理で複数の推論用サブ画像データに分割し、トレーニング画像データ及び複数の推論用サブ画像データのそれぞれから抽出した局所特徴量に基づいてトレーニング画像データと各推論用サブ画像データとのマッチング処理を行うように構成された。そして、学習済みモデル実行装置１０は、マッチング度に応じて複数の推論用サブ画像データそれぞれに評価スコアを付与し、評価スコアに基づいて複数の推論用サブ画像データの推論計算処理順番を最適化し、最適化された推論計算処理順番に基づいて複数の推論用サブ画像データの推論計算処理を行い、ロボット３０が取り出すワーク５０の取り出し位置候補を計算した実施例を説明したが、ロボット３０がコンテナ６０内にバラ積みされた複数のワーク５０を取り出す場合において画像データに基づいて機械学習して生成された学習済みモデルを実行するケースに限定されない。ワーク５０の種類、形状、サイズ、色、個数、積載状態等にも限定されない。
例えば、ロボット３０が複数のワーク５０が重なり合う状態のない平積み状態や箱形状のワーク５０の積荷状態（例えば、段ボールの段積み状態）からワーク５０を取り出すタスクを実行するための推論を行うシステムに適用してもよい。
例えば、学習済みモデル実行装置１０は、ロボット３０がコンテナ６０内にバラ積みされた複数のワーク５０を取り出すシステムに換えて、例えば複数人の会話又は会議中の音声データに基づいて任意のタスクを実行するための推論を行うシステムに適用してもよい。この場合、画像データを音声データに換えて、音声のトレーニングデータ（以下、「トレーニング音声データ」ともいう）に基づいて音声の推論用データ（以下、「推論用音声データ」ともいう）をバッチ処理で複数の推論用サブ音声データに分割し、トレーニング音声データ及び複数の推論用サブ音声データから抽出した特徴量に基づいてトレーニング音声データと各推論用サブ音声データとのマッチング処理を行うようにしてもよい。そして、学習済みモデル実行装置１０は、第１実施形態と同様の手法を適用して、マッチング度に応じて複数の推論用サブ音声データそれぞれに評価スコアを付与し、評価スコアに基づいて複数の推論用サブ音声データの推論計算処理順番を最適化し、最適化された推論計算処理順番に基づいて複数の推論用サブ音声データの推論計算処理を行い、莫大な音声データから規定したトレーニング音声データである会話内容（例えば、「イヌ（犬）」、「ネコ（猫）」、「テンキ（天気）」等の特定の目標キーワードに関連する内容）を短い推論計算処理時間内で見つけ出すようにしてもよい。そうすることで、学習済みモデル実行装置１０は、例えば、複数人の会話又は会議中の音声データに基づいて会話内容を推論して認識するシステムの場合、規定の音声データ、例えば人の音声データが含まれない領域（音声データをセル化した場合は、複数のセル群となる。以下、「セル群」ともいう）を含む推論用サブ音声データに対する無駄な推論計算処理を回避でき、推論計算処理時間を短縮することができる。
また例えば、上述の第１実施形態に係る学習済みモデル実行装置１０は、ロボット３０がコンテナ６０内にバラ積みされた複数のワーク５０を取り出す場合において画像データに基づいて機械学習して生成された学習済みモデルを実行するケースであって、機械学習を行う際に用いたトレーニング画像データのサイズに基づいて推論用画像データをバッチ処理で複数の推論用サブ画像データに分割し、トレーニング画像データ及び複数の推論用サブ画像データのそれぞれから抽出した局所特徴量に基づいてトレーニング画像データと各推論用サブ画像データとのマッチング処理を行うように構成された。そして、学習済みモデル実行装置１０は、マッチング度に応じて複数の推論用サブ画像データそれぞれに評価スコアを付与し、評価スコアに基づいて複数の推論用サブ画像データの推論計算処理順番を最適化し、最適化された推論計算処理順番に基づいて複数の推論用サブ画像データの推論計算処理を行い、ロボット３０が取り出すワーク５０の取り出し位置候補を計算した実施例を説明したが、ロボット３０がコンテナ６０内にバラ積みされた複数のワーク５０を取り出す場合において画像データに基づいて機械学習して生成された学習済みモデルを実行するケースに限定されない。ワーク５０の種類、形状、サイズ、色、個数、積載状態等にも限定されない。
例えば、ロボット３０が複数のワーク５０が重なり合う状態のない平積み状態や箱形状のワーク５０の積荷状態（例えば、段ボールの段積み状態）からワーク５０を取り出すタスクを実行するための推論を行うシステムに適用してもよい。
例えば、学習済みモデル実行装置１０は、ロボット３０がコンテナ６０内にバラ積みされた複数のワーク５０を取り出すシステムに換えて、例えば複数人の会話又は会議中の音声データに基づいて任意のタスクを実行するための推論を行うシステムに適用してもよい。この場合、画像データを音声データに換えて、音声のトレーニングデータ（以下、「トレーニング音声データ」ともいう）に基づいて音声の推論用データ（以下、「推論用音声データ」ともいう）をバッチ処理で複数の推論用サブ音声データに分割し、トレーニング音声データ及び複数の推論用サブ音声データから抽出した特徴量に基づいてトレーニング音声データと各推論用サブ音声データとのマッチング処理を行うようにしてもよい。そして、学習済みモデル実行装置１０は、第１実施形態と同様の手法を適用して、マッチング度に応じて複数の推論用サブ音声データそれぞれに評価スコアを付与し、評価スコアに基づいて複数の推論用サブ音声データの推論計算処理順番を最適化し、最適化された推論計算処理順番に基づいて複数の推論用サブ音声データの推論計算処理を行い、莫大な音声データから規定したトレーニング音声データである会話内容（例えば、「イヌ（犬）」、「ネコ（猫）」、「テンキ（天気）」等の特定の目標キーワードに関連する内容）を短い推論計算処理時間内で見つけ出すようにしてもよい。そうすることで、学習済みモデル実行装置１０は、例えば、複数人の会話又は会議中の音声データに基づいて会話内容を推論して認識するシステムの場合、規定の音声データ、例えば人の音声データが含まれない領域（音声データをセル化した場合は、複数のセル群となる。以下、「セル群」ともいう）を含む推論用サブ音声データに対する無駄な推論計算処理を回避でき、推論計算処理時間を短縮することができる。
【0079】
あるいは、学習済みモデル実行装置１０は、ロボット３０がコンテナ６０内にバラ積みされた複数のワーク５０を取り出すシステムに換えて、例えば文字データに基づいて任意のタスクを実行するための推論を行うシステムとして、文字データに基づいて機械学習して生成される学習済みモデルを実行するケースにも適用することができる。具体的には、画像データを文字データに換えて、第１実施形態と同様の手法を適用して、文字のトレーニングデータ（以下、「トレーニング文字データ」ともいう）に基づいて文字の推論用データ（以下、「推論用文字データ」ともいう）をバッチ処理で複数の推論用サブ文字データに分割し、トレーニング文字データ及び複数の推論用サブ文字データのそれぞれから抽出した特徴量に基づいてトレーニング文字データと各推論用サブ文字データとのマッチング処理を行ってもよい。そして、学習済みモデル実行装置１０は、マッチング度に応じて複数の推論用サブ文字データそれぞれに評価スコアを付与し、評価スコアに基づいて複数の推論用サブ文字データの推論計算処理順番を最適化し、最適化された推論計算処理順番に基づいて複数の推論用サブ文字データの推論計算処理を行い、莫大な文字データから規定したトレーニング文字データ（例えば、「年」、「月」、「日」等の特定の目標キーワードに関連する内容）を短い推論計算処理時間内で見つけ出すようにしてもよい。そうすることで、学習済みモデル実行装置１０は、例えば、ロボット３０の故障履歴データ（文字データ）に基づいて所定の故障（例えば、減速機の故障件数と故障時間と場所）を特定する場合、規定の文字データ（例えば、「減速機」という目標キーワード）を含まない領域（文字データをセル化した場合は、複数のセル群となる。以下、「セル群」ともいう）を含む推論用サブ文字データに対する無駄な推論計算処理を回避でき、推論計算処理時間を短縮することができる。
以下、より具体的に推論用データが（ａ）音声データの場合と、（ｂ）文字データの場合と、についてそれぞれ説明する。
以下、より具体的に推論用データが（ａ）音声データの場合と、（ｂ）文字データの場合と、についてそれぞれ説明する。
【0080】
（ａ）推論用データが音声データの場合について
図１０は、推論用データが音声データの場合の学習済みモデル実行装置１０の機能的構成例を示す機能ブロック図である。なお、図２の学習済みモデル実行装置１０の要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
また、この場合の学習済みモデルは、例えば、各推論用サブ音声データを入力し、トレーニング音声データ上に教示ラベルとして付けられた規定の会話内容（例えば、「イヌ（犬）」、「ネコ（猫）」、「テンキ（天気）」等の特定の目標キーワード）を含むか否かの割合等を示す情報を出力するものとする。
図１０は、推論用データが音声データの場合の学習済みモデル実行装置１０の機能的構成例を示す機能ブロック図である。なお、図２の学習済みモデル実行装置１０の要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
また、この場合の学習済みモデルは、例えば、各推論用サブ音声データを入力し、トレーニング音声データ上に教示ラベルとして付けられた規定の会話内容（例えば、「イヌ（犬）」、「ネコ（猫）」、「テンキ（天気）」等の特定の目標キーワード）を含むか否かの割合等を示す情報を出力するものとする。
【0081】
取得部１１０は、例えば、マイクとコンピュータとの組み合わせ、又は内蔵マイクを有するコンピュータ、スマートフォンやタブレット端末、ビデオカメラ等の録音装置８０から推論用データとして音声データを取得するようにしてもよい。
【0082】
前処理部１２０のバッチ処理部１２１は、図２の推論用画像データの場合と同様に、トレーニング音声データのサイズを最小限のサイズとして推論用音声データをバッチ処理で分割し、複数の推論用サブ音声データとして生成し出力するようにしてもよい。
【0083】
実行部１３０は、図２の推論用画像データの場合と同様に、トレーニング音声データとのマッチング度に基づいて、前処理部１２０のバッチ処理で分割された複数の推論用サブ音声データそれぞれに評価スコアを付与し、付与された複数の評価スコアの値の大きさに従って決まる優先順位に基づいて、複数の推論用サブ音声データの推論計算処理順番の最適化を行うように構成されてもよい。
具体的には、特徴分析部１３１は、例えば、トレーニング音声データの特徴分析（例えば、周波数特徴分析）を行い、教示ラベルとして付けられた規定の会話内容（例えば、「イヌ（犬）」、「ネコ（猫）」、「テンキ（天気）」等の特定の目標キーワード）の音声データの特徴量（以下、「周波数特徴分析結果」ともいう）Ｂを抽出する。また、特徴分析部１３１は、前処理部１２０のバッチ処理で分割されたｍ個の推論用サブ音声データＡＵＤ１、ＡＵＤ２、…ＡＵＤｍに対しても周波数特徴分析を行い、周波数特徴分析結果を抽出する（ｍは２以上の整数）。例えば、特徴分析部１３１は、推論用サブ音声データＡＵＤ１から周波数特徴分析結果Ｂ１１、Ｂ１２を抽出し、推論用サブ音声データＡＵＤ２から周波数特徴分析結果Ｂ２１、Ｂ２２、Ｂ２３を抽出し、推論用サブ音声データＡＵＤ３から周波数特徴分析結果Ｂ３１、Ｂ３２、Ｂ３３、Ｂ３４を抽出したとする。特徴分析部１３１は、抽出した周波数特徴分析結果Ｂ１１、Ｂ１２、Ｂ２１、Ｂ２２、Ｂ２３、Ｂ３１、Ｂ３２、Ｂ３３、Ｂ３４それぞれと、トレーニング音声データの周波数特徴分析結果Ｂと、のマッチング処理を行い、マッチング処理の分析結果データを評価スコア計算部１３２に出力する。
具体的には、特徴分析部１３１は、例えば、トレーニング音声データの特徴分析（例えば、周波数特徴分析）を行い、教示ラベルとして付けられた規定の会話内容（例えば、「イヌ（犬）」、「ネコ（猫）」、「テンキ（天気）」等の特定の目標キーワード）の音声データの特徴量（以下、「周波数特徴分析結果」ともいう）Ｂを抽出する。また、特徴分析部１３１は、前処理部１２０のバッチ処理で分割されたｍ個の推論用サブ音声データＡＵＤ１、ＡＵＤ２、…ＡＵＤｍに対しても周波数特徴分析を行い、周波数特徴分析結果を抽出する（ｍは２以上の整数）。例えば、特徴分析部１３１は、推論用サブ音声データＡＵＤ１から周波数特徴分析結果Ｂ１１、Ｂ１２を抽出し、推論用サブ音声データＡＵＤ２から周波数特徴分析結果Ｂ２１、Ｂ２２、Ｂ２３を抽出し、推論用サブ音声データＡＵＤ３から周波数特徴分析結果Ｂ３１、Ｂ３２、Ｂ３３、Ｂ３４を抽出したとする。特徴分析部１３１は、抽出した周波数特徴分析結果Ｂ１１、Ｂ１２、Ｂ２１、Ｂ２２、Ｂ２３、Ｂ３１、Ｂ３２、Ｂ３３、Ｂ３４それぞれと、トレーニング音声データの周波数特徴分析結果Ｂと、のマッチング処理を行い、マッチング処理の分析結果データを評価スコア計算部１３２に出力する。
【0084】
評価スコア計算部１３２は、特徴分析部１３１により出力された分析結果データを受け取り、例えば推論用サブ音声データＡＵＤ２がマッチング度の高い周波数特徴分析結果（例えば、Ｂ２２）を含む場合、推論用サブ音声データＡＵＤ２に高い評価スコア（例えば、７０点等）を付与する。また、評価スコア計算部１３２は、例えば１つの推論用サブ音声データＡＵＤ３がマッチング度の高い複数の周波数特徴分析結果（例えば、Ｂ３２、Ｂ３４）を含む場合、推論用サブ音声データＡＵＤ３にさらに高い評価スコア（例えば、８０点等）を付与する。評価スコア計算部１３２は、このように付与した評価スコアを最適化計算部１３３に出力する。
【0085】
最適化計算部１３３は、評価スコア計算部１３２により出力された評価スコアの情報に基づいて、高い評価スコアを有する推論用サブ音声データから順に優先的に推論計算処理するように高い優先順位を付与する。最適化計算部１３３は、前処理部１２０のバッチ処理で分割されたｍ個の推論用サブ音声データの推論計算処理順番の最適化を行い、最適化された推論計算処理順番の処理順番リストを生成する。最適化計算部１３３は、生成した処理順番リストを推論計算処理部１３４に出力する。
なお、最適化計算部１３３は、低い評価スコアを有する推論用サブ音声データを推論計算処理しないように処理順番リストから削除するようにしてもよい。
なお、最適化計算部１３３は、低い評価スコアを有する推論用サブ音声データを推論計算処理しないように処理順番リストから削除するようにしてもよい。
【0086】
推論計算処理部１３４は、最適化計算部１３３から受信した処理順番リストの情報と、前処理部１２０のバッチ処理で分割されたｍ個の推論用サブ音声データと、学習済みモデルとに基づいて推論計算処理を行う。推論計算処理部１３４は、推論計算処理の推論結果データを推論結果保存部１３５に保存する。
【0087】
このように、高い評価スコアを有する推論用サブ音声データには目標の教示ラベルに付けられた特定の目標キーワードを含む可能性が高いことから、学習済みモデル実行装置１０は、高い評価スコアを有する推論用サブ音声データから優先的に推論計算処理する。そうすることで、学習済みモデル実行装置１０は、予め規定した会話内容を早めに見つけ出すことができ、推論計算処理を早めに終了して推論計算処理時間を短縮することができる。換言すれば、学習済みモデル実行装置１０は、低い評価スコアを有する推論用サブ音声データには目標キーワードを含む可能性が低いことから、低い評価スコアを有する推論用サブ音声データの推論計算処理をしないようにすることで、無駄な計算処理時間をなくすことができる。すなわち、学習済みモデル実行装置１０は、莫大な音声データから規定した会話内容を短い推論計算処理時間内で見つけ出すことができる。
【0088】
（ｂ）推論用データが文字データの場合について
図１１は、推論用データが文字データの場合の学習済みモデル実行装置１０の機能的構成例を示す機能ブロック図である。なお、図２の学習済みモデル実行装置１０の要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
また、この場合の学習済みモデルは、例えば、各推論用サブ文字データを入力し、トレーニング文字データ上に教示ラベルとして付けられた規定の文字データ（例えば、時間を表す「年」、「月」、「日」等の特定の目標キーワード）を含むか否かの割合等を示す情報を出力するものとする。
図１１は、推論用データが文字データの場合の学習済みモデル実行装置１０の機能的構成例を示す機能ブロック図である。なお、図２の学習済みモデル実行装置１０の要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
また、この場合の学習済みモデルは、例えば、各推論用サブ文字データを入力し、トレーニング文字データ上に教示ラベルとして付けられた規定の文字データ（例えば、時間を表す「年」、「月」、「日」等の特定の目標キーワード）を含むか否かの割合等を示す情報を出力するものとする。
【0089】
取得部１１０は、例えば、紙に記録されている文字データの画像を取得するスキャナ、カメラ、スキャン機能付きのプリンタ、又は手書き入力可能なタッチパネル等のスキャン装置９０から推論用データとして文字データを取得するようにしてもよい。
【0090】
前処理部１２０のバッチ処理部１２１は、図２の推論用画像データの場合と同様に、トレーニング文字データのサイズを最小限のサイズとして推論用文字データをバッチ処理で分割し、複数の推論用サブ文字データとして生成し出力するようにしてもよい。
【0091】
実行部１３０は、図２の推論用画像データの場合と同様に、トレーニング文字データとのマッチング度に基づいて、前処理部１２０のバッチ処理で分割された複数の推論用サブ文字データそれぞれに評価スコアを付与し、付与された複数の評価スコアの値の大きさに従って決まる優先順位に基づいて、複数の推論用サブ文字データの推論計算処理順番の最適化を行うように構成されてもよい。
具体的には、特徴分析部１３１は、例えば、トレーニング文字データの特徴分析（例えば、文字の縦横比率、Ｘ軸を中心とした対称性、Ｙ軸を中心とした対称性等の特徴分析）を行い、教示ラベルとして付けられた規定の文字データ（例えば、時間を表す「年」、「月」、「日」のような特定の目標キーワード）の特徴量（以下、「特徴分析結果」ともいう）Ｃを抽出する。また、特徴分析部１３１は、前処理部１２０のバッチ処理で分割されたｋ個の推論用サブ文字データＭＯＪＩ１、ＭＯＪＩ２、…ＭＯＪＩｋに対しても同じ特徴分析を行い、特徴分析結果を抽出する（ｋは２以上の整数）。例えば、特徴分析部１３１は、推論用サブ文字データＭＯＪＩ１から特徴分析結果Ｃ１１、Ｃ１２を抽出し、推論用サブ文字データＭＯＪＩ２から特徴分析結果Ｃ２１、Ｃ２２、Ｃ２３を抽出し、推論用サブ文字データＭＯＪＩ３から特徴分析結果Ｃ３１、Ｃ３２、Ｃ３３、Ｃ３４を抽出したとする。特徴分析部１３１は、抽出した特徴分析結果Ｃ１１、Ｃ１２、Ｃ２１、Ｃ２２、Ｃ２３、Ｃ３１、Ｃ３２、Ｃ３３、Ｃ３４それぞれと、トレーニング文字データの特徴分析結果Ｃと、のマッチング処理を行い、マッチング処理の分析結果データを評価スコア計算部１３２に出力する。
具体的には、特徴分析部１３１は、例えば、トレーニング文字データの特徴分析（例えば、文字の縦横比率、Ｘ軸を中心とした対称性、Ｙ軸を中心とした対称性等の特徴分析）を行い、教示ラベルとして付けられた規定の文字データ（例えば、時間を表す「年」、「月」、「日」のような特定の目標キーワード）の特徴量（以下、「特徴分析結果」ともいう）Ｃを抽出する。また、特徴分析部１３１は、前処理部１２０のバッチ処理で分割されたｋ個の推論用サブ文字データＭＯＪＩ１、ＭＯＪＩ２、…ＭＯＪＩｋに対しても同じ特徴分析を行い、特徴分析結果を抽出する（ｋは２以上の整数）。例えば、特徴分析部１３１は、推論用サブ文字データＭＯＪＩ１から特徴分析結果Ｃ１１、Ｃ１２を抽出し、推論用サブ文字データＭＯＪＩ２から特徴分析結果Ｃ２１、Ｃ２２、Ｃ２３を抽出し、推論用サブ文字データＭＯＪＩ３から特徴分析結果Ｃ３１、Ｃ３２、Ｃ３３、Ｃ３４を抽出したとする。特徴分析部１３１は、抽出した特徴分析結果Ｃ１１、Ｃ１２、Ｃ２１、Ｃ２２、Ｃ２３、Ｃ３１、Ｃ３２、Ｃ３３、Ｃ３４それぞれと、トレーニング文字データの特徴分析結果Ｃと、のマッチング処理を行い、マッチング処理の分析結果データを評価スコア計算部１３２に出力する。
【0092】
評価スコア計算部１３２は、特徴分析部１３１により出力された分析結果データを受け取り、例えば推論用サブ文字データＭＯＪＩ２がマッチング度の高い特徴分析結果（例えば、Ｃ２２）を含む場合、推論用サブ文字データＭＯＪＩ２に高い評価スコア（例えば、７０点等）を付与する。また、評価スコア計算部１３２は、例えば１つの推論用サブ文字データＭＯＪＩ３がマッチング度の高い複数の特徴分析結果（例えば、Ｃ３２、Ｃ３４）を含む場合、推論用サブ文字データＭＯＪＩ３にさらに高い評価スコア（例えば、８０点等）を付与する。評価スコア計算部１３２は、このように付与した評価スコアを最適化計算部１３３に出力する。
【0093】
最適化計算部１３３は、評価スコア計算部１３２により出力された評価スコアの情報に基づいて、高い評価スコアを有する推論用サブ文字データから順に優先的に推論計算処理するように高い優先順位を付与する。最適化計算部１３３は、前処理部１２０のバッチ処理で分割されたｋ個の推論用サブ文字データの推論計算処理順番の最適化を行い、最適化された推論計算処理順番の処理順番リストを生成する。最適化計算部１３３は、生成した処理順番リストを推論計算処理部１３４に出力する。
なお、最適化計算部１３３は、低い評価スコアを有する推論用サブ文字データを推論計算処理しないように処理順番リストから削除するようにしてもよい。
なお、最適化計算部１３３は、低い評価スコアを有する推論用サブ文字データを推論計算処理しないように処理順番リストから削除するようにしてもよい。
【0094】
推論計算処理部１３４は、最適化計算部１３３から受信した処理順番リストの情報と、前処理部１２０のバッチ処理で分割されたｋ個の推論用サブ文字データと、学習済みモデルとに基づいて推論計算処理を行う。推論計算処理部１３４は、推論計算処理の推論結果データを推論結果保存部１３５に保存する。
【0095】
これにより、高い評価スコアを有する推論用サブ文字データには目標の教示ラベルに付けられた特定の目標キーワードを含む可能性が高いことから、学習済みモデル実行装置１０は、高い評価スコアを有する推論用サブ文字データから優先的に推論計算処理する。そうすることで、学習済みモデル実行装置１０は、教示ラベルとして付けられた規定の文字データ（例えば、時間を表す「年」、「月」、「日」のような特定の目標キーワード）に基づいて「ＸＸＸＸ年ＸＸ月ＸＸ日に発生したロボット３０の故障」等の文字データを早めに見つけ出すことができ、推論計算処理時間を短縮することができる。換言すれば、学習済みモデル実行装置１０は、低い評価スコアを有する推論用サブ文字データには目標キーワードを含む可能性が低いことから、低い評価スコアを有する推論用サブ文字データの推論計算処理をしないようにすることで、無駄な計算処理時間をなくすことができる。すなわち、学習済みモデル実行装置１０は、莫大な文字データから規定した文字データを短い推論計算処理時間内で見つけ出すことができる。
【0096】
＜変形例３＞
また例えば、上述の第２実施形態に係る学習済みモデル実行装置１０ａは、ロボット３０がコンテナ６０内にバラ積みされた複数のワーク５０を取り出す場合において画像データに基づいて機械学習して生成された学習済みモデルを実行するケースであって、撮像装置４０から推論用画像データと、データベース７０から学習済みモデルとを取得し、取得した推論用画像データに対して画像処理を行い、推論用画像データから抽出した特徴点に基づいて推論用画像データを特徴点が集中している推論用サブ画像データと特徴点が少ない又は１つも存在しない推論用サブ画像データとに分割する。そして、学習済みモデル実行装置１０ａは、各推論用サブ画像データの特徴点の数に基づいて各推論用サブ画像データに評価スコアを付与し、評価スコアに基づいて複数の推論用サブ画像データの推論計算処理順番を最適化し、最適化された推論計算処理順番に基づいて複数の推論用サブ画像データの推論計算処理を行い、ロボット３０が取り出すワーク５０の取り出し位置候補を計算する実施例を説明したが、ロボット３０がコンテナ６０内にバラ積みされた複数のワーク５０を取り出す場合において画像データに基づいて機械学習して生成された学習済みモデルを実行するケースに限定されない。ワーク５０の種類、形状、サイズ、色、個数、積載状態等にも限定されない。
例えば、ロボット３０が複数のワーク５０が重なり合う状態のない平積み状態や箱形状のワーク５０の積荷状態（例えば、段ボールの段積み状態）からワーク５０を取り出すタスクを実行するための推論を行うシステムに適用してもよい。
また、変形例２と同様に、例えば複数人の会話又は会議中の録音された音声データに基づいて任意のタスクを実行するための推論を行うシステムに適用してもよい。例えば、学習済みモデル実行装置１０ａは、マイク等の録音装置から音声の推論用データ（以下、「推論用音声データ」ともいう）と、データベース７０から学習済みモデルとを取得し、取得した推論用音声データに対して特徴分析（例えば、周波数分析）を行い、推論用音声データから抽出した周波数分析結果に基づいて複数の推論用サブ音声データに分割して各推論用サブ音声データに評価スコアを付与してもよい。そして、学習済みモデル実行装置１０ａは、評価スコアに基づいて複数の推論用サブ音声データの推論計算処理順番を最適化し、最適化された推論計算処理順番に基づいて複数の推論用サブ音声データの推論計算処理を行い、莫大な音声データから規定した会話内容（例えば、「イヌ（犬）」、「ネコ（猫）」、「テンキ（天気）」等の人の音声データ）を短い推論計算処理時間内で見つけ出すようにしてもよい。そうすることで、学習済みモデル実行装置１０ａは、例えば、規定の会話内容を特定する場合、規定の音声データ、すなわち人の音声が含まれない領域（セル群）を含む推論用サブ音声データに対する無駄な推論計算処理を回避でき、推論計算処理時間を短縮することができる。
また例えば、上述の第２実施形態に係る学習済みモデル実行装置１０ａは、ロボット３０がコンテナ６０内にバラ積みされた複数のワーク５０を取り出す場合において画像データに基づいて機械学習して生成された学習済みモデルを実行するケースであって、撮像装置４０から推論用画像データと、データベース７０から学習済みモデルとを取得し、取得した推論用画像データに対して画像処理を行い、推論用画像データから抽出した特徴点に基づいて推論用画像データを特徴点が集中している推論用サブ画像データと特徴点が少ない又は１つも存在しない推論用サブ画像データとに分割する。そして、学習済みモデル実行装置１０ａは、各推論用サブ画像データの特徴点の数に基づいて各推論用サブ画像データに評価スコアを付与し、評価スコアに基づいて複数の推論用サブ画像データの推論計算処理順番を最適化し、最適化された推論計算処理順番に基づいて複数の推論用サブ画像データの推論計算処理を行い、ロボット３０が取り出すワーク５０の取り出し位置候補を計算する実施例を説明したが、ロボット３０がコンテナ６０内にバラ積みされた複数のワーク５０を取り出す場合において画像データに基づいて機械学習して生成された学習済みモデルを実行するケースに限定されない。ワーク５０の種類、形状、サイズ、色、個数、積載状態等にも限定されない。
例えば、ロボット３０が複数のワーク５０が重なり合う状態のない平積み状態や箱形状のワーク５０の積荷状態（例えば、段ボールの段積み状態）からワーク５０を取り出すタスクを実行するための推論を行うシステムに適用してもよい。
また、変形例２と同様に、例えば複数人の会話又は会議中の録音された音声データに基づいて任意のタスクを実行するための推論を行うシステムに適用してもよい。例えば、学習済みモデル実行装置１０ａは、マイク等の録音装置から音声の推論用データ（以下、「推論用音声データ」ともいう）と、データベース７０から学習済みモデルとを取得し、取得した推論用音声データに対して特徴分析（例えば、周波数分析）を行い、推論用音声データから抽出した周波数分析結果に基づいて複数の推論用サブ音声データに分割して各推論用サブ音声データに評価スコアを付与してもよい。そして、学習済みモデル実行装置１０ａは、評価スコアに基づいて複数の推論用サブ音声データの推論計算処理順番を最適化し、最適化された推論計算処理順番に基づいて複数の推論用サブ音声データの推論計算処理を行い、莫大な音声データから規定した会話内容（例えば、「イヌ（犬）」、「ネコ（猫）」、「テンキ（天気）」等の人の音声データ）を短い推論計算処理時間内で見つけ出すようにしてもよい。そうすることで、学習済みモデル実行装置１０ａは、例えば、規定の会話内容を特定する場合、規定の音声データ、すなわち人の音声が含まれない領域（セル群）を含む推論用サブ音声データに対する無駄な推論計算処理を回避でき、推論計算処理時間を短縮することができる。
【0097】
あるいは、学習済みモデル実行装置１０ａは、ロボット３０がコンテナ６０内にバラ積みされた複数のワーク５０を取り出すシステムに換えて、例えば文字データに基づいて任意のタスクを実行するための推論を行うシステムとして、文字データに基づいて機械学習して生成される学習済みモデルを実行するケースにも適用することができる。具体的には、画像データを文字データに換えて、第２実施形態と同様の手法を適用して、スキャナ等のスキャン装置から文字の推論用データ（以下、「推論用文字データ」ともいう）と、データベース７０から学習済みモデルとを取得し、取得した推論用文字データに対して特徴分析を行い、推論用文字データから抽出した特徴分析結果に基づいて複数の推論用サブ文字データに分割して各推論用サブ文字データに評価スコアを付与してもよい。そして、学習済みモデル実行装置１０ａは、評価スコアに基づいて複数の推論用サブ文字データの推論計算処理順番を最適化し、最適化された推論計算処理順番に基づいて複数の推論用サブ文字データの推論計算処理を行い、莫大な文字データから規定した文字データ（例えば、「都」、「道」、「府」、「県」、「市」、「郡」、「村」等）を短い推論計算処理時間内で見つけ出すようにしてもよい。そうすることで、学習済みモデル実行装置１０ａは、例えば、郵便物の送り先を特定し郵便物を送り先毎に振り分ける場合、規定の文字データである「都」～「村」を含まない領域（セル群）を含む推論用サブ文字データに対する推論計算処理を行わないことで無駄な推論計算処理を回避でき、推論計算処理時間を短縮することができる。
以下、より具体的に推論用データが（ａ）音声データの場合と、（ｂ）文字データの場合と、についてそれぞれ説明する。
以下、より具体的に推論用データが（ａ）音声データの場合と、（ｂ）文字データの場合と、についてそれぞれ説明する。
【0098】
（ａ）推論用データが音声データの場合について
図１２は、推論用データが音声データの場合の学習済みモデル実行装置１０ａの機能的構成例を示す機能ブロック図である。なお、図４の学習済みモデル実行装置１０ａの要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
また、この場合の学習済みモデルは、例えば、各推論用サブ音声データを入力し、予め規定された会話内容（例えば、「イヌ（犬）」、「ネコ（猫）」、「テンキ（天気）」等の人の音声データ）を含むか否かの割合等を示す情報を出力するものとする。
図１２は、推論用データが音声データの場合の学習済みモデル実行装置１０ａの機能的構成例を示す機能ブロック図である。なお、図４の学習済みモデル実行装置１０ａの要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
また、この場合の学習済みモデルは、例えば、各推論用サブ音声データを入力し、予め規定された会話内容（例えば、「イヌ（犬）」、「ネコ（猫）」、「テンキ（天気）」等の人の音声データ）を含むか否かの割合等を示す情報を出力するものとする。
【0099】
取得部１１０ａは、例えば、マイクとコンピュータとの組み合わせ、又は内蔵マイクを有するコンピュータ、スマートフォンやタブレット端末、ビデオカメラ等の録音装置８０から推論用データとして音声データを取得するようにしてもよい。
【0100】
前処理部１２０ａは、推論用音声データの特徴分析を行い、特徴分析結果データに基づいて推論用音声データをバッチ処理で複数の推論用サブ音声データに分割するように構成されてもよい。
具体的には、前処理部１２０ａの特徴分析部１２２ａは、図１０の特徴分析部１３１に対応するものであり、推論用音声データに対して特徴分析（例えば、周波数特徴分析）を行い、特徴分析結果データを出力してもよい。特徴分析結果データ（周波数分析結果）として、推論用音声データのうち振幅が低すぎる領域には、特定したい人の音声による規定の会話内容（例えば、「イヌ（犬）」等）が含まれておらず、録音時の周囲環境ノイズしか含まれていないデータと見なすことができる。この場合、当該領域の音声データに対して推論計算処理を行い、特定したい人の音声による規定の会話内容を見つけようとしても推論計算処理時間を無駄にかかってしまうことになる。また、推論用音声データのうち振幅が高すぎる領域は、例えば、録音装置８０が録音できる範囲を超えた音声データの部分であり、うまく音声データを取得できておらず欠けてしまっているデータである可能性が高い。このような領域の音声データに対して推論計算処理を行っても、うまく推論（認識）できない可能性が高い。
前処理部１２０ａのバッチ処理部１２１ａは、前述のような音声データの領域をそれぞれ切り出して推論計算処理しないような複数の推論用サブ音声データとして推論用音声データを分割してもよい。
また、推論用音声データの周波数分析結果の中で、ある波形が周期的に出現している場合、同じ人が同じ言葉を一定の時間内で復唱し続けていると推定でき、周期的に出現している波形を切り目として、バッチ処理部１２１ａは推論用音声データをバッチ処理で複数の推論用サブ音声データに分割してもよい。
具体的には、前処理部１２０ａの特徴分析部１２２ａは、図１０の特徴分析部１３１に対応するものであり、推論用音声データに対して特徴分析（例えば、周波数特徴分析）を行い、特徴分析結果データを出力してもよい。特徴分析結果データ（周波数分析結果）として、推論用音声データのうち振幅が低すぎる領域には、特定したい人の音声による規定の会話内容（例えば、「イヌ（犬）」等）が含まれておらず、録音時の周囲環境ノイズしか含まれていないデータと見なすことができる。この場合、当該領域の音声データに対して推論計算処理を行い、特定したい人の音声による規定の会話内容を見つけようとしても推論計算処理時間を無駄にかかってしまうことになる。また、推論用音声データのうち振幅が高すぎる領域は、例えば、録音装置８０が録音できる範囲を超えた音声データの部分であり、うまく音声データを取得できておらず欠けてしまっているデータである可能性が高い。このような領域の音声データに対して推論計算処理を行っても、うまく推論（認識）できない可能性が高い。
前処理部１２０ａのバッチ処理部１２１ａは、前述のような音声データの領域をそれぞれ切り出して推論計算処理しないような複数の推論用サブ音声データとして推論用音声データを分割してもよい。
また、推論用音声データの周波数分析結果の中で、ある波形が周期的に出現している場合、同じ人が同じ言葉を一定の時間内で復唱し続けていると推定でき、周期的に出現している波形を切り目として、バッチ処理部１２１ａは推論用音声データをバッチ処理で複数の推論用サブ音声データに分割してもよい。
【0101】
実行部１３０ａは、前処理部１２０ａの特徴分析部１２２ａにより出力された特徴分析結果データに基づいて、複数の推論用サブ音声データの推論計算処理順番の最適化を行うように構成されてもよい。
例えば、バッチ処理部１２１ａは、周波数分析結果に基づいて複数の推論用サブ音声データを生成した場合、評価スコア計算部１３２ａは、周波数分析結果に基づいて、例えば振幅が低すぎる又は高すぎる複数の推論用サブ音声データに低い評価スコアを付与し、最適化計算部１３３は、それらの推論計算処理の優先順位を下げて推論計算処理を行わないようにしてもよい。
これにより、長い会話の推論用音声データ中から特定の会話内容を探す時に、人の音声が入っていない環境ノイズを含む推論用サブ音声データや、録音装置８０が録音できる範囲を超えてしまい、うまく取得できていない推論用サブ音声データに対する無駄な推論計算処理を行わないことで、推論用音声データの推論計算処理時間を短縮して、特定の会話内容を早く見つけることができる。すなわち、学習済みモデル実行装置１０ａは、例えば、規定の会話内容を特定する場合、規定の音声データ（すなわち人の音声）が含まれない領域（セル群）を含む推論用サブ音声データに対する無駄な推論計算処理を回避でき、推論計算処理時間を短縮することができる。
例えば、バッチ処理部１２１ａは、周波数分析結果に基づいて複数の推論用サブ音声データを生成した場合、評価スコア計算部１３２ａは、周波数分析結果に基づいて、例えば振幅が低すぎる又は高すぎる複数の推論用サブ音声データに低い評価スコアを付与し、最適化計算部１３３は、それらの推論計算処理の優先順位を下げて推論計算処理を行わないようにしてもよい。
これにより、長い会話の推論用音声データ中から特定の会話内容を探す時に、人の音声が入っていない環境ノイズを含む推論用サブ音声データや、録音装置８０が録音できる範囲を超えてしまい、うまく取得できていない推論用サブ音声データに対する無駄な推論計算処理を行わないことで、推論用音声データの推論計算処理時間を短縮して、特定の会話内容を早く見つけることができる。すなわち、学習済みモデル実行装置１０ａは、例えば、規定の会話内容を特定する場合、規定の音声データ（すなわち人の音声）が含まれない領域（セル群）を含む推論用サブ音声データに対する無駄な推論計算処理を回避でき、推論計算処理時間を短縮することができる。
【0102】
（ｂ）推論用データが文字データの場合について
図１３は、推論用データが文字データの場合の学習済みモデル実行装置１０ａの機能的構成例を示す機能ブロック図である。なお、図４の学習済みモデル実行装置１０ａの要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
また、この場合の学習済みモデルは、例えば、郵便物の送り先を含む推論用サブ文字データを入力し、予め規定された文字データ（例えば、住所を特定するための「都」～「村」等の特定の目標キーワード）を含むか否かの割合等を示す情報を出力するものとする。
図１３は、推論用データが文字データの場合の学習済みモデル実行装置１０ａの機能的構成例を示す機能ブロック図である。なお、図４の学習済みモデル実行装置１０ａの要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
また、この場合の学習済みモデルは、例えば、郵便物の送り先を含む推論用サブ文字データを入力し、予め規定された文字データ（例えば、住所を特定するための「都」～「村」等の特定の目標キーワード）を含むか否かの割合等を示す情報を出力するものとする。
【0103】
取得部１１０ａは、例えば、紙に記録されている文字データの画像を取得するスキャナ、カメラ、スキャン機能付きのプリンタ、又は手書き入力可能なタッチパネル等のスキャン装置９０から推論用データとして文字データを取得するようにしてもよい。
【0104】
前処理部１２０ａは、推論用文字データの特徴分析を行い、特徴分析結果データに基づいて推論用文字データをバッチ処理で複数の推論用サブ文字データに分割するように構成されてもよい。
具体的には、前処理部１２０ａの特徴分析部１２２ａは、図１１の特徴分析部１３１に対応するものであり、推論用文字データに対して特徴分析を行い、特徴分析結果データを出力してもよい。例えば、手書き住所の文字認識を行って郵便物の送り先に従って郵便物の自動分類を行うタスクを一例として説明する。取得部１１０ａはデータ保存部１１１を備え、例えばスキャン装置９０を用いて、郵便物の送り先が書かれている領域をスキャンした文字データを画像データとして登録し、さらにパソコン（図示しない）のＨＤＤ等の記録媒体に保存しておく。例えば、特徴分析部１２２ａは、このように取得された一連の手書き文字の画像データの全領域をセル化する。特徴分析部１２２ａは、例えば、小さい各セル内に文字の有無状態をデジタル化し、領域内に文字があるセルに対して「１」のラベルを付け、領域内に文字がないセルに対して「０」のラベルを付ける。このように、特徴分析部１２２ａは、文字の画像データの全領域に対して「０」、「１」のラベルを付けることで抽出されるラベルの特徴マップを利用して、連続で「０」のラベルが付けられた領域を文字間のスペースとして認識して文字の区切りを付けることができる。さらに、特徴分析部１２２ａは、分離された１つ１つの独立の文字に対して、印刷体の「都」、「道」、「府」、「県」、「市」、「郡」、「村」とのマッチングを行うことで、一連の手書き文字データの中から「都」、「道」、「府」、「県」、「市」、「郡」、「村」の文字が存在する領域（セル群）を特定することができる。特徴分析部１２２ａは、このように得られたラベルの特徴マップと特定文字（「都」～「村」）の存在領域情報を特徴分析結果データとして出力する。
具体的には、前処理部１２０ａの特徴分析部１２２ａは、図１１の特徴分析部１３１に対応するものであり、推論用文字データに対して特徴分析を行い、特徴分析結果データを出力してもよい。例えば、手書き住所の文字認識を行って郵便物の送り先に従って郵便物の自動分類を行うタスクを一例として説明する。取得部１１０ａはデータ保存部１１１を備え、例えばスキャン装置９０を用いて、郵便物の送り先が書かれている領域をスキャンした文字データを画像データとして登録し、さらにパソコン（図示しない）のＨＤＤ等の記録媒体に保存しておく。例えば、特徴分析部１２２ａは、このように取得された一連の手書き文字の画像データの全領域をセル化する。特徴分析部１２２ａは、例えば、小さい各セル内に文字の有無状態をデジタル化し、領域内に文字があるセルに対して「１」のラベルを付け、領域内に文字がないセルに対して「０」のラベルを付ける。このように、特徴分析部１２２ａは、文字の画像データの全領域に対して「０」、「１」のラベルを付けることで抽出されるラベルの特徴マップを利用して、連続で「０」のラベルが付けられた領域を文字間のスペースとして認識して文字の区切りを付けることができる。さらに、特徴分析部１２２ａは、分離された１つ１つの独立の文字に対して、印刷体の「都」、「道」、「府」、「県」、「市」、「郡」、「村」とのマッチングを行うことで、一連の手書き文字データの中から「都」、「道」、「府」、「県」、「市」、「郡」、「村」の文字が存在する領域（セル群）を特定することができる。特徴分析部１２２ａは、このように得られたラベルの特徴マップと特定文字（「都」～「村」）の存在領域情報を特徴分析結果データとして出力する。
【0105】
前処理部１２０ａのバッチ処理部１２１ａは、特徴分析部１２２ａにより出力された特徴分析結果データ（ラベルの特徴マップと特定文字である「都」～「村」の存在領域情報）を受け取って、特定文字である「都」～「村」が存在する領域（セル群）を区切りとして、推論用文字データをバッチ処理で分割し、複数の推論用サブ文字データとして生成して出力することができる。
【0106】
実行部１３０ａは、前処理部１２０ａの特徴分析部１２２ａにより出力された特徴分析結果データに基づいて、複数の推論用サブ文字データの推論計算処理順番の最適化を行うように構成されてもよい。
例えば、前処理部１２０ａのバッチ処理部１２１ａにより複数の推論用サブ文字データを生成した場合、文字が存在しない領域（セル群）や、特定文字である「都」～「村」が含まれない領域（セル群）を含む推論用サブ文字データに対して推論計算処理を行っても、郵便物の送り先を特定する目標に対しては役の立たない無駄な推論計算処理を行うことになる。そこで、評価スコア計算部１３２ａは、文字が存在しない領域（セル群）や、特定文字である「都」～「村」が含まれない領域（セル群）を含む推論用サブ文字データに低い評価スコアを付与し、それらの推論計算処理の優先順位を下げて推論計算処理を行わないようにしてもよい。また、評価スコア計算部１３２ａは、特定文字である「都」～「村」が含まれる領域（セル群）を含む推論用サブ文字データに対して高い評価スコアを付与し、高い評価スコアが付与された推論計算処理を優先的に行うことで、早く郵便物の送り先を特定でき、郵便物の自動分類タスクの推論計算処理時間を短縮することができる。
例えば、前処理部１２０ａのバッチ処理部１２１ａにより複数の推論用サブ文字データを生成した場合、文字が存在しない領域（セル群）や、特定文字である「都」～「村」が含まれない領域（セル群）を含む推論用サブ文字データに対して推論計算処理を行っても、郵便物の送り先を特定する目標に対しては役の立たない無駄な推論計算処理を行うことになる。そこで、評価スコア計算部１３２ａは、文字が存在しない領域（セル群）や、特定文字である「都」～「村」が含まれない領域（セル群）を含む推論用サブ文字データに低い評価スコアを付与し、それらの推論計算処理の優先順位を下げて推論計算処理を行わないようにしてもよい。また、評価スコア計算部１３２ａは、特定文字である「都」～「村」が含まれる領域（セル群）を含む推論用サブ文字データに対して高い評価スコアを付与し、高い評価スコアが付与された推論計算処理を優先的に行うことで、早く郵便物の送り先を特定でき、郵便物の自動分類タスクの推論計算処理時間を短縮することができる。
【0107】
＜変形例４＞
また例えば、第２実施形態に係る学習済みモデル実行装置１０ａは、データベース７０から学習済みモデルのみを取得したが、トレーニング画像データもデータベース７０から取得してもよい。
図１４は、トレーニング画像データも取得する場合の学習済みモデル実行装置１０ａの機能的構成例を示す機能ブロック図である。なお、図４の学習済みモデル実行装置１０ａの要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
また例えば、第２実施形態に係る学習済みモデル実行装置１０ａは、データベース７０から学習済みモデルのみを取得したが、トレーニング画像データもデータベース７０から取得してもよい。
図１４は、トレーニング画像データも取得する場合の学習済みモデル実行装置１０ａの機能的構成例を示す機能ブロック図である。なお、図４の学習済みモデル実行装置１０ａの要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
【0108】
図１４に示すように、取得部１１０ａは、データベース７０から学習済みモデル、及びトレーニング画像データを取得する。
前処理部１２０ａは、トレーニング画像データと推論用画像データとの画像処理を行い、画像処理結果に基づいて推論用画像データのバッチ処理を行って複数の推論用サブ画像データに分割するように構成されてもよい。
具体的には、前処理部１２０ａの画像処理部１２２は、図２の実行部１３０の特徴分析部１３１として、トレーニング画像データに付けられたラベルが示す取り出し位置を含む近傍画像領域、及び推論用画像データそれぞれに対して画像処理を行い、例えば、特定な局所特徴量を抽出する。画像処理部１２２は、抽出されたトレーニング画像データ上のラベル付けられた教示位置の近傍画像の局所特徴量と、推論用画像データ上の複数箇所の局所特徴量それぞれとのマッチングを行い、マッチング度を計算し画像処理結果データとして出力してもよい。
前処理部１２０ａは、トレーニング画像データと推論用画像データとの画像処理を行い、画像処理結果に基づいて推論用画像データのバッチ処理を行って複数の推論用サブ画像データに分割するように構成されてもよい。
具体的には、前処理部１２０ａの画像処理部１２２は、図２の実行部１３０の特徴分析部１３１として、トレーニング画像データに付けられたラベルが示す取り出し位置を含む近傍画像領域、及び推論用画像データそれぞれに対して画像処理を行い、例えば、特定な局所特徴量を抽出する。画像処理部１２２は、抽出されたトレーニング画像データ上のラベル付けられた教示位置の近傍画像の局所特徴量と、推論用画像データ上の複数箇所の局所特徴量それぞれとのマッチングを行い、マッチング度を計算し画像処理結果データとして出力してもよい。
【0109】
前処理部１２０ａのバッチ処理部１２１ａは、トレーニング画像データ上の教示位置の近傍画像とのマッチング度の高い推論用画像データ上の局所画像領域を独立した１つの推論用サブ画像データとなるように推論用画像データを分割する。また、バッチ処理部１２１ａは、トレーニング画像データ上の教示位置の近傍画像とのマッチング度の低い推論用画像データ上の局所画像領域を独立した１つの推論用サブ画像データとなるように推論用画像データを分割する。
換言すれば、バッチ処理部１２１ａは、取り出せる対象のワーク５０が多く存在している可能性の高い局所画像領域を１つの推論用サブ画像データとなり、取り出せる対象のワーク５０が少ない又は１つも存在しない局所画像領域を１つの推論用サブ画像データとなるように推論用画像データを分割して出力するようにしてもよい。
すなわち、優先して推論計算処理すべきワーク５０を見つけられる可能性の高い推論用サブ画像データと、推論計算しても対象となるワーク５０を見つけられない可能性の高い推論用サブ画像データとを、推論用画像データのバッチ処理の段階で見分けるようにすることで、実行部１３０ａは推論計算処理順番の最適化を効率よくスムーズに行うことができる。
以上はバラ積みされた複数のワーク５０を取り出す場合を説明したが、これに限定されない。ワーク５０の種類、形状、サイズ、色、個数、積載状態などにも限定されない。例えば、ロボット３０が複数のワーク５０が重なり合う状態のない平積み状態や箱形状のワーク５０の積荷状態（例えば、段ボールの段積み状態）からワーク５０を取り出すタスクを実行するための推論を行うシステムに適用してもよい。
なお、推論用データは、推論用画像データとしたが、推論用音声データや推論用文字データ等でもよく、画像処理部１２２を特徴分析部１３１に置き換えれば、図１４に示す学習済みモデル実行装置１０ａに適用することができる。
換言すれば、バッチ処理部１２１ａは、取り出せる対象のワーク５０が多く存在している可能性の高い局所画像領域を１つの推論用サブ画像データとなり、取り出せる対象のワーク５０が少ない又は１つも存在しない局所画像領域を１つの推論用サブ画像データとなるように推論用画像データを分割して出力するようにしてもよい。
すなわち、優先して推論計算処理すべきワーク５０を見つけられる可能性の高い推論用サブ画像データと、推論計算しても対象となるワーク５０を見つけられない可能性の高い推論用サブ画像データとを、推論用画像データのバッチ処理の段階で見分けるようにすることで、実行部１３０ａは推論計算処理順番の最適化を効率よくスムーズに行うことができる。
以上はバラ積みされた複数のワーク５０を取り出す場合を説明したが、これに限定されない。ワーク５０の種類、形状、サイズ、色、個数、積載状態などにも限定されない。例えば、ロボット３０が複数のワーク５０が重なり合う状態のない平積み状態や箱形状のワーク５０の積荷状態（例えば、段ボールの段積み状態）からワーク５０を取り出すタスクを実行するための推論を行うシステムに適用してもよい。
なお、推論用データは、推論用画像データとしたが、推論用音声データや推論用文字データ等でもよく、画像処理部１２２を特徴分析部１３１に置き換えれば、図１４に示す学習済みモデル実行装置１０ａに適用することができる。
【0110】
なお、第１実施形態における学習済みモデル実行装置１０、第２実施形態における学習済みモデル実行装置１０ａ、及び第３実施形態における学習済みモデル実行装置１０ｂに含まれる各機能は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【0111】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（Ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は、無線通信路を介して、プログラムをコンピュータに供給できる。
【0112】
なお、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0113】
以上を換言すると、本開示の推論計算処理装置、及び推論計算処理方法は、次のような構成を有する各種各様の実施形態を取ることができる。
【0114】
（１）本開示の推論計算処理装置としての学習済みモデル実行装置１０は、学習済みモデルに推論用データを入力して推論用データの推論計算処理を実行する推論計算処理装置であって、推論用データと学習済みモデルとを取得する取得部１１０と、取得部１１０により取得された推論用データをバッチ処理で複数の推論用サブデータに分割する前処理部１２０と、前処理部１２０によりバッチ処理で分割された複数の推論用サブデータの推論計算処理順番を最適化し、最適化された推論計算処理順番で複数の推論用サブデータそれぞれと学習済みモデルとに基づいて推論用データの推論計算処理を実行する実行部１３０と、を備える。
この学習済みモデル実行装置１０によれば、ロボット３０が長く待機することなく短時間で推論計算処理を実行することができる。
この学習済みモデル実行装置１０によれば、ロボット３０が長く待機することなく短時間で推論計算処理を実行することができる。
【0115】
（２） （１）に記載の学習済みモデル実行装置１０において、取得部１１０は、学習済みモデルを機械学習で生成する際に用いられたトレーニングデータを取得してもよい。
そうすることで、学習済みモデル実行装置１０は、トレーニングデータのサイズに基づいて推論用データを分割することができる。
そうすることで、学習済みモデル実行装置１０は、トレーニングデータのサイズに基づいて推論用データを分割することができる。
【0116】
（３） （２）に記載の学習済みモデル実行装置１０において、前処理部１２０は、トレーニングデータのサイズに基づいて推論用データをバッチ処理で複数の推論用サブデータに分割してもよい。
そうすることで、学習済みモデル実行装置１０は、分割後の推論用サブ画像のサイズが小さすぎて必要な画像特徴を含まず、その後に学習済みモデルを利用した推論計算処理でうまく推論できなくなることを防ぐことができる。
そうすることで、学習済みモデル実行装置１０は、分割後の推論用サブ画像のサイズが小さすぎて必要な画像特徴を含まず、その後に学習済みモデルを利用した推論計算処理でうまく推論できなくなることを防ぐことができる。
【0117】
（４） （２）又は（３）に記載の学習済みモデル実行装置１０において、実行部１３０は、トレーニングデータと複数の推論用サブデータそれぞれとのマッチング処理を行い、複数の推論用サブデータそれぞれに対してマッチングの度合いに応じた評価スコアを付与し、付与された評価スコアによる優先順位に基づいて複数の推論用サブデータの推論計算処理順番を最適化してもよい。
そうすることで、例えば、コンテナ６０内のバラ積みされた複数のワーク５０を取り出す場合、学習済みモデル実行装置１０は、マッチング度の低い推論用サブデータの推論計算処理を行っても取り出すワーク５０の候補が見つからないような無駄な推論計算処理をなくすことができ、推論計算処理時間を短縮することができる。また、学習済みモデル実行装置１０は、マッチング度の高い推論用サブデータの推論計算処理を優先的に行うことで、予め指定されたワーク５０の候補数を早く見付けて推論計算処理を早めに終了させることができ、推論計算処理時間を短縮することができる。
そうすることで、例えば、コンテナ６０内のバラ積みされた複数のワーク５０を取り出す場合、学習済みモデル実行装置１０は、マッチング度の低い推論用サブデータの推論計算処理を行っても取り出すワーク５０の候補が見つからないような無駄な推論計算処理をなくすことができ、推論計算処理時間を短縮することができる。また、学習済みモデル実行装置１０は、マッチング度の高い推論用サブデータの推論計算処理を優先的に行うことで、予め指定されたワーク５０の候補数を早く見付けて推論計算処理を早めに終了させることができ、推論計算処理時間を短縮することができる。
【0118】
（５） （１）から（４）のいずれかに記載の学習済みモデル実行装置１０において、取得部１１０は、推論用データとして画像データを取得してもよい。
そうすることで、学習済みモデル実行装置１０は、ロボット３０が取り出せるワーク５０を見つけ出すことができる。
そうすることで、学習済みモデル実行装置１０は、ロボット３０が取り出せるワーク５０を見つけ出すことができる。
【0119】
（６） （５）に記載の学習済みモデル実行装置１０ａにおいて、前処理部１２０ａは、推論用データとして取得された画像データの特徴量を抽出する画像処理を行ってもよい。
そうすることで、学習済みモデル実行装置１０ａは、トレーニングデータを取得しなくても推論用画像データを最適に複数の推論用サブ画像データに分割することができる。
そうすることで、学習済みモデル実行装置１０ａは、トレーニングデータを取得しなくても推論用画像データを最適に複数の推論用サブ画像データに分割することができる。
【0120】
（７） （６）に記載の学習済みモデル実行装置１０ａにおいて、前処理部１２０ａは、画像処理の結果に基づいて推論用データをバッチ処理で複数の推論用サブデータに分割してもよい。
そうすることで、学習済みモデル実行装置１０ａは、トレーニングデータを取得しなくても推論用画像データを最適に複数の推論用サブ画像データに分割することができる。
そうすることで、学習済みモデル実行装置１０ａは、トレーニングデータを取得しなくても推論用画像データを最適に複数の推論用サブ画像データに分割することができる。
【0121】
（８） （６）又は（７）に記載の学習済みモデル実行装置１０ａにおいて、実行部１３０ａは、画像処理の結果に基づいて複数の推論用サブデータそれぞれに評価スコアを付与し、付与された評価スコアによる優先順位に基づいて複数の推論用サブデータの推論計算処理順番を最適化してもよい。
そうすることで、学習済みモデル実行装置１０ａは、取り出すワーク５０を含む可能性の低い推論用サブデータの推論計算処理を行っても取り出すワーク５０の候補が見つからないような無駄な推論計算処理をなくすことができ、推論計算処理時間を短縮することができる。また、学習済みモデル実行装置１０ａは、取り出すワーク５０を含む可能性の高い推論用サブデータの推論計算処理を優先的に行うことで、予め指定されたワーク５０の候補数を早く見付けて推論計算処理を早めに終了させることができ、推論計算処理時間を短縮することができる。
そうすることで、学習済みモデル実行装置１０ａは、取り出すワーク５０を含む可能性の低い推論用サブデータの推論計算処理を行っても取り出すワーク５０の候補が見つからないような無駄な推論計算処理をなくすことができ、推論計算処理時間を短縮することができる。また、学習済みモデル実行装置１０ａは、取り出すワーク５０を含む可能性の高い推論用サブデータの推論計算処理を優先的に行うことで、予め指定されたワーク５０の候補数を早く見付けて推論計算処理を早めに終了させることができ、推論計算処理時間を短縮することができる。
【0122】
（９） （１）から（４）に記載の学習済みモデル実行装置１０において、推論用データとして音声データを取得してもよい。
そうすることで、学習済みモデル実行装置１０は、莫大な音声データから規定した会話内容を短い推論計算処理時間内で見つけ出すことができる。
そうすることで、学習済みモデル実行装置１０は、莫大な音声データから規定した会話内容を短い推論計算処理時間内で見つけ出すことができる。
【0123】
（１０） （９）に記載の学習済みモデル実行装置１０ａにおいて、前処理部１２０ａは、推論用データとして取得された音声データの特徴量を抽出する特徴分析を行ってもよい。
そうすることで、学習済みモデル実行装置１０ａは、トレーニングデータを取得しなくても推論用音声データを最適に複数の推論用サブ音声データに分割することができる。
そうすることで、学習済みモデル実行装置１０ａは、トレーニングデータを取得しなくても推論用音声データを最適に複数の推論用サブ音声データに分割することができる。
【0124】
（１１） （１０）に記載の学習済みモデル実行装置１０ａにおいて、前処理部１２０ａは、特徴分析の結果に基づいて推論用データをバッチ処理で複数の推論用サブデータに分割してもよい。
そうすることで、学習済みモデル実行装置１０ａは、トレーニングデータを取得しなくても推論用音声データを最適に複数の推論用サブ音声データに分割することができる。
そうすることで、学習済みモデル実行装置１０ａは、トレーニングデータを取得しなくても推論用音声データを最適に複数の推論用サブ音声データに分割することができる。
【0125】
（１２） （１０）又は（１１）に記載の学習済みモデル実行装置１０ａにおいて、実行部１３０ａは、特徴分析の結果に基づいて複数の推論用サブデータそれぞれに評価スコアを付与し、付与された評価スコアによる優先順位に基づいて複数の推論用サブデータの推論計算処理順番を最適化してもよい。
そうすることで、学習済みモデル実行装置１０ａは、推論計算処理を行っても規定の会話内容が見つからないような無駄な推論計算処理をなくすことができ、推論計算処理時間を短縮することができる。また、学習済みモデル実行装置１０ａは、規定の会話内容を含む可能性の高い推論用サブデータの推論計算処理を優先的に行うことで、推論計算処理を早めに終了して推論計算処理時間を短縮することができる。
そうすることで、学習済みモデル実行装置１０ａは、推論計算処理を行っても規定の会話内容が見つからないような無駄な推論計算処理をなくすことができ、推論計算処理時間を短縮することができる。また、学習済みモデル実行装置１０ａは、規定の会話内容を含む可能性の高い推論用サブデータの推論計算処理を優先的に行うことで、推論計算処理を早めに終了して推論計算処理時間を短縮することができる。
【0126】
（１３） （１）から（４）に記載の学習済みモデル実行装置１０において、推論用データとして文字データを取得してもよい。
そうすることで、学習済みモデル実行装置１０は、莫大な文字データから規定した文字データを短い推論計算処理時間内で見つけ出すことができる。
そうすることで、学習済みモデル実行装置１０は、莫大な文字データから規定した文字データを短い推論計算処理時間内で見つけ出すことができる。
【0127】
（１４） （１３）に記載の学習済みモデル実行装置１０ａにおいて、前処理部１２０ａは、推論用データとして取得された文字データの特徴量を抽出する特徴分析を行ってもよい。
そうすることで、学習済みモデル実行装置１０ａは、トレーニングデータを取得しなくても推論用文字データを最適に複数の推論用サブ文字データに分割することができる。
そうすることで、学習済みモデル実行装置１０ａは、トレーニングデータを取得しなくても推論用文字データを最適に複数の推論用サブ文字データに分割することができる。
【0128】
（１５） （１４）に記載の学習済みモデル実行装置１０ａにおいて、前処理部１２０ａは、特徴分析の結果に基づいて推論用データをバッチ処理で複数の推論用サブデータに分割してもよい。
そうすることで、学習済みモデル実行装置１０ａは、トレーニングデータを取得しなくても推論用文字データを最適に複数の推論用サブ文字データに分割することができる。
そうすることで、学習済みモデル実行装置１０ａは、トレーニングデータを取得しなくても推論用文字データを最適に複数の推論用サブ文字データに分割することができる。
【0129】
（１６） （１４）又は（１５）に記載の学習済みモデル実行装置１０ａにおいて、実行部１３０ａは、特徴分析の結果に基づいて複数の推論用サブデータそれぞれに評価スコアを付与し、付与された評価スコアによる優先順位に基づいて複数の推論用サブデータの推論計算処理順番を最適化してもよい。
そうすることで、学習済みモデル実行装置１０ａは、推論計算処理を行っても規定の文字データが見つからないような無駄な推論計算処理をなくすことができ、推論計算処理時間を短縮することができる。また、学習済みモデル実行装置１０ａは、規定の文字データを含む可能性の高い推論用サブデータの推論計算処理を優先的に行うことで、推論計算処理を早めに終了して推論計算処理時間を短縮することができる。
そうすることで、学習済みモデル実行装置１０ａは、推論計算処理を行っても規定の文字データが見つからないような無駄な推論計算処理をなくすことができ、推論計算処理時間を短縮することができる。また、学習済みモデル実行装置１０ａは、規定の文字データを含む可能性の高い推論用サブデータの推論計算処理を優先的に行うことで、推論計算処理を早めに終了して推論計算処理時間を短縮することができる。
【0130】
（１７） （１）から（４）に記載の学習済みモデル実行装置１０ｂにおいて、取得部１１０ｂは、３次元計測データを取得してもよい。
そうすることで、学習済みモデル実行装置１０ｂは、トレーニングデータを取得しなくても推論用データを最適に複数の推論用サブデータに分割することができる。
そうすることで、学習済みモデル実行装置１０ｂは、トレーニングデータを取得しなくても推論用データを最適に複数の推論用サブデータに分割することができる。
【0131】
（１８） （１７）に記載の学習済みモデル実行装置１０ｂにおいて、前処理部１２０ｂは、３次元計測データに基づいて推論用データをバッチ処理で複数の推論用サブデータに分割してもよい。
そうすることで、学習済みモデル実行装置１０ｂは、トレーニングデータを取得しなくても推論用データを最適に複数の推論用サブデータに分割することができる。
そうすることで、学習済みモデル実行装置１０ｂは、トレーニングデータを取得しなくても推論用データを最適に複数の推論用サブデータに分割することができる。
【0132】
（１９） （１７）又は（１８）に記載の学習済みモデル実行装置１０ｂにおいて、実行部１３０ｂは、３次元計測データに基づいて複数の推論用サブデータそれぞれに評価スコアを付与し、付与された評価スコアによる優先順位に基づいて複数の推論用サブデータの推論計算処理順番を最適化してもよい。
そうすることで、学習済みモデル実行装置１０ｂは、取り出すワーク５０を含む可能性の低い推論用サブデータの推論計算処理を行っても取り出すワーク５０の候補が見つからないような無駄な推論計算処理をなくすことができ、推論計算処理時間を短縮することができる。また、学習済みモデル実行装置１０ｂは、取り出すワーク５０を含む可能性の高い推論用サブデータの推論計算処理を優先的に行うことで、予め指定されたワーク５０の候補数を早く見付けて推論計算処理を早めに終了させることができ、推論計算処理時間を短縮することができる。
そうすることで、学習済みモデル実行装置１０ｂは、取り出すワーク５０を含む可能性の低い推論用サブデータの推論計算処理を行っても取り出すワーク５０の候補が見つからないような無駄な推論計算処理をなくすことができ、推論計算処理時間を短縮することができる。また、学習済みモデル実行装置１０ｂは、取り出すワーク５０を含む可能性の高い推論用サブデータの推論計算処理を優先的に行うことで、予め指定されたワーク５０の候補数を早く見付けて推論計算処理を早めに終了させることができ、推論計算処理時間を短縮することができる。
【0133】
（２０）本開示の推論計算処理方法は、コンピュータにより実現される、学習済みモデルに推論用データを入力して推論用データの推論計算処理を実行する推論計算処理方法であって、推論用データと学習済みモデルとを取得する取得工程と、取得された推論用データをバッチ処理で複数の推論用サブデータに分割する前処理工程と、複数の推論用サブデータの推論計算処理順番を最適化し、最適化された推論計算処理順番で複数の推論用サブデータそれぞれと学習済みモデルとに基づいて推論用データの推論計算処理を実行する実行工程と、を備える。
この推論計算処理方法によれば、（１）と同様の効果を奏することができる。
この推論計算処理方法によれば、（１）と同様の効果を奏することができる。
【符号の説明】
【0134】
１、１Ａ ロボットシステム
１０、１０ａ、１０ｂ 推論計算処理装置としての学習済みモデル実行装置
１１、１１ａ、１１ｂ 制御部
１１０、１１０ａ、１１０ｂ 取得部
１１１ データ保存部
１２０、１２０ａ、１２０ｂ 前処理部
１２１、１２１ａ、１２１ｂ バッチ処理部
１２２ 画像処理部
１２２ａ、１３１ 特徴分析部
１２３ ３次元処理部
１３０、１３０ａ、１３０ｂ 実行部
１３２、１３２ａ、１３２ｂ 評価スコア計算部
１３３ 最適化計算部
１３４ 推論計算処理部
１３５ 推論結果保存部
２０ ロボット制御装置
３０ ロボット
４０ 撮像装置
４５ ３次元計測機
５０ ワーク
６０ コンテナ
１０、１０ａ、１０ｂ 推論計算処理装置としての学習済みモデル実行装置
１１、１１ａ、１１ｂ 制御部
１１０、１１０ａ、１１０ｂ 取得部
１１１ データ保存部
１２０、１２０ａ、１２０ｂ 前処理部
１２１、１２１ａ、１２１ｂ バッチ処理部
１２２ 画像処理部
１２２ａ、１３１ 特徴分析部
１２３ ３次元処理部
１３０、１３０ａ、１３０ｂ 実行部
１３２、１３２ａ、１３２ｂ 評価スコア計算部
１３３ 最適化計算部
１３４ 推論計算処理部
１３５ 推論結果保存部
２０ ロボット制御装置
３０ ロボット
４０ 撮像装置
４５ ３次元計測機
５０ ワーク
６０ コンテナ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】