(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023063175
(43)【公開日】2023-05-09
(54)【発明の名称】システム
(51)【国際特許分類】
B25J 15/08 20060101AFI20230427BHJP
【ＦＩ】
B25J15/08 C
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2021173523
(22)【出願日】2021-10-22
(71)【出願人】
【識別番号】515130201
【氏名又は名称】株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】高橋 城志
(72)【発明者】
【氏名】深谷 直樹
(72)【発明者】
【氏名】ウマデシング アヴィナシュ
【テーマコード（参考）】
3C707
【Ｆターム（参考）】
3C707AS04
3C707BS10
3C707ES03
3C707ET08
3C707HS27
3C707HT22
3C707KS33
3C707KS36
3C707KT03
3C707KT06
3C707KW03
3C707KX10
3C707LW12
3C707MT04
3C707NS26
(57)【要約】
【課題】把持対象の定量把持の精度を向上すること。
【解決手段】実施形態に係る把持推定装置は、第１機構と、制御部と、を有する。第１機構は、グリッパで把持されている対象を前記グリッパの外に送り出す。制御部は、前記グリッパに把持された前記対象が目標量分、移載先に移載されるように前記第１機構を制御する。
【選択図】図８
【解決手段】実施形態に係る把持推定装置は、第１機構と、制御部と、を有する。第１機構は、グリッパで把持されている対象を前記グリッパの外に送り出す。制御部は、前記グリッパに把持された前記対象が目標量分、移載先に移載されるように前記第１機構を制御する。
【選択図】図８
【特許請求の範囲】
【請求項1】
グリッパで把持されている対象を前記グリッパの外に送り出す第１機構と、
前記グリッパに把持された前記対象が目標量分、移載先に移載されるように前記第１機構を制御する制御部と、
を有するシステム。
前記グリッパに把持された前記対象が目標量分、移載先に移載されるように前記第１機構を制御する制御部と、
を有するシステム。
【請求項2】
前記制御部は、前記グリッパで把持されている前記対象の量と前記目標量とに基づいて、前記第１機構を制御する、
請求項１に記載のシステム。
請求項１に記載のシステム。
【請求項3】
前記制御部は、前記対象をグリッパで把持して引き上げた後に離すように前記グリッパを制御し、前記グリッパから離された前記対象を再度把持するように前記グリッパを制御し、
前記グリッパは、前記第１機構で送り出される部分を含む前記対象を再度把持する、
請求項１に記載のシステム。
前記グリッパは、前記第１機構で送り出される部分を含む前記対象を再度把持する、
請求項１に記載のシステム。
【請求項4】
前記制御部は、前記対象を把持している状態の前記グリッパを振動させる第２機構を制御する、
請求項３に記載のシステム。
請求項３に記載のシステム。
【請求項5】
前記グリッパの先端は、開口部を有し、
前記第１機構は、前記開口部に向けて前記対象を送り出す、
請求項１乃至４のうちいずれか一項に記載のシステム。
前記第１機構は、前記開口部に向けて前記対象を送り出す、
請求項１乃至４のうちいずれか一項に記載のシステム。
【請求項6】
前記制御部は、前記グリッパで把持されている前記対象の量と前記目標量とに基づいて、前記第１機構による前記対象の送り出しの速度を制御する、
請求項１乃至５のうちいずれか一項に記載のシステム。
請求項１乃至５のうちいずれか一項に記載のシステム。
【請求項7】
前記制御部は、前記グリッパで把持されている前記対象の量と前記目標量とに基づいて、前記第１機構による前記対象の送り出しの回数を制御する、
請求項１乃至６のうちいずれか一項に記載のシステム。
請求項１乃至６のうちいずれか一項に記載のシステム。
【請求項8】
前記対象で占められた箇所であって、当該対象を前記目標量より多く把持できる所定条件を満たす前記箇所を、前記グリッパによって前記対象が把持される箇所として特定する選択部を更に備える、
請求項１乃至７のうちいずれか一項に記載のシステム。
請求項１乃至７のうちいずれか一項に記載のシステム。
【請求項9】
前記対象で占められた箇所について、前記グリッパによる前記対象の把持量と、当該把持量が把持される不確実性の指標と、を推定する推定部を更に備え、
前記選択部は、少なくとも当該推定された把持量および指標に基づいて当該箇所が前記所定条件を満たす箇所であるかを判定する、請求項８に記載のシステム。
前記選択部は、少なくとも当該推定された把持量および指標に基づいて当該箇所が前記所定条件を満たす箇所であるかを判定する、請求項８に記載のシステム。
【請求項10】
前記グリッパは、前記対象を把持する面の一部に突起部あるいは窪み部を有する、請求項１乃至９のうちいずれか一項に記載のシステム。
【請求項11】
前記第１機構が前記対象を送り出す方向に向いている突起を有する請求項１０に記載の前記突起部を有するシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、システムに関する。
【背景技術】
【0002】
従来、弁当などの食品工場では、指定された目標量の食品を食品トレイから把持して、弁当箱に詰めることが行われている。このとき、詰められる食品の種類は多く、また取り扱う食品の種類が頻繁に変わる。このような背景から、大部分の食品に関しては専用機械を作ることが難しく、人手で詰め込み作業が行われている。
【0003】
詰められる食品は、把持と食品の大きさとの観点から、３個、１０個などと個数で管理する食品と、６０ｇ、１００ｇなどと重さで管理する細片状の食品および粒状の食品とに分類される。粒状の食品は、例えば、粒状であるために不定形であることから扱いが難しい。細片状の食品が当該食品同士で絡まりやすい場合、取り扱いが難しい。細片状の食品または粒状の食品を把持する把持装置は、食品の種別に応じた専用の器具を用いて定量で把持することがある。このとき、様々な食品や異なる把持量に対応するためには、設計変更などの多大な労力が必要となる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－２５５６５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
発明が解決しようとする課題は、定量把持の精度を向上することにある。
【課題を解決するための手段】
【0006】
実施形態に係るシステムは、第１機構と、制御部と、を有する。第１機構は、グリッパで把持されている対象を前記グリッパの外に送り出す。制御部は、前記グリッパに把持された前記対象が目標量分、移載先に移載されるように前記第１機構を制御する。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下、図面を参照しながら、実施形態に係るシステム、及びグリッパについて説明する。なお、以下に記載する実施形態の構成は、あくまで一例であって、以下の記載内容に限られるものではない。また、当該構成によってもたらされる作用及び効果も、あくまで一例であって、以下の記載内容に限られるものではない。
【0009】
図１は、把持推定装置１７を有するシステム１の構成の一例を示すブロック図である。図１に示すように、システム１は、把持装置１１と、観測装置１３と、計量装置１５と、把持推定装置１７とを有する。図２は、把持装置１１の外観の一例を示す図である。
【0010】
把持装置１１は、把持対象１３３を把持するエンドエフェクタ（ｅｎｄ－ｅｆｆｅｃｔｏｒ）１１１と、複数のリンク１１３、複数のリンクのうち２つのリンクの間に設けられた関節１１５、および、関節１１５およびエンドエフェクタ１１１などをそれぞれ駆動する複数の駆動装置（モータなど）を備える。エンドエフェクタ１１１は、例えば、送出機構付きの平行グリッパにより実現される。図２に示すように、エンドエフェクタ１１１は、グリッパ（把持部）１２３と、第１機構（以下、送出機構と呼ぶ）１２４と、を有する。本実施形態は、グリッパ１２３の一例として、根元ＢＲに沿って平行に開閉可能な平行グリッパを用いる。平行グリッパ１２３は、開口部１２５を有する。平行グリッパ１２３は、不図示の駆動機構により開閉される。複数のリンク１１３と複数の関節１１５と複数の関節１１５を駆動する複数の駆動装置（モータなど）とは、把持対象１３３を把持している状態の平行グリッパ１２３を１回または複数回に亘って揺らす（振動させる）第２機構（振動機構）を構成して良い。
【0011】
図３乃至図７は、平行グリッパ１２３の一例を示す図である。図３は、開状態の平行グリッパ１２３について、異なる２方向から見た２つの斜視図を示している。図４は、開状態の平行グリッパ１２３の正面図を示している。また、図５は、閉状態の平行グリッパ１２３の斜視図を示している。なお、開状態とは把持対象を把持するためにグリッパが開いた状態を指し、閉状態とは把持対象を把持するためにグリッパが閉じた状態を指す。図３乃至図５に示すように、平行グリッパ１２３は、一例として、櫛歯状の複数の枝１２６を有する一対の先端部１２７を有する。開口部１２５は、一対の先端部１２７における複数の枝１２６の先により形成される。複数の枝１２６は、図３に示すようにフォーク形状を有する。一方の先端部１２８における複数の枝１２６と、一対の先端部１２７のうち他方の先端部１２９における複数の枝１２６の間の隙間とは、嵌め合い可能である。すなわち、一対の先端部１２７において、櫛歯状の対向する複数の枝１２６は、平行グリッパ１２３の閉状態において、互いに接触すること無く、嵌め合い状態となる。なお、平行グリッパ１２３の別の例は、一対の櫛歯状の複数の枝１２６でなく、対向する一対の板部材を有する。この一対の板部材は、それぞれの板部材に複数の溝（凹部）が掘られ、一方の板部材に掘られた複数の溝と、他方の板部材に掘られた複数の溝とは、互い違いに配置されるような構成であってもよいし、一方の板部材あるいは両方の板部材に溝の無い構成であってもよい。
【0012】
図３乃至図７に示すように、複数の枝１２６は、一例として、複数の枝１２６に対向する隙間に向けた突起部１３０を有してよい。突起部１３０は、一対の先端部１２７の一方だけに設けられてもよく、平行グリッパ１２３の把持対象を把持する面（把持対象に接触する面）の少なくとも一部に設けられてよい。突起部１３０の突起は、後述の送出機構１２４が平行グリッパ１２３で把持されている対象を送り出す方向である複数の枝１２６の先に向けて、配置されているが、突起部１３０が突出する向きは、これらに限定されない。すなわち、突起部１３０は、複数の枝１２６より構成される把持面に対して垂直に、対向する隙間（あるいは溝）に向けて突出していてもよいし、複数の枝１２６の根元部分１２１に向けて方向に突出していてもよい。また、突起部１３０は、対向する隙間（あるいは溝）に向いてなくともよく、横方向に向いていてもよい。また、突起部１３０の代わりに、個々の突起を窪みに置き換えた窪み部を採用してもよい。突起部１３０あるいは窪み部によって、グリッパで把持された把持対象を後述する把持量調整において把持対象がほぐれながら少量ずつグリッパ内部から外部に送り出される（落とされる）ことが期待される。したがって、突起部１３０あるいは窪み部は、グリッパが櫛歯状の複数の枝１２６ではなく、一対の板部材を有する場合でも、一対の先端部１２７の両方あるいは一方のみに設けられることで、後述する把持量調整において把持対象がほぐれながら少量ずつグリッパ内部から外部に送り出される（落とされる）ことが期待できる。ただし、これら突起部１３０あるいは窪み部を備えない構成であっても後述する把持量調整は成立する。
【0013】
図６は、一対の先端部１２７が樹脂で形成される場合において、開状態の平行グリッパ１２３の正面図を示している。図６に示すように、平行グリッパ１２３における一対の先端部１２７で挟まれた間隔は、例えば、複数の枝１２６の根元から複数の枝１２６の先に向けて、先細り（テーパー）で形成されてよい。すなわち、複数の枝１２６は、複数の枝１２６の根元ＢＲに対する垂直方向に対して、所定の角度だけ開口部１２５に対して内側に傾けて延伸する。所定の角度は、例えば、＋２°である。このため、突起部１３０の長さが一定である場合、正面から平行グリッパ１２３を見ると、図５に示す閉状態の平行グリッパ１２３において、対向する突起部１３０同士の間隔は、根元ＢＲに向けて広くなっていくこととなる。フォーク形状を傾けることで、平行グリッパ１２３が閉じた時に把持対象１３３が引き込まれて確実に把持対象１３３を掴めることができる。なお、一対の先端部１２７が把持対象の把持により撓みやすい樹脂ではなく、撓みにくい金属などの材質で形成される場合、一対の先端部１２７は、互いに平行、すなわち所定の角度＝０°であってもよいし、先に向かって広がる、すなわち所定の角度＝マイナスの角度であってもよい。
【0014】
また、図３乃至図６に示すように、例えば、平行グリッパ１２３の根元部分１２１には、力覚センサが設置されてもよい。このとき、力覚センサは、平行グリッパ１２３により把持された把持対象１３３の重さを検知する。力覚センサは、把持対象１３３の重さを、把持推定装置１７に出力する。
【0015】
送出機構１２４は、コントローラ１７１から出力された制御信号に従って回転するモータＭＴと、モータＭＴの駆動軸に接続され当該駆動軸の回転に伴って回転するピニオンギアＰＧと、ピニオンギアＰＧと嵌合し、一方の先端部１２８に設けられたラックギアＲＧと、を有する。送出機構１２４は、平行グリッパ１２３で把持されている対象を平行グリッパ１２３の外に送り出す。平行グリッパの外とは、例えば、一対の先端部１２７の外側であって、図６に示す開口部１２５の下方に相当する。
【0016】
図７は、送出機構１２４により、移動された一方の先端部１２８の一例を示す図である。図７に示すように、送出機構１２４は、一方の先端部１２８を、他方の先端部１２９に対して相対的に、複数の枝１２６の長軸方向に沿って移動させる。送出機構１２４の制御については、後ほど説明する。
【0017】
観測装置１３は、例えば、各種カメラにより実現される。当該カメラは、例えば、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）カメラにより実現される。ＲＧＢカメラは、トレイ１３１に配置された複数の把持対象１３３を撮影する光学カメラである。このとき、観測データは、ＲＧＢ画像に相当する。ＲＧＢ画像における画素は、例えば、赤、緑、青の色値（０乃至２５５）を有する。なお、ＲＧＢカメラの代わりに、単色（Ｍｏｎｏｃｈｒｏｍｅ：モノクロ）カメラが用いられてもよい。また、観測装置１３は、上記観測データとは異なる種類の観測データを取得してもよい。このとき、観測装置１３は、３次元計測カメラ（以下、Ｄ（Ｄｅｐｔｈ）カメラと呼ぶ）により実現される。また、観測装置１３は、ＲＧＢカメラとＤカメラ（以下、ＲＧＢ－Ｄカメラと呼ぶ）とにより実現されてもよい。Ｄカメラによる画像（以下、Ｄ画像と呼ぶ）の画素は、深さ情報を有する。深さ情報は、例えば、基準位置に対する深さ（ｃｍ）である。以下、説明を具体的にするために、観測装置１３は、ＲＧＢ－Ｄカメラにより実現されるものとする。ＲＧＢ－Ｄカメラによる撮影範囲は、把持対象１３３が配置されたトレイ１３１の全域が含まれる範囲である。基準位置は、例えば、観測データの取得位置、すなわちＲＧＢ－Ｄカメラの設置位置である。
【0018】
計量装置１５は、例えば、トレイ１３１の下面に配置される。計量装置１５は、例えば、トレイ１３１とトレイ１３１に配置された把持対象１３３との合計の重さを計測するスケールに相当する。計量装置１５は、トレイ１３１の計量に伴う計量データを、把持推定装置１７に出力する。把持推定装置１７は、把持対象１３３の把持前後における計量装置１５からの出力の計測データの差分から把持量を算出し、この把持量を、例えば、後述の把持量推定モデルの生成（学習）において用いる。このため、把持量推定モデルの生成が完了すれば、計量装置１５は、システム１に用いずともよい。また、平行グリッパ１２３に力覚センサが設けられている場合、計量装置１５をトレイ１３１の下面に配置せずともよい。また、力覚センサが平行グリッパ１２３に力覚センサが設けられていない場合、計量装置１５は、例えば、トレイ１３１の下面に配置される。
【0019】
把持推定装置１７は、コントローラ１７１を有する。図１に示すように、コントローラ１７１は、取得部１７３と、推定部１７５と、選択部１７９と、制御部１８１とを有する。
【0020】
取得部１７３は、把持対象１３３の観測データを取得する。観測データは、上述のように、把持対象１３３の画像データを含む。また、観測データは、観測データの取得位置から把持対象１３３の表面までの距離データを含む。すなわち、距離データは、観測データの取得位置であるＤカメラの設置位置から把持対象１３３の表面までの距離を示すデータである。把持対象１３３は、例えば、キャベツの千切り、大根の細切りなどの細片の食品である。なお、取得部１７３は、観測データとは異なる種類の観測データを取得してもよい。
【0021】
具体的には、取得部１７３は、ＲＧＢ画像およびＤ画像を取得する。より詳細には、取得部１７３は、把持対象１３３の分布領域における複数の部分領域各々において観測データを取得する。把持対象１３３の分布領域は、例えば、トレイ１３１において把持対象を配置可能な領域に相当する。複数の部分領域各々は、所定サイズの領域であって、ＲＧＢ画像およびＤ画像からクロップ（Ｃｒｏｐ）された領域（切り取られた領域：パッチ）に相当する。部分領域の中心を把持点と呼ぶことがある。以下、ＲＧＢ画像における部分領域をＲＧＢパッチ画像と呼ぶ。また、Ｄ画像における部分領域をＤパッチ画像と呼ぶ。取得部１７３は、計量データを計量装置１５から取得、またはエンドエフェクタ１１１により把持された把持対象１３３の重さを力覚センサから取得する。すなわち、取得部１７３は、平行グリッパ１２３で把持されている対象の量を、計量装置１５または力覚センサから取得する。
【0022】
推定部１７５は、把持対象１３３の表面から一対の先端部１２７を仮に挿入したときの深さ（以下、挿入深さと呼ぶ）と観測データとに基づいて、把持装置１１により把持対象１３３の把持量に関するデータ（一例では把持量の確率分布のパラメータ）を出力する。例えば、出力されるデータが標準正規分布のパラメータである場合、出力されるのは、標準正規分布の平均および標準偏差である。平均は、把持装置１１により把持対象１３３が把持される把持量の平均値（以下、推定把持量と呼ぶ）に対応する。推定把持量は把持量の推定値である。
【0023】
標準偏差は、推定された把持量だけが把持装置１１により把持される不確実性の指標（以下、不確実性指標と呼ぶ）に相当する。不確実性指標は、例えば、推定把持量だけを把持装置１１が把持する不確実性を示す度合い（または割合）である不確実度であってよい。すなわち、不確実性指標は、実際の把持される量が推定把持量に近いか否かを評価するための指標である。なお、不確実性指標は、当該不確実度の代わりに、推定された把持量だけを把持装置１１が把持する確かさを示す度合い（または割合）、すなわち推定された把持量を把持装置１１が把持する信頼度であってもよい。
【0024】
挿入深さは、予め設定された長さであって、把持推定装置１７におけるメモリに予め記憶される。挿入深さ（ｃｍ）は、例えば、＋２．０、＋２．２５、＋２．５０、＋２．７５、＋３．００、＋３．２５、＋３．５０、＋３．７５、＋４．０の９パターンである。なお、上記挿入深さのパターンは一例であって、任意に設定、調整が可能である。
【0025】
推定部１７５は、把持対象で占められた箇所について、平行グリッパ１２３による把持対象の把持量と、当該把持量が把持される不確実性の指標と、を推定する。具体的には、推定部１７５は、観測データにおける上記複数の部分領域各々において、挿入深さのパターンに応じた推定把持量と不確実性指標とを出力する。推定部１７５は、例えば、平行グリッパ１２３の挿入深さの情報（以下、挿入深さ情報と呼ぶ）と把持対象１３３の観測データとを入力として確率分布を出力するように学習された学習済みの把持量推定モデルに、観測データと挿入深さ情報とを入力し、確率分布を推定する。挿入深さ情報Ｉｎｓ［ｃｍ］は、Ｄパッチ画像の中央値（ｍｅｄｉａｎ）に、挿入深さに対応する変数ｖａｌを加算した値（Ｉｎｓ＝ｍｅｄｉａｎ＋ｖａｌ）に相当する。
【0026】
より詳細には、推定部１７５は、複数のＲＧＢパッチ画像各々と、複数のＤパッチ画像各々と、挿入深さのパターンに応じた複数の挿入深さ情報各々とを学習済みの把持量推定モデルに入力し、複数の部分領域各々と複数の挿入深さ各々とに応じた推定把持量と標準偏差とを出力する。換言すれば、推定部１７５は、挿入深さと観測データとに基づいて、確率分布を推定する。推定された確率分布は、ＲＧＢ－Ｄパッチ画像の個所において、平行グリッパ１２３を挿入深さだけ挿入して把持される把持対象の把持量に関する確率の分布（横軸が確率変数としての把持量に対応し、縦軸が把持量に対する確率密度に対応する）を表している。
【0027】
例えば、把持量Ｘ［ｇ］を把持する確率が標準正規分布Ｎ（μ、σ２）で表現される確率分布によりモデル化される場合、把持量推定モデルが出力する確率分布のパラメータは、平均値μと標準偏差σである。すなわち、平均値μと標準偏差σとをパラメータとし有する標準正規分布Ｎ（μ、σ２）は、入力されたＲＧＢ－Ｄパッチ画像の箇所において挿入深さ情報Ｉｎｓ［ｃｍ］に従って平行グリッパ１２３を挿入して把持される対象の把持量Ｘ［ｇ］の確率分布Ｐを表している。換言すると、この箇所においてこの挿入深さ情報Ｉｎｓ［ｃｍ］で平行グリッパ１２３により把持される対象の把持量がＸ［ｇ］である確率Ｐ（Ｘ）は、以下の式で表される。
【数1】
【0028】
すなわち、推定部１７５は、複数の部分領域および複数の挿入深さごとに、ＲＧＢパッチ画像とＤパッチ画像とを連結（ｃｏｎｃａｔｉｎａｔｅ）し、さらに挿入深さ情報を連結（ｃｏｎｃａｔｉｎａｔｅ）して学習済みの把持量推定モデルに順次入力することで、複数の部分領域と複数の挿入深さとに応じた複数の確率分布を推定する。次いで、推定部１７５は、複数の確率分布において、複数の確率分布のパラメータをそれぞれ出力する。具体的には、推定部１７５は、複数の部分領域と複数の挿入深さとに応じた複数の推定把持量と複数の推定把持量に対応する複数の不確実性指標（例えば、標準偏差）とを出力する。換言すれば、推定部１７５は、ＲＧＢ－Ｄパッチ画像と挿入深さ情報とが把持量推定モデルに入力されると、ＲＧＢ－Ｄパッチ画像の箇所での推定把持量と推定把持量に対応する標準偏差とを出力する把持量推定モデルを利用している。
【0029】
これまでの説明において、把持量推定モデルに関する確率分布は標準正規分布を仮定していたが、確率分布は標準正規分布に限定されない。例えば、確率分布として、Ｎ個の標準正規分布からなる混合正規分布を仮定してもよい。把持量Ｘ［ｇ］を把持する確率が混合正規分布で表現される確率分布でモデル化される場合、把持量推定モデルに入力されたＲＧＢ－Ｄパッチ画像の箇所において挿入深さ情報Ｉｎｓ［ｃｍ］に従って平行グリッパ１２３により把持される対象の把持量がＸ［ｇ］である確率Ｐ（Ｘ）は、以下の式で表される。
このとき、把持量推定モデルから出力される確率分布Ｐのパラメータは、Ｎ個の標準正規分布に対するｋ番目の標準正規分布の混合比αｋ、ｋ番目の標準正規分布の平均値μｋ、ｋ番目の標準正規分布の標準偏差σｋ（ｋ＝１～Ｎ）の３Ｎ個となる。
【数2】
【0030】
また、把持量推定モデルは、ＲＧＢ－Ｄパッチ画像と挿入深さ情報とを入力として、推定把持量μを出力する学習済みモデルであってもよい。このとき、把持量推定モデルは、ＲＧＢ－Ｄパッチ画像と挿入深さ情報とから推定把持量μを出力する。すなわち、把持量推定モデルは、標準偏差σを出力しない。この場合、推定部１７５は、標準偏差σを出力しない複数の異なる把持量推定モデルにＲＧＢ－Ｄパッチ画像と挿入深さ情報とを入力し、これら複数のモデルから出力される複数の推定把持量の平均および標準偏差をそれぞれ推定把持量μおよび標準偏差σとして算出してよい。
【0031】
把持量推定モデルは、例えば、把持装置１１による把持対象１３３の把持前の観測データおよび挿入深さ情報をモデルに入力して当該モデルから出力されるデータと、把持装置１１により把持された把持対象１３３の把持量の実測値と、に基づいて当該モデルのパラメータを更新することで得られる。この手順については、後ほど説明する。
【0032】
選択部１７９は、少なくとも当該推定された把持量および推定された不確実性の指標に基づいて当該箇所が所定条件を満たす箇所であるかを判定する。選択部１７９は、把持対象で占められた箇所であって、当該把持対象を目標量より多く把持できる所定条件を満たす箇所を、平行グリッパ１２３によって把持対象が把持される箇所として特定する。例えば、選択部１７９は、複数の部分領域各々における推定把持量μと推定把持量μに関する標準偏差σとを用いて、複数の部分領域から、把持対象を把持装置１１によって把持する領域を選択する。以下、説明を具体的にするために、ユーザにより設定された目標となる把持量（以下、目標把持量と呼ぶ）は５２ｇであるものとする。このとき、選択部１７９は、所定の判定条件を満たす領域（以下、条件適合領域と呼ぶ）を、複数の部分領域から特定する。所定の判定条件は、推定把持量から標準偏差のｎ倍（ｎは、正数）を差分した値が目標把持量を超過する条件であって、目標把持量＜μ－ｎ＊σで表される。上記ｎは、任意に設定可能である。例えばｎ＝１が設定され、目標把持量が５２ｇであるとき、図１０で示される平均μ＝６０ｇかつ標準偏差σ＝７ｇの部分領域ＰＲが条件を満たす。ｎを小さくすればするほど、把持装置１１による把持量が少なくなる可能性が高まる。このとき、把持量が少なくなった量に応じて、後述の事後把持（ｐｏｓｔ－ｇｒａｓｐｉｎｇ）に掛かる時間は短くなる。
【0033】
一方、ｎを大きくすればするほど、把持装置１１による把持量が多くなる可能性が高まる。このとき、把持量が多くなった量に応じて、事後把持（ｐｏｓｔ－ｇｒａｓｐｉｎｇ）に掛かる時間は長くなる。事後把持に掛かる時間と、把持された把持対象が目標把持量に到達しない場合における把持のリトライに掛かる時間とのトレードオフ（代償）に応じて、ユーザは、ｎを適宜調整して設定することができる。次いで、選択部１７９は、例えば、特定された複数の部分領域に関する平均値μと目標把持量との差分の絶対値｜目標把持量－μ｜を計算する。
【0034】
選択部１７９は、条件適合領域のうち、判定量が最小になる部分領域を、把持装置１１によって把持対象を把持する領域（以下、把持領域と呼ぶ）として選択する。なお、選択部１７９は、特定された複数の部分領域に関する平均値μと目標把持量との差分の絶対値｜目標把持量－μ｜を判定量として用いて、当該判定量が最小となる個所を、把持領域として選択してもよい。また、選択部１７９は、判定量として、平均値μと目標把持量との差分の絶対値｜目標把持量－μ｜に標準偏差σを加えた値を、判定量として算出してもよい。このとき、選択部１７９は、算出された判定量が最小となる部分領域を、条件適合領域から把持領域として選択する。すなわち、選択部１７９は、不確実性指標である標準偏差σが低いものに関する部分領域を、把持領域として選択する。換言すれば、平均値μと目標把持量との差分の絶対値｜目標把持量－μ｜に標準偏差σを加えた値が最小ということは、目標把持量と平均値μとの差（|目標把持量－μ|）が小さく、且つ、その予測のバラつきである標準偏差σが小さいことを意味する。
【0035】
なお、確率分布として混合正規分布が用いられる場合、選択部１７９は、把持領域を選択するために用いられる推定把持量μとして、例えば、以下のような３つの手法のいずれかにより特定されてもよい。
【数3】
【0036】
また、選択部１７９は、標準偏差σを用いずに、把持領域を選択してもよい。例えば、選択部１７９は、目標把持量＜μ－ｃｏｎｓ．（定数）を満たす箇所を、条件適合領域として特定する。次いで、選択部１７９は、条件適合領域の中から、｜目標把持量－μ｜が最小になる箇所を、把持領域として選択する。
【0037】
制御部１８１は、把持装置１１の動作（把持対象１３３の把持動作、送出動作、移動動作、および解放動作）を制御する。具体的には、制御部１８１は、把持動作として、選択された把持位置および挿入深さで把持対象１３３を把持するように、把持装置１１を制御する。これにより、把持装置１１は、把持位置および挿入深さにおいて把持対象１３３を把持する。具体的には、制御部１８１は、把持対象１３３を平行グリッパ１２３で把持して引き上げた後に離すように平行グリッパ１２３を制御し（以下、事前把持（ｐｒｅ－ｇｒａｓｐｉｎｇ）と呼ぶ）、平行グリッパ１２３から離された把持対象を再度把持するように、平行グリッパ１２３を制御する。これにより、平行グリッパ１２３は、送出機構１２４で送り出される部分を含む把持対象を再度把持する。上記把持動作の詳細については、後ほど説明する。
【0038】
制御部１８１は、送出動作として、平行グリッパ１２３で把持されている対象の量と目標量とに基づいて、送出機構１２４を制御する。これにより、送出機構１２４は、開口部１２５に向けてグリッパにより把持された把持対象を送り出す。具体的には、送出機構１２４は、一対の先端部１２７のうち一方の先端部１２８において、複数の枝１２６の根元から複数の枝１２６の先に向けて把持された把持対象を送り出す。例えば、制御部１８１は、把持された把持対象の量と目標把持量とに基づいて、送出機構１２４による把持対象の送り出しの速度を制御する。なお、制御部１８１は、把持された把持対象の量と目標把持量とに基づいて、送出機構１２４による把持対象の送り出しの回数を制御してもよい。また、制御部１８１は、この速度制御と回数制御の両者を実施してもよい。
【0039】
すなわち、送出動作は、一対の先端部１２７のうち一方の先端部１２８を、送出機構１２４におけるラックピニオン機構（ラックギアＲＧおよびピニオンギアＰＧ）により上下動させ、一対の先端部１２７により把持されている把持対象をアクティブに落とす（送り出す）ことで、一対の先端部１２７による把持量を調整する動作に相当する。アクティブに落とすことは、平行グリッパ１２３の開口部１２５を広げて把持対象を自然落下させることではなく、一方の先端部１２８を下方に動かすことで、一方の先端部１２８を動かす前は一対の先端部１２７で挟んで把持された把持対象を、一対の先端部１２７で挟まない状態にして落とすこと、すなわち、一対の先端部１２７の外に把持対象の一部を送り出すことに相当する。なお、一対の先端部１２７のうち一方の先端部１２８を上下動させて把持対象を送り出すラックピニオン機構は、送出動作の実現手段の一例であり、送出動作は、他の既知の機構により実現されてもよい。これらのことから、送出動作は、把持対象の把持後の動作（ｐｏｓｔ－ｇｒａｓｐｉｎｇ）であって、一対の先端部１２７により把持された把持対象の把持量の調整に相当する。当該送出動作の詳細については、後ほど説明する。
【0040】
制御部１８１は、把持された把持対象１３３を、予め設定された目的位置まで移動し、この目的位置で、把持対象１３３を解放するように、把持装置１１を制御する。移動動作および解放動作の制御については、既知の制御が適宜利用であるため、説明は省略する。
【0041】
以上、システム１における構成について説明した。以下、システム１による把持動作から解放動作にまでの一連の処理（以下、把持解放処理と呼ぶ）について説明する。図８は、把持解放処理の手順の一例を示すフローチャートである。以下、説明を具体的にするために、把持量推定モデルに関する確率分布は、標準正規分布であるものとする。
【0042】
（把持解放処理）
（ステップＳ８０１）
選択部１７９は、事前把持の対象となる部分領域を選択する。具体的には、取得部１７３は、把持対象１３３に関する所定サイズの複数の部分領域それぞれについて、観測データを、観測装置１３から取得する。所定サイズは、平行グリッパ１２３による把持可能なサイズとして、把持推定装置１７におけるメモリに予め記憶される。図９は、観測データの一例を示す図である。図９に示すように、取得部１７３は、例えば、複数の部分領域それぞれについて、トレイ１３１に配置された把持対象１３３である細片の食品のＲＧＢ画像とＤ画像とを取得する。
（ステップＳ８０１）
選択部１７９は、事前把持の対象となる部分領域を選択する。具体的には、取得部１７３は、把持対象１３３に関する所定サイズの複数の部分領域それぞれについて、観測データを、観測装置１３から取得する。所定サイズは、平行グリッパ１２３による把持可能なサイズとして、把持推定装置１７におけるメモリに予め記憶される。図９は、観測データの一例を示す図である。図９に示すように、取得部１７３は、例えば、複数の部分領域それぞれについて、トレイ１３１に配置された把持対象１３３である細片の食品のＲＧＢ画像とＤ画像とを取得する。
【0043】
次いで、取得部１７３は、所定サイズのＲＧＢパッチ画像およびＤパッチ画像（以下、ＲＧＢ－Ｄパッチ画像と呼ぶ）を、複数個所、観測データから取得する。複数のＲＧＢ－Ｄパッチ画像は、把持量推定モデルに順次入力される。ＲＧＢ－Ｄパッチ画像は、例えば、観測データにおける全領域に対して、所定の幅でずらしながら複数設定される。
【0044】
推定部１７５は、複数の部分領域および複数の挿入深さごとに、ＲＧＢ－Ｄパッチ画像と挿入深さ情報とを連結して学習済みの把持量推定モデルに順次入力することで、複数の部分領域と複数の挿入深さとに応じた複数の推定把持量と複数の標準偏差とを出力する。
【0045】
図１０は、把持量推定モデルに対する入出力の概要の一例を示す図である。図１０に示すように、複数の部分領域および複数の挿入深さごとに、ＲＧＢ－Ｄパッチ画像と挿入深さ情報とが把持量推定モデルに入力される。１つのＲＧＢ－Ｄパッチ画像に関して、例えば、＋２．０、＋２．２５、＋２．５０、＋２．７５、＋３．００、＋３．２５、＋３．５０、＋３．７５、＋４．０の９パターンそれぞれの挿入深さを変数ｖａｌとして適用した挿入深さ情報Ｉｎｓ［ｃｍ］が、把持量推定モデルに順次入力される。把持量推定モデルは、確率分布Ｐのパラメータを出力する。
【0046】
確率分布Ｐのパラメータは、図１０に示すように、例えば、標準正規分布のパラメータである平均値μと標準偏差σとである。例えば、図１０における四角の枠ＰＲは、図１０に示す観測データにおけるＲＧＢ－Ｄパッチ画像に対応する部分領域である。図１０における四角の枠ＰＲに示すように、ＲＧＢ－Ｄパッチ画像と挿入深さとしての変数ｖａｌが例えば＋２．０ｃｍである場合、把持量推定モデルは、平均値（推定把持量）として６０ｇを出力し、標準偏差として７を出力する。
【0047】
続いて、選択部１７９は、把持量推定モデルから出力された確率分布のパラメータと目標把持量とに基づいて、所定の判定条件により、条件適合領域を特定する。次いで、選択部１７９は、目標把持量と推定把持量とを用いて（場合によっては標準偏差を用いて）、判定量を算出する。選択部１７９は、判定量の定義に応じて、判定量が最小となる部分領域を、条件適合領域から把持領域として選択する。以上により、事前把持の対象となる部分領域が把持領域として選択される。このとき、選択された把持領域に関する挿入深さ情報、すなわち判定量を最小にしたパラメータを把持量推定モデルから出力させた挿入深さ情報が、選択部１７９から制御部１８１に送信される。
【0048】
（ステップＳ８０２）
制御部１８１は、選択された把持領域における事前把持を実行するように、把持装置１１を制御する。具体的には、制御部１８１は、把持領域の直上にエンドエフェクタ１１１が位置するように、より詳細には把持領域の中心位置に、開口部の１２５の中心が位置するように、複数のリンク１１３の動作に関する駆動装置を制御する。このとき、開口部１２５の開口幅が所定の幅まで開いていなければ、制御部１８１は、開口部１２５の開口幅を所定の幅まで広げるように、一対の先端部１２７の開閉に関する駆動装置（以下、開閉モータと呼ぶ）を制御する。これらにより、エンドエフェクタ１１１は、予め設定された開き幅まで開口部１２５が開いた状態で、把持領域の直上に移動する。
制御部１８１は、選択された把持領域における事前把持を実行するように、把持装置１１を制御する。具体的には、制御部１８１は、把持領域の直上にエンドエフェクタ１１１が位置するように、より詳細には把持領域の中心位置に、開口部の１２５の中心が位置するように、複数のリンク１１３の動作に関する駆動装置を制御する。このとき、開口部１２５の開口幅が所定の幅まで開いていなければ、制御部１８１は、開口部１２５の開口幅を所定の幅まで広げるように、一対の先端部１２７の開閉に関する駆動装置（以下、開閉モータと呼ぶ）を制御する。これらにより、エンドエフェクタ１１１は、予め設定された開き幅まで開口部１２５が開いた状態で、把持領域の直上に移動する。
【0049】
次いで、制御部１８１は、把持領域において、送信された挿入深さ情報における挿入深さ（以下、把持深さと呼ぶ）に一対の先端部１２７の先端を移動させるように、送信された挿入深さ情報に従って、複数のリンク１１３の動作に関する駆動装置を制御する。これにより、一対の先端部１２７の先端は、把持領域における把持深さまで挿入される。次いで、制御部１８１は、予め設定された閉じ幅まで開口部１２５を狭めるように、開閉モータを制御する。一例として、制御部１８１は、開閉モータの負荷をモニタし、当該負荷が所定の閾値を超えるまで当該開閉モータを動作させる。所定の閾値は、一対の先端部１２７が把持対象をある程度しっかりと把持することで、開閉モータに高い負荷が生じた状態に対応する。これにより、一対の先端部１２７は、予め設定された閉じ幅まで開口部１２５を狭める。
【0050】
なお、上記説明では、開き幅、閉じ幅は、予め設定されたものとして説明したが、これに限定されない。例えば、把持量推定モデルは、閉じ幅を更に用いて学習されてもよい。このとき、閉じ幅は、選択された把持領域に関して把持量推定モデルに入力された閉じ幅が用いられることとなる。すなわち、推定部１７５は、複数の部分領域ごと、複数の挿入深さごと、および複数の閉じ幅ごとに、ＲＧＢ－Ｄパッチ画像と挿入深さ情報と閉じ幅とを連結して学習済みの把持量推定モデルに順次入力することで、複数の部分領域と複数の挿入深さとに応じた複数の推定把持量と複数の標準偏差とを出力する。開き幅に関しても同様である。
【0051】
制御部１８１は、把持対象を把持した状態で把持領域の直上へ向けてエンドエフェクタ１１１を移動させるように駆動装置を制御する。把持領域の直上への移動距離は、例えば、把持深さ、把持深さより短い距離、把持深さより長い距離など、任意に設定可能である。これにより、エンドエフェクタ１１１は、把持対象を把持した状態で、上方に移動される。続いて、制御部１８１は、予め設定された開口幅まで開口部１２５を広げるように、開閉モータを制御する。これにより、一対の先端部１２７は、予め設定された開口幅まで開口部１２５を広げる。以上により、事前把持は完了する。
【0052】
（ステップＳ８０３）
制御部１８１は、把持領域において、把持深さに一対の先端部１２７の先端を移動させるように、送信された挿入深さ情報に従って、複数のリンク１１３の動作に関する駆動装置を制御する。これにより、一対の先端部１２７の先端は、把持領域における把持深さまで挿入される。次いで、制御部１８１は、予め設定された閉じ幅まで開口部１２５を狭めるように、開閉モータを制御する。これにより、一対の先端部１２７は、把持対象を把持する。把持深さまでの一対の先端部１２７の先端の挿入、および一対の先端部１２７による把持対象の把持は、ステップＳ８０２における処理と同様なため説明は省略する。
制御部１８１は、把持領域において、把持深さに一対の先端部１２７の先端を移動させるように、送信された挿入深さ情報に従って、複数のリンク１１３の動作に関する駆動装置を制御する。これにより、一対の先端部１２７の先端は、把持領域における把持深さまで挿入される。次いで、制御部１８１は、予め設定された閉じ幅まで開口部１２５を狭めるように、開閉モータを制御する。これにより、一対の先端部１２７は、把持対象を把持する。把持深さまでの一対の先端部１２７の先端の挿入、および一対の先端部１２７による把持対象の把持は、ステップＳ８０２における処理と同様なため説明は省略する。
【0053】
（ステップＳ８０４）
制御部１８１は、把持対象を再度把持した平行グリッパ１２３を、複数回に亘って揺らすように、第２機構を制御する。例えば、制御部１８１は、エンドエフェクタ１１１に把持された把持対象の一部を振るい落とすように、複数のリンク１１３の動作に関する駆動装置を制御する。これにより、平行グリッパ１２３は、制御部１８１による制御の下で振れる。なお、第２機構は、把持対象を再度把持した平行グリッパ１２３を揺動する揺動機構、および／または把持対象を再度把持した平行グリッパ１２３を旋回する旋回機構を有していてもよい。当該揺動機構および旋回機構は、複数のギア、ラックアンドピニオンなどか既知の技術が適用可能であるため、説明は省略する。なお、本ステップにおける処理は、把持解放処理における追加可能な処理（オプショナルな処理）であるため、適宜省略可能であるが、意図せずして引き上げてしまった把持対象を振るい落とすことができ、事後把持における把持量の調整の精度を向上させることができる。
制御部１８１は、把持対象を再度把持した平行グリッパ１２３を、複数回に亘って揺らすように、第２機構を制御する。例えば、制御部１８１は、エンドエフェクタ１１１に把持された把持対象の一部を振るい落とすように、複数のリンク１１３の動作に関する駆動装置を制御する。これにより、平行グリッパ１２３は、制御部１８１による制御の下で振れる。なお、第２機構は、把持対象を再度把持した平行グリッパ１２３を揺動する揺動機構、および／または把持対象を再度把持した平行グリッパ１２３を旋回する旋回機構を有していてもよい。当該揺動機構および旋回機構は、複数のギア、ラックアンドピニオンなどか既知の技術が適用可能であるため、説明は省略する。なお、本ステップにおける処理は、把持解放処理における追加可能な処理（オプショナルな処理）であるため、適宜省略可能であるが、意図せずして引き上げてしまった把持対象を振るい落とすことができ、事後把持における把持量の調整の精度を向上させることができる。
【0054】
図１１は、ステップＳ８０２乃至ステップＳ８０４に関する事前把持および事前把持後の把持対象の把持などの手順の概要の一例を示す模式図である。図１１における（１）乃至（４）における状態は、ステップＳ８０２における事前把持に対応する。図１１における（１）に示すように、エンドエフェクタ１１１は、制御部１８１による制御の下で、把持領域の直上に移動後、一対の先端部１２７を、挿入深さまで挿入する。次いで、図１１における（２）に示すように、エンドエフェクタ１１１は、制御部１８１による制御の下で、開口部１２５を狭める。これにより、一対の先端部１２７において把持対象が把持される。
【0055】
続いて、図１１における（３）に示すように、エンドエフェクタ１１１は、制御部１８１による制御の下で、把持対象を把持した状態で、把持領域の直上へ向けて移動する（Ｕｎｔ）。これにより、一対の先端部１２７において把持された把持対象と、トレイ１３１における把持対象１３３との絡まり、すなわち細片食品同士の絡まりがほぐれる。細片食品の絡まりがほぐれる個所は、図１１の（３）におけるＥｎｔに示されるようにグリッパの周辺である。また、図１１の（３）におけるＧｒＯは、一対の先端部１２７により把持された把持対象であって、トレイにおける把持対象からほぐれた様子を示している。さらに、図１１における（４）に示すように、エンドエフェクタ１１１は、制御部１８１による制御の下で、開口部１２５を広げる。これにより、一対の先端部１２７において把持された把持対象は、解放される。
【0056】
また、図１１における（５）および（６）における状態は、ステップＳ８０３での処理に対応する。図１１における（５）に示すように、エンドエフェクタ１１１は、制御部１８１による制御の下で、一対の先端部１２７を挿入深さまで挿入し、開口部１２５を狭める。これにより、一対の先端部１２７において把持対象ＧｒＯが再度把持される。このとき、エンドエフェクタ１１１は、制御部１８１による制御の下で、振れてもよい。図１１における（６）に示すように、エンドエフェクタ１１１は、制御部１８１による制御の下で、把持対象を把持した状態で、把持領域の直上へ向けて移動する。これらにより、一対の先端部１２７において把持された把持対象と、トレイ１３１における把持対象１３３との絡まりを低減させて、すなわち細片食品同士の絡まりによる意図しない量の食品の把持を低減させて、推定把持量に近い量の把持対象を把持することができる。
【0057】
（ステップＳ８０５）
取得部１７３は、ステップＳ８０３の処理の前後における計量装置１５からの出力に基づいて、把持装置１１により把持された把持対象の重さ（以下、把持重量と呼ぶ）を取得する。なお、取得部１７３は、ステップＳ８０３の処理の前後における力覚センサからの出力に基づいて、把持重量を取得してもよい。
取得部１７３は、ステップＳ８０３の処理の前後における計量装置１５からの出力に基づいて、把持装置１１により把持された把持対象の重さ（以下、把持重量と呼ぶ）を取得する。なお、取得部１７３は、ステップＳ８０３の処理の前後における力覚センサからの出力に基づいて、把持重量を取得してもよい。
【0058】
制御部１８１は、事後把持として、把持重量と目標把持量とに基づいて、ラックアンドピニオン機構における移動の上限と下限との間で、送出機構１２４の動作すなわち把持量の調整を制御する。例えば、制御部１８１は、把持重量と目標把持量との差に基づいて、把持量の調整に係る制御量を決定する。把持量の調整に係る制御量は、一方の先端部１２８の上下動に関連し、例えば、当該上下動の幅、当該上下動の実行時間、当該上下動の回数などである。制御部１８１による制御量の決定方法は、深層学習ベースの方法でも、センサ値のフィードバック制御による方法でも、いずれでも実現可能である。
【0059】
例えば、一方の先端部１２８の上下動が複数のステップの上下動により実現される場合、１ステップごとの一方の先端部１２８の移動量（以下、ステップ移動量と呼ぶ）は、目標把持量と現在の把持量（把持重量）とに依存する。具体的には、制御部１８１は、目標把持量（ｅ．ｇ．３８［ｇ］）と現在の把持量（ｅ．ｇ．６０［ｇ］）との差分が大きいほど、ステップ移動量を増大させる。このとき、一方の先端部１２８の上下動において一方の先端部１２８の移動速度が速くなる。このため、目標把持量と把持重量との差分が大きいほど、一対の先端部１２７から落ちる把持対象（例えば、細片食品）の落下量が増大する。
【0060】
例えば、当該差分が３０ｇ以上である場合、制御部１８１は、ステップ移動量が５ｃｍとなるように、送出機構１２４におけるモータＭＴを制御する。また、当該差分が１０ｇ未満である場合、制御部１８１は、ステップ移動量が１ｃｍとなるように、送出機構１２４におけるモータＭＴを制御する。当該差分が１０ｇ以上３０ｇ未満である場合、制御部１８１は、ステップ移動量が１ｃｍから５ｃｍの線形補間で当該差分と対応付けられた移動量となるように、送出機構１２４におけるモータＭＴを制御する。制御部１８１は、例えば、当該差分が所定の重さ以下となるまで、送出機構１２４の動作すなわち把持量の調整の制御を、繰り返し実行する。所定の重さとは、例えば、２ｇである。
【0061】
なお、把持量の調整の制御は、ステップ移動量すなわち１ステップあたりの一方の先端部１２８の移動量の制御に限定されない。例えば、制御部１８１は、予め設定された１ステップ移動量（以下、所定ステップ移動量と呼ぶ）を用いて実行されるステップ数を、目標把持量と把持重量との差分に応じて制御してもよい。例えば、所定ステップ移動量が１ｃｍである場合について、把持量の調整の制御について説明する。例えば、当該差分が３０ｇ以上である場合、制御部１８１は、ステップ数を５としてモータＭＴを制御する。このとき、一方の先端部１２８は５ｃｍ移動する。また、当該差分が１０ｇ未満である場合、制御部１８１は、ステップ数を１としてモータＭＴを制御する。このとき、一方の先端部１２８は１ｃｍ移動する。当該差分が１０ｇ以上３０ｇ未満である場合、制御部１８１は、ステップ数が１から５の線形補間で当該差分と対応付けられた移動量となるように、モータＭＴを制御する。
【0062】
なお、制御部１８１は、本ステップ８０５において、把持量の調整の制御とともに、ステップＳ８０４で説明した平行グリッパ１２３を振る動作の制御を同時に行ってもよい。把持量の調整の制御とともに平行グリッパ１２３が振られるため、平行グリッパ１２３からはみ出た状態で把持されている把持対象を、効率的に振るい落とすことができる。このため、把持量の調整の制御とともに平行グリッパ１２３を振る場合、把持量の調整の線形性を向上することできる。
【0063】
図１２は、事後把持における把持量の調整に関する概要の一例を示す模式図である。図１２における（Ａ）に示すように、平行グリッパ１２３は、制御部１８１による制御の下で、一対の先端部１２７を挿入深さまで挿入された状態で、開口部１２５を狭める。これにより、一対の先端部１２７において把持対象ＧｒＯが再度把持される。このとき、図１２における（Ａ）に示すように、フォーク形状の一方の先端部１２８および他方の先端部１２９における複数の枝の間の隙間とは、嵌め合い状態となる。図１２における（Ａ）は、ステップＳ８０３および図１１における（５）に対応する。
【0064】
図１２における（Ｂ）に示すように、ランクアンドピニオン機構Ｒ＆ＰにおけるピニオンギアＰＧは、制御部１８１による制御の下でのモータＭＴの回転により、回転を示す矢印ＲＡに沿って回転する。ピニオンギアＰＧの回転のステップに応じて、一方の先端部１２８は、下方ＤＡへ向けて移動する。これにより、把持対象ＧｒＯは、平行グリッパ１２３の外へ送り出される。
【0065】
図１２における（Ｃ）に示すように、制御部１８１により決定された制御量で、送出機構１２４が制御されると、平行グリッパ１２３の外へ送り出された把持対象ＤＧＯに対すは、トレイ１３１内に落下する。一方の先端部１２８の上下動が制御部１８１による制御の下で繰り返されることで、把持量の調整が実現される。
【0066】
（ステップＳ８０６）
制御部１８１は、把持量調整後の把持対象を、例えば弁当箱などの移載先へ移動させるように、複数のリンク１１３の動作に関する駆動装置を制御する。具体的には、制御部１８１は、一対の先端部１２７を移載先の直上に移動させるように、駆動装置を制御する。次いで、制御部１８１は、開口部１２５の開口幅を所定の幅まで広げるように、開閉モータを制御する。これらにより、平行グリッパ１２３により把持された把持対象は、移載先に解放（リリース）される。以上により、把持解放処理は終了する。なお、本システム１において、把持装置１１は、グリッパ１２３の表面に付着した対象を削ぎ落す機構をさらに有してもよい。この機構は一例としてグリッパ表面に沿って上下あるいは左右に部材を往復させる機構であり、この部材は例えばグリッパ１２３の枝１２６どうしの隙間を梳くような形状でよい。制御部１８１は、所定のタイミングでこの削ぎ落し機構を制御して、グリッパ１２３の表面に付着した対象を削ぎ落すようにしてもよい。所定のタイミングは例えばステップＳ８０６の処理が完了する度に行ってもよいし、ステップＳ８０６の処理が所定回数完了する度に行ってもよい。
制御部１８１は、把持量調整後の把持対象を、例えば弁当箱などの移載先へ移動させるように、複数のリンク１１３の動作に関する駆動装置を制御する。具体的には、制御部１８１は、一対の先端部１２７を移載先の直上に移動させるように、駆動装置を制御する。次いで、制御部１８１は、開口部１２５の開口幅を所定の幅まで広げるように、開閉モータを制御する。これらにより、平行グリッパ１２３により把持された把持対象は、移載先に解放（リリース）される。以上により、把持解放処理は終了する。なお、本システム１において、把持装置１１は、グリッパ１２３の表面に付着した対象を削ぎ落す機構をさらに有してもよい。この機構は一例としてグリッパ表面に沿って上下あるいは左右に部材を往復させる機構であり、この部材は例えばグリッパ１２３の枝１２６どうしの隙間を梳くような形状でよい。制御部１８１は、所定のタイミングでこの削ぎ落し機構を制御して、グリッパ１２３の表面に付着した対象を削ぎ落すようにしてもよい。所定のタイミングは例えばステップＳ８０６の処理が完了する度に行ってもよいし、ステップＳ８０６の処理が所定回数完了する度に行ってもよい。
【0067】
以上で説明した実施形態に係るシステム１は、例えば細片の食品である把持対象１３３の観測データを取得し、取得された観測データに基づいて、把持装置１１により把持対象１３３が把持される把持量を推定し、推定された把持量に基づいて把持領域を特定する。次いで、本システム１は、平行グリッパ１２３で把持されている対象を平行グリッパ１２３の外に送り出す送出機構１２４を備え、グリッパで把持されている対象の量（把持重量）と目標量（目標把持量）とに基づいて、送出機構１２４を制御する。例えば、本システム１は、事前把持として、把持対象を平行グリッパ１２３で把持して引き上げた後に離すように平行グリッパ１２３を制御し、平行グリッパ１２３から離された把持対象を再度把持するように平行グリッパ１２３を制御する。上記事前把持により、本システム１は、絡まった状態で引き上げられる把持対象（細片食品）の量を減らすことができ、事後把持における把持量の調整の精度を向上させることができる。
【0068】
これらのことから、実施形態に係るシステム１によれば、ユーザが所望する把持量を観測データから推定し、推定された把持量のうち不確実性の度合いが低い領域を、把持領域として選択することができる。加えて、本システム１に係るエンドエフェクタ１１１によれば、絡まりやすい細片食品を適切に把持することができる。このため、本平行グリッパ１２３によれば、専用の器具や定量を把持するエンドエフェクタは不要であって、設計変更などの多大な労力を削減することができる。
【0069】
以上のことから、本システム１によれば、千切りキャベツや小口切りされたネギなど、互いに絡まりやすかったり付着しやすかったりする細片食品の定量把持の精度を向上することができる。
【0070】
また、以上で説明した実施形態に係るシステム１において、制御部１８１は、グリッパ１２３で把持されている対象の量と目標量とに基づいて送出機構１２４を制御することで、グリッパ１２３から対象をほぐしながら少しずつ落とす。この「対象をほぐしながら少しずつ落とす」という作用効果に着目して、本システム１を次のように使うこともできる。すなわち、システム１において、制御部１８１は、把持装置１１を制御してグリッパ１２３に対象を把持させ、対象を把持しているグリッパ１２３を対象の移載先の直上に移動させ、目標量だけグリッパ１２３から対象を移載先に落とすように送出機構１２４を制御することもできる。この場合、制御部１８１がグリッパ１２３から実際に落ちた対象の量（落下量）と落とすべき対象の目標量とを取得して落下量と目標量とに基づいて送出機構１２４による対象の送出を停止してもよいし、移載先に計量装置を設けてその計測装置によって計測された落下量が目標量に達したことを検知してその検知信号を基に制御部１８１が送出機構１２４による対象の送出を停止してもよい。落下量は、送出機構１２４による送出開始時点のグリッパ１２３の把持量と現在の把持量との差分から算出してもよいし、移載先に計量装置を設けてその計量装置によって計測してもよい。
【0071】
以下、把持量推定モデルの生成過程について説明する。把持量推定モデルの生成過程は、学習過程に相当する。このとき、図１に示すシステム１または把持推定装置１７は、モデル学習装置として機能する。図１３は、把持量推定モデルの生成処理（以下、推定モデル生成処理と呼ぶ）の手順の一例を示すフローチャートである。なお、推定モデル生成処理は、エンドエフェクタ１１１の種別に応じて実行される。
【0072】
（推定モデル生成処理）
（ステップＳ１３１）
取得部１７３は、把持対象１３３に関する所定サイズの部分領域について、観測データを、観測装置１３から取得する。トレイ１３１における部分領域の位置は、予め設定される。取得部１７３は、部分領域の位置を、制御部１８１に出力する。また、取得部１７３は、部分領域の位置を、メモリに記憶する。推定部１７５は、設定された部分領域に関するＲＧＢ－Ｄパッチ画像と挿入深さ情報とを、学習対象のモデルに入力する。
（ステップＳ１３１）
取得部１７３は、把持対象１３３に関する所定サイズの部分領域について、観測データを、観測装置１３から取得する。トレイ１３１における部分領域の位置は、予め設定される。取得部１７３は、部分領域の位置を、制御部１８１に出力する。また、取得部１７３は、部分領域の位置を、メモリに記憶する。推定部１７５は、設定された部分領域に関するＲＧＢ－Ｄパッチ画像と挿入深さ情報とを、学習対象のモデルに入力する。
【0073】
（ステップＳ１３２）
推定部１７５は、入力されたＲＧＢ－Ｄパッチ画像と挿入深さ情報とに対応する把持量の確率分布のパラメータを、学習対象のモデルで推定する。確率分布が標準正規分布の場合、確率分布のパラメータは、平均値μと標準偏差σである。また、確率分布が混合正規分布である場合、確率分布のパラメータは、Ｎ個の標準正規分布に対するｋ番目の標準正規分布の混合比αｋ、ｋ番目の標準正規分布の平均値μｋ、ｋ番目の標準正規分布の標準偏差σｋ（ｋ＝１～Ｎ）の３Ｎ個となる。なお、確率分布が用いられない場合、推定部１７５は、推定把持量μを出力する。推定把持量μは、確率分布のパラメータのうち平均値に相当する。
推定部１７５は、入力されたＲＧＢ－Ｄパッチ画像と挿入深さ情報とに対応する把持量の確率分布のパラメータを、学習対象のモデルで推定する。確率分布が標準正規分布の場合、確率分布のパラメータは、平均値μと標準偏差σである。また、確率分布が混合正規分布である場合、確率分布のパラメータは、Ｎ個の標準正規分布に対するｋ番目の標準正規分布の混合比αｋ、ｋ番目の標準正規分布の平均値μｋ、ｋ番目の標準正規分布の標準偏差σｋ（ｋ＝１～Ｎ）の３Ｎ個となる。なお、確率分布が用いられない場合、推定部１７５は、推定把持量μを出力する。推定把持量μは、確率分布のパラメータのうち平均値に相当する。
【0074】
（ステップＳ１３３）
制御部１８１は、設定された部分領域に対して把持対象１３３の把持を実行するように、把持装置１１を制御する。把持装置１１は、制御部１８１による制御のもとで、部分領域における把持対象１３３を把持する。取得部１７３は、計量装置１５もしくは力覚センサからの出力に基づいて、把持装置１１による把持量の実測値、すなわち実際の把持量を取得する。計量装置１５からの出力である計量データに基づいて実測値を計算する場合、取得部１７３は、例えば、把持装置１１による把持対象１３３の把持の前後における計量データを差分することで、実測値を取得する。なお、力覚センサがエンドエフェクタ１１１に搭載されている場合、取得部１７３は、力覚センサからの出力を重さに変換することにより、実測値を取得する。
制御部１８１は、設定された部分領域に対して把持対象１３３の把持を実行するように、把持装置１１を制御する。把持装置１１は、制御部１８１による制御のもとで、部分領域における把持対象１３３を把持する。取得部１７３は、計量装置１５もしくは力覚センサからの出力に基づいて、把持装置１１による把持量の実測値、すなわち実際の把持量を取得する。計量装置１５からの出力である計量データに基づいて実測値を計算する場合、取得部１７３は、例えば、把持装置１１による把持対象１３３の把持の前後における計量データを差分することで、実測値を取得する。なお、力覚センサがエンドエフェクタ１１１に搭載されている場合、取得部１７３は、力覚センサからの出力を重さに変換することにより、実測値を取得する。
【0075】
（ステップＳ１３４）
推定部１７５は、推定された確率分布において、把持された把持対象の量が把持される確率を計算する。確率の計算は、既知の方法を適用可能であるため、説明は省略する。なお、確率分布が用いられない場合、本ステップは不要となる。
推定部１７５は、推定された確率分布において、把持された把持対象の量が把持される確率を計算する。確率の計算は、既知の方法を適用可能であるため、説明は省略する。なお、確率分布が用いられない場合、本ステップは不要となる。
【0076】
（ステップＳ１３５）
推定部１７５は、計算された確率に基づいて損失を計算する。確率分布が標準正規分布であって、ステップＳ１３３において取得された実際の把持量がＸ［ｇ］である場合、推定部１７５は、以下の式によりモデルの損失（－ｌｏｇＰ（Ｘ））を計算する。
推定部１７５は、計算された確率に基づいて損失を計算する。確率分布が標準正規分布であって、ステップＳ１３３において取得された実際の把持量がＸ［ｇ］である場合、推定部１７５は、以下の式によりモデルの損失（－ｌｏｇＰ（Ｘ））を計算する。
【数4】
【0077】
また、確率分布が混合標準正規分布であって、ステップＳ１３３において取得された実際の把持量がＸ［ｇ］である場合、推定部１７５は、Ｐ（Ｘ）として以下の式を用いて、モデルの損失（－ｌｏｇＰ（Ｘ））を計算する。
【数5】
【0078】
また、確率分布が用いられない場合、推定部１７５は、推定把持量μと実測値との差分に基づいて損失を計算する。例えば、推定部１７５は、当該差分を損失関数に適用することにより、損失（２乗誤差）を計算する。
【0079】
（ステップＳ１３６）
推定部１７５は、ステップＳ１３５において計算された損失を低減するように学習対象のモデルにおけるパラメータを更新する。例えば、推定部１７５は、誤差逆伝播法または確率的勾配降下法などの既知の手法により、損失を低減するように学習対象のモデルにおけるパラメータを更新する。
推定部１７５は、ステップＳ１３５において計算された損失を低減するように学習対象のモデルにおけるパラメータを更新する。例えば、推定部１７５は、誤差逆伝播法または確率的勾配降下法などの既知の手法により、損失を低減するように学習対象のモデルにおけるパラメータを更新する。
【0080】
（ステップＳ１３７）
パラメータの更新回数が所定回数であれば（ステップＳ１３７のＹｅｓ）、ステップＳ１３９の処理が実行される。パラメータの更新回数が所定回数でなければ（ステップＳ１３７のＮｏ）、ステップＳ１３８の処理が実行される。所定回数は、ユーザなどにより予め設定される。なお、本ステップにおける処理は、パラメータの更新回数と所定回数との比較に限定されない。例えば、学習対象のモデルに対する学習が収束するまで、ステップＳ１３１乃至ステップＳ１３８の処理が繰り返されてもよい。学習対象のモデルに対する学習の収束とは、例えば、推定量と実測値との差分が所定の値以下となる場合である。所定回数または所定の値は、把持推定装置１７におけるメモリに予め記憶される。
パラメータの更新回数が所定回数であれば（ステップＳ１３７のＹｅｓ）、ステップＳ１３９の処理が実行される。パラメータの更新回数が所定回数でなければ（ステップＳ１３７のＮｏ）、ステップＳ１３８の処理が実行される。所定回数は、ユーザなどにより予め設定される。なお、本ステップにおける処理は、パラメータの更新回数と所定回数との比較に限定されない。例えば、学習対象のモデルに対する学習が収束するまで、ステップＳ１３１乃至ステップＳ１３８の処理が繰り返されてもよい。学習対象のモデルに対する学習の収束とは、例えば、推定量と実測値との差分が所定の値以下となる場合である。所定回数または所定の値は、把持推定装置１７におけるメモリに予め記憶される。
【0081】
（ステップＳ１３８）
取得部１７３は、観測データにおいて、ステップＳ１３１における部分領域とは異なる他の部分領域を設定する。取得部１７３は、他の部分領域の位置を制御部１８１に出力する。
取得部１７３は、観測データにおいて、ステップＳ１３１における部分領域とは異なる他の部分領域を設定する。取得部１７３は、他の部分領域の位置を制御部１８１に出力する。
【0082】
（ステップＳ１３９）
推定部１７５は、学習対象のモデルを、把持量推定モデルとして設定する。推定部１７５は、把持量推定モデルを、把持推定装置１７におけるメモリに記憶する。以上により、推定モデル生成処理は終了する。
推定部１７５は、学習対象のモデルを、把持量推定モデルとして設定する。推定部１７５は、把持量推定モデルを、把持推定装置１７におけるメモリに記憶する。以上により、推定モデル生成処理は終了する。
【0083】
以上に述べた実施形態に係る推定モデル生成処理によれば、把持推定装置１７において用いられる把持量推定モデルは、把持装置１１による把持対象１３３の把持前の観測データと、平行グリッパ１２３の挿入深さの情報とを学習対象のモデルへの入力し、当該学習対象のモデルから出力された確率分布のパラメータと把持装置１１により把持された把持対象１３３の把持量の実測値とに基づいて損失を計算し、当該損失を低減するように当該学習対象のモデルを学習することにより生成される。
【0084】
（第１変形例）
本変形例のコントローラ１７１は、（Ａ）事前把持を複数の部分領域に対して実行し、（Ｂ）事前把持が行われた各部分領域について把持量推定モデルを用いて推定把持量および標準偏差を出力し、（Ｃ）目標把持量に近い推定把持量、および、小さい標準偏差が得られた部分領域を把持領域として選択し、（Ｄ）その把持領域から把持対象を把持するようにエンドエフェクタ１１１を制御する。処理（Ｂ）において、取得部１７３は、事前把持が行われた複数の部分領域それぞれについて、観測データを取得する。そして次に推定部１７５は、取得されたＲＧＢ－Ｄパッチ画像と挿入深さ情報とを連結して学習済みの把持量推定モデルに順次入力することで、各部分領域について、複数の挿入深さそれぞれに対する複数の推定把持量および複数の標準偏差を出力する。続いて、処理（Ｃ）において、選択部１７９は、出力された複数の推定把持量および複数の標準偏差に基づいて、判定量を算出し、この判定量に基づいて複数の部分領域のなかから把持領域を選択する。このとき選択部１７９は、上述のステップＳ８０１同様に、挿入深さ情報を制御部１８１に送信する。
本変形例のコントローラ１７１は、（Ａ）事前把持を複数の部分領域に対して実行し、（Ｂ）事前把持が行われた各部分領域について把持量推定モデルを用いて推定把持量および標準偏差を出力し、（Ｃ）目標把持量に近い推定把持量、および、小さい標準偏差が得られた部分領域を把持領域として選択し、（Ｄ）その把持領域から把持対象を把持するようにエンドエフェクタ１１１を制御する。処理（Ｂ）において、取得部１７３は、事前把持が行われた複数の部分領域それぞれについて、観測データを取得する。そして次に推定部１７５は、取得されたＲＧＢ－Ｄパッチ画像と挿入深さ情報とを連結して学習済みの把持量推定モデルに順次入力することで、各部分領域について、複数の挿入深さそれぞれに対する複数の推定把持量および複数の標準偏差を出力する。続いて、処理（Ｃ）において、選択部１７９は、出力された複数の推定把持量および複数の標準偏差に基づいて、判定量を算出し、この判定量に基づいて複数の部分領域のなかから把持領域を選択する。このとき選択部１７９は、上述のステップＳ８０１同様に、挿入深さ情報を制御部１８１に送信する。
【0085】
そして処理（Ｄ）において、把持領域の選択後、制御部１８１は、この把持領域において把持対象を把持するように、複数のリンク１１３の動作に関する駆動装置および開閉モータを制御する。これにより、一対の先端部１２７は、把持対象を把持する。把持深さまでの一対の先端部１２７の先端の挿入、および一対の先端部１２７による把持対象の把持は、ステップＳ８０２における処理と同様なため説明は省略する。続いて、ステップＳ８０４以降の処理が実行される。なお、本変形例において、ステップＳ８０４およびＳ８０５の処理はオプショナルである。
【0086】
第１変形例に係るシステム１は、事前把持後に観測データを取得して把持領域を選択する。このため、第１変形例に係るシステム１によれば、細片食品の定量把持の精度をさらに向上することができる。加えて、第１変形例に係るシステム１によれば、事後把持に関する時間も低減する、あるいは、省略することができるため、細片食品の定量把持に関する処理の時間を低減すること、すなわち細片食品の定量把持のスループットを向上させることができる。他の効果は、実施形態と同様なため、説明は省略する。
【0087】
（第２変形例）
本変形例のコントローラ１７１は、（Ａ）１つの部分領域を把持領域として設定してこの把持領域に対して事前把持を実行し、（Ｂ）事前把持が行われたこの把持領域について、把持量推定モデルを用いて複数の挿入深さ情報それぞれに対する把持量推定および標準偏差を出力し、（Ｃ）目標把持量に近い推定把持量、および、小さい標準偏差が得られたときにモデルに入力された挿入深さ情報を特定し、（Ｄ）特定された挿入深さ情報に基づいて把持領域から把持対象を把持する用にエンドエフェクタ１１１を制御する。処理（Ｂ）において、取得部１７３は、把持領域におけるＲＧＢ－Ｄパッチ画像を取得し、取得されたＲＧＢ－Ｄパッチ画像と挿入深さ情報とを連結して学習済みの把持量推定モデルに順次入力することで、把持領域に関して、複数の挿入深さそれぞれに対する推定把持量および標準偏差を出力する。続いて、処理（Ｃ）において推定部１７５は、各挿入深さに対する推定把持量および標準偏差に基づいて、把持領域における挿入深さを特定する。具体的には、推定部１７５は、複数の挿入深さ情報のなかから、判定量を最小にする推定把持量および標準偏差を把持量推定モデルから出力させた挿入深さ情報を特定する。そして推定部１７５は、その挿入深さ情報における挿入深さを、把持領域に対して用いる挿入深さとして特定する。
本変形例のコントローラ１７１は、（Ａ）１つの部分領域を把持領域として設定してこの把持領域に対して事前把持を実行し、（Ｂ）事前把持が行われたこの把持領域について、把持量推定モデルを用いて複数の挿入深さ情報それぞれに対する把持量推定および標準偏差を出力し、（Ｃ）目標把持量に近い推定把持量、および、小さい標準偏差が得られたときにモデルに入力された挿入深さ情報を特定し、（Ｄ）特定された挿入深さ情報に基づいて把持領域から把持対象を把持する用にエンドエフェクタ１１１を制御する。処理（Ｂ）において、取得部１７３は、把持領域におけるＲＧＢ－Ｄパッチ画像を取得し、取得されたＲＧＢ－Ｄパッチ画像と挿入深さ情報とを連結して学習済みの把持量推定モデルに順次入力することで、把持領域に関して、複数の挿入深さそれぞれに対する推定把持量および標準偏差を出力する。続いて、処理（Ｃ）において推定部１７５は、各挿入深さに対する推定把持量および標準偏差に基づいて、把持領域における挿入深さを特定する。具体的には、推定部１７５は、複数の挿入深さ情報のなかから、判定量を最小にする推定把持量および標準偏差を把持量推定モデルから出力させた挿入深さ情報を特定する。そして推定部１７５は、その挿入深さ情報における挿入深さを、把持領域に対して用いる挿入深さとして特定する。
【0088】
そして、処理（Ｄ）において制御部１８１は、把持領域において、特定された挿入深さで把持対象を把持するように、複数のリンク１１３の動作に関する駆動装置および開閉モータを制御する。これにより、一対の先端部１２７は、把持対象を把持する。特定された把持深さまでの一対の先端部１２７の先端の挿入、および一対の先端部１２７による把持対象の把持は、ステップＳ８０２における処理と同様なため説明は省略する。続いて、ステップＳ８０４以降の処理が実行される。なお、本変形例において、ステップＳ８０４およびＳ８０５の処理はオプショナルである。
【0089】
第２変形例に係るシステム１は、事前把持後に把持領域におけるＲＧＢ－Ｄパッチ画像取得し、取得されたＲＧＢ－Ｄパッチ画像と把持量推定モデルとを用いて、把持領域における挿入深さを特定する。第２変形例における効果は、実施形態および第１変形例と同様なため、説明は省略する。
【0090】
（応用例）
本応用例は、実施形態におけるエンドエフェクタ１１１と異なることにある。図１４は、本応用例におけるエンドエフェクタ１１２の断面の一例を示す図である。図１４に示すエンドエフェクタ１１２は、システム１における把持装置１１に搭載される。エンドエフェクタ１１２は、ペースト状の食品（以下、ペースト食品と呼ぶ）を把持対象とする。ペース食品は、流動性のある半固形に加工された食品であって、例えば、ポテトサラダである。
本応用例は、実施形態におけるエンドエフェクタ１１１と異なることにある。図１４は、本応用例におけるエンドエフェクタ１１２の断面の一例を示す図である。図１４に示すエンドエフェクタ１１２は、システム１における把持装置１１に搭載される。エンドエフェクタ１１２は、ペースト状の食品（以下、ペースト食品と呼ぶ）を把持対象とする。ペース食品は、流動性のある半固形に加工された食品であって、例えば、ポテトサラダである。
【0091】
図１４に示すエンドエフェクタ１１２は、基部１４０、掬い側グリッパ１４３と、壁グリッパ１４５と、送出機構１２４に設けられた押し出しプレート１４７とを備える。基部１４の根元部分には、力覚センサが搭載されてもよい。基部１４０は、掬い側グリッパ１４３と、壁グリッパ１４５と、押し出しプレート１４７とを支持する。基部１４０は、開口部１２５を開閉可能に、掬い側グリッパ１４３と壁グリッパ１４５とを支持する。掬い側グリッパ１４３と壁グリッパ１４５との移動機構は、例えば、コントローラ１７１から出力された制御信号に従って回転するモータと、モータの駆動軸に接続され当該駆動軸の回転に伴って回転するピニオンギアと、ピニオンギアと嵌合し、開口部１２５の開閉方向に沿って基部１４０に設けられたラックギアとにより実現される。なお、壁グリッパ１４５は、基部１４０に固定されてもよい。
【0092】
掬い側グリッパ１４３は、ペースト食品を掬うことが可能であって、複数の面形状により構成される。掬い側グリッパ１４３の根元部分は、ラックギアに設けられる。ラックギアは、直動ガイドを介して基部１４０に搭載される。押し出しプレート１４７は、壁グリッパ１４２の根元部分に取り付けられる。押し出しプレート１４７は、送出機構１２４により、掬い側グリッパ１４３および壁グリッパ１４５に沿って移動可能である。例えば、押し出しプレート１４７は、ラックギアＲＧの歯列方向に対して垂直に取り付けられる。ラックギアＲＧは、モータＭＴの回転軸に取り付けられたピニオンギアＰＧと嵌合する。これにより、コントローラ１７１から出力された制御信号に従ってモータＭＴが回転すると、モータＭＴの駆動軸の回転に伴ってピニオンギアＰＧが回転する。ピニオンギアＰＧの回転によりラックギアＲＧ移動することで、押し出しプレート１４７は、掬い側グリッパ１４３および壁グリッパ１４５に、押し出しプレート１４７の端部を接触させながら移動する。
【0093】
以下、図１４に示すエンドエフェクタ１１２による事後把持について説明する。図１５は、事後把持に関する動作の流れの一例を示す断面図である。図１５の（１）に示すように掬い側グリッパ１４３によりトレイ１３１中のペースト食品ＰＯが掬われて、ペースト食品ＰＯがエンドエフェクタ１１２に把持される。次いで、図１５の（２）に示すように、制御部１８１による制御の下で、壁グリッパ１４５と掬い側グリッパ１４３とが、開口部１２５を閉じるように移動する。これにより、図１５の（２）に示すように、ペースト食品ＰＯは、掬い側グリッパ１４３と壁グリッパ１４５とに挟まれて、３角柱形状（断面では３角形）に成型される。なお、掬い側グリッパ１４３と壁グリッパ１４５とが完全に閉じたときに両グリッパの外にはみ出る食品は、トレイ１３１に落ちる可能性が高い。
【0094】
図１５の（３）および（４）に示すように、制御部１８１による制御の下で送出機構１２４が駆動し、押し出しプレート１４７は、把持対象のペースト食品ＰＯをエンドエフェクタ１１２の外に押し出す。押し出しプレート１４７の移動に伴って、制御部１８１による制御の下で、掬い側グリッパ１４３および壁グリッパ１４５は互いに離れるように移動する。このとき、押し出しプレート１４７は、掬い側グリッパ１４３および壁グリッパ１４５に付着したペースト食品ＰＯを刮いで、エンドエフェクタ１１２（グリッパ）の外に押し出す。この押し出しの際、エンドエフェクタ１１２の外に押し出したペースト食品ＰＯをトレイ１３１に落とせばグリッパ内に目標把持量のペースト食品ＰＯが把持されるように、制御部１８１は、実際に把持された量と目標把持量に応じて押し出しプレート１４７の移動量を決める。そして制御部１８１は、送出機構１２４を制御して押し出しプレート１４７を逆向きに移動させながら、両グリッパを閉じる。これにより、目標把持量を上回る量のペースト食品ＰＯがエンドエフェクタ１１２により把持された場合、制御部１８１は、目標把持量に対して余剰なペースト食品ＰＯをトレイ１３１に落とすことができる。本応用例における効果は、実施形態と同様なため、説明は省略する。
【0095】
前述した実施形態における把持量推定モデルは、Ｄパッチ画像が入力されるが、Ｄパッチ画像そのものに代えて、Ｄパッチ画像を構成する画素の深さの平均と標準偏差が入力されるよう構成されてもよい。この場合、モデルの訓練および使用時に、Ｄパッチ画像の代わりにＤパッチ画像における深さの平均と標準偏差をモデルに入力すればよい。
【0096】
前述した実施形態における把持量推定モデルは、パッチの観測データとしてＤパッチ画像とともにＲＧＢパッチ画像が入力され、そのパッチから把持される対象の把持量に関するデータを出力していた。しかし、把持量推定モデルは、入力としてＲＧＢパッチ画像を必要としないモデルであってもよい。このようなモデルは、ＲＧＢパッチ画像を用いない推定モデル生成処理を行うことで得られ、把持解放処理においてＲＧＢパッチ画像なしで用いられる。また、ＲＧＢパッチ画像を用いない把持量推定モデルは、Ｄパッチ画像の代わりにＤパッチ画像における深さの平均と標準偏差を入力として受け付けるよう訓練され、使用されてもよい。
【0097】
前述した実施形態における把持量推定モデルは、パッチの観測データと挿入深さ情報とが入力され、そのパッチから把持される対象の把持量に関するデータを出力していた。しかし、把持量推定モデルは、パッチの観測データを入力として必要としないモデルであってもよいし、挿入深さ情報を入力として必要としないモデルであってもよい。
【0098】
パッチの観測データなしに挿入深さ情報から把持量に関するデータを出力する把持量推定モデルは、例えば次のような推定モデル生成処理で得られる。推定モデル生成処理は、複数の挿入深さについて、そのパッチの食品表面からその挿入深さで対象を把持して実際の把持量を計測し、その挿入深さをモデルに入力して把持量の平均μと標準偏差σを推定し、その平均μと標準偏差σと実際の把持量とに基づいて損失を計算し、損失を小さくする方向にモデルパラメータを更新する。このときパッチの食品表面は、そのパッチの深さの中央値でも平均でもよく、パッチのサイズは様々なものを用いる。なお、挿入深さから推定把持量の平均μ標準偏差σを出力可能であれば、学習モデルではなくデータテーブルを把持量推定モデルとしてもよく、このテーブルは各挿入深さに対する把持量の実測値の平均および標準偏差を挿入深さと対応付けることで生成できる。一方、把持解放処理は、複数の挿入深さそれぞれについて挿入深さを把持量推定モデルに入力して把持量の平均μと標準偏差σを推定し、判定量を最小にする平均μと標準偏差σに対応する挿入深さを特定し、予め設定されたパッチを把持領域として選択し、ステップＳ８０２以降の処理を行う。
【0099】
挿入深さ情報なしにパッチの観測データから把持量に関するデータを出力する把持量推定モデルは、例えば次のような推定モデル生成処理で得られる。推定モデル生成処理は、複数のパッチについて、各パッチの食品表面から１つの所定の挿入深さで対象を把持して実際の把持量を計測し、そのパッチの観測データをモデルに入力して把持量の平均μと標準偏差σを推定し、その平均μと標準偏差σと実際の把持量とに基づいて損失を計算し、損失を小さくする方向にモデルパラメータを更新する。一方、把持解放処理は、複数のパッチそれぞれについて各パッチの観測データを把持量推定モデルに入力して把持量の平均μと標準偏差σを推定し、複数のパッチのなかから、判定量を最小にする平均μと標準偏差σに対応するパッチを、把持領域として選択し、ステップＳ８０２以降の処理を行う。
【0100】
前述した実施形態における各装置（把持推定装置１７又はコントローラ１７１など）の一部又は全部は、ハードウェアで構成されていてもよいし、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等が実行するソフトウェア（プログラム）の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、前述した実施形態における各装置（把持推定装置１７及び／又はコントローラ１７１など）の少なくとも一部の機能を実現するソフトウェアを、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的な記憶媒体（非一時的なコンピュータ可読媒体）に収納し、コンピュータに読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワークを介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアの処理の全部又は一部がＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路に実装されることにより、当該ソフトウェアによる情報処理がハードウェアにより実行されてもよい。
【0101】
ソフトウェアを収納する記憶媒体は、光ディスク等の着脱可能なものでもよいし、ハードディスク、メモリ等の固定型の記憶媒体であってもよい。また、記憶媒体は、コンピュータ内部に備えられてもよいし、（主記憶装置、補助記憶装置）、コンピュータ外部に備えられてもよい。
【0102】
図１６は、前述した実施形態における各装置（把持推定装置１７又はコントローラ１７１など）のハードウェア構成の一例を示すブロック図である。各装置は、一例として、プロセッサ８１１と、主記憶装置８１２（メモリ）と、補助記憶装置８１３（メモリ）と、ネットワークインタフェース８１４と、デバイスインタフェース８１５と、を備え、これらがバス８１６を介して接続されたコンピュータ８１として実現されてもよい。
【0103】
図１６のコンピュータ８１は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、図１６では、１台のコンピュータ８１が示されているが、ソフトウェアが複数台のコンピュータにインストールされて、当該複数台のコンピュータそれぞれがソフトウェアの同一の又は異なる一部の処理を実行してもよい。この場合、コンピュータそれぞれがネットワークインタフェース８１４等を介して通信して処理を実行する分散コンピューティングの形態であってもよい。つまり、前述した実施形態における各装置（把持推定装置１７又はコントローラ１７１など）は、１又は複数の記憶装置に記憶された命令を１台又は複数台のコンピュータが実行することで機能を実現するシステムとして構成されてもよい。また、端末から送信された情報をクラウド上に設けられた１台又は複数台のコンピュータで処理し、この処理結果を端末に送信するような構成であってもよい。
【0104】
前述した実施形態における各装置（把持推定装置１７又はコントローラ１７１など）の各種演算は、１又は複数のプロセッサを用いて、又はネットワークを介した複数台のコンピュータを用いて、並列処理で実行されてもよい。また、各種演算が、プロセッサ内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部又は全部は、ネットワークを介してコンピュータ８１と通信可能なクラウド上に設けられたプロセッサ及び記憶装置の少なくとも一方により実現されてもよい。このように、前述した実施形態における各装置は、１台又は複数台のコンピュータによる並列コンピューティングの形態であってもよい。
【0105】
プロセッサ８１１は、少なくともコンピュータの制御又は演算のいずれかを行う電子回路（処理回路、Ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔ、Ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣ等）であってもよい。また、プロセッサ８１１は、汎用プロセッサ、特定の演算を実行するために設計された専用の処理回路又は汎用プロセッサと専用の処理回路との両方を含む半導体装置等のいずれであってもよい。また、プロセッサ８１１は、光回路を含むものであってもよいし、量子コンピューティングに基づく演算機能を含むものであってもよい。
【0106】
プロセッサ８１１は、コンピュータ８１の内部構成の各装置等から入力されたデータやソフトウェアに基づいて演算処理を行ってもよく、演算結果や制御信号を各装置等に出力してもよい。プロセッサ８１１は、コンピュータ８１のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、アプリケーション等を実行することにより、コンピュータ８１を構成する各構成要素を制御してもよい。
【0107】
前述した実施形態における各装置（把持推定装置１７又はコントローラ１７１など）は、１又は複数のプロセッサ８１１により実現されてもよい。ここで、プロセッサ８１１は、１チップ上に配置された１又は複数の電子回路を指してもよいし、２つ以上のチップあるいは２つ以上のデバイス上に配置された１又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。
【0108】
主記憶装置８１２は、プロセッサ８１１が実行する命令及び各種データ等を記憶してもよく、主記憶装置８１２に記憶された情報がプロセッサ８１１により読み出されてもよい。補助記憶装置８１３は、主記憶装置８１２以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ又は不揮発性メモリのいずれでもよい。前述した実施形態における各装置（把持推定装置１７又はコントローラ１７１など）において各種データ等を保存するための記憶装置は、主記憶装置８１２又は補助記憶装置８１３により実現されてもよく、プロセッサ８１１に内蔵される内蔵メモリにより実現されてもよい。例えば、前述した実施形態における把持推定装置１７におけるメモリは、主記憶装置８１２又は補助記憶装置８１３により実現されてもよい。
【0109】
前述した実施形態における各装置（把持推定装置１７又はコントローラ１７１など）が、少なくとも１つの記憶装置（メモリ）と、この少なくとも１つの記憶装置に接続（結合）される少なくとも１つのプロセッサで構成される場合、記憶装置１つに対して、少なくとも１つのプロセッサが接続されてもよい。また、プロセッサ１つに対して、少なくとも１つの記憶装置が接続されてもよい。また、複数のプロセッサのうち少なくとも１つのプロセッサが、複数の記憶装置のうち少なくとも１つの記憶装置に接続される構成を含んでもよい。また、複数台のコンピュータに含まれる記憶装置とプロセッサによって、この構成が実現されてもよい。さらに、記憶装置がプロセッサと一体になっている構成（例えば、Ｌ１キャッシュ、Ｌ２キャッシュを含むキャッシュメモリ）を含んでもよい。
【0110】
ネットワークインタフェース８１４は、無線又は有線により、通信ネットワーク８２に接続するためのインタフェースである。ネットワークインタフェース８１４は、既存の通信規格に適合したもの等、適切なインタフェースを用いればよい。ネットワークインタフェース８１４により、通信ネットワーク８２を介して接続された外部装置８３ａと情報のやり取りが行われてもよい。なお、通信ネットワーク８２は、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のいずれか又はそれらの組み合わせであってよく、コンピュータ８１と外部装置８３ａとの間で情報のやり取りが行われるものであればよい。ＷＡＮの一例としてインターネット等があり、ＬＡＮの一例としてＩＥＥＥ８０２．１１やイーサネット（登録商標）等があり、ＰＡＮの一例としてＢｌｕｅｔｏｏｔｈ（登録商標）やＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等がある。
【0111】
デバイスインタフェース８１５は、外部装置８３ｂと直接接続するＵＳＢ等のインタフェースである。
【0112】
外部装置８３ａはコンピュータ８１とネットワーク８２を介して接続されている装置である。外部装置８３ｂはコンピュータ８１と直接接続されている装置である。
【0113】
外部装置８３ａ又は外部装置８３ｂは、一例として、入力装置であってもよい。入力装置は、例えば、カメラ、マイクロフォン、モーションキャプチャ、各種センサ、キーボード、マウス、タッチパネル等のデバイスであり、取得した情報をコンピュータ８１に与える。また、パーソナルコンピュータ、タブレット端末、スマートフォン等の入力部とメモリとプロセッサを備えるデバイスであってもよい。
【0114】
また、外部装置８３ａ又は外部装置８３ｂは、一例として、出力装置でもよい。出力装置は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等の表示装置であってもよいし、音声等を出力するスピーカ等であってもよい。また、パーソナルコンピュータ、タブレット端末又はスマートフォン等の出力部とメモリとプロセッサを備えるデバイスであってもよい。
【0115】
また、外部装置８３ａまた外部装置８３ｂは、記憶装置（メモリ）であってもよい。例えば、外部装置８３ａはネットワークストレージ等であってもよく、外部装置８３ｂはＨＤＤ等のストレージであってもよい。
【0116】
また、外部装置８３ａ又は外部装置８３ｂは、前述した実施形態における各装置（把持推定装置１７又はコントローラ１７１など）の構成要素の一部の機能を有する装置でもよい。つまり、コンピュータ８１は、外部装置８３ａ又は外部装置８３ｂに処理結果の一部又は全部を送信してもよいし、外部装置９Ａ又は外部装置９Ｂから処理結果の一部又は全部を受信してもよい。例えば、外部装置８３ａ又は外部装置８３ｂは、前述した実施形態における把持装置１１と、観測装置１３と、計量装置１５と、把持推定装置１７などのうちの少なくとも１つであっても構わない。
【0117】
本明細書（請求項を含む）において、「ａ、ｂ及びｃの少なくとも１つ（一方）」又は「ａ、ｂ又はｃの少なくとも１つ（一方）」の表現（同様な表現を含む）が用いられる場合は、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ又はａ－ｂ－ｃのいずれかを含む。また、ａ－ａ、ａ－ｂ－ｂ、ａ－ａ－ｂ－ｂ－ｃ－ｃ等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、ａ－ｂ－ｃ－ｄのようにｄを有する等、列挙された要素（ａ、ｂ及びｃ）以外の他の要素を加えることも含む。
【0118】
本明細書（請求項を含む）において、「データを入力として／を用いて／データに基づいて／に従って／に応じて」等の表現（同様な表現を含む）が用いられる場合は、特に断りがない場合、データそのものを用いる場合や、データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、データの中間表現等）を用いる場合を含む。また、「データを入力として／を用いて／データに基づいて／に従って／に応じて」何らかの結果が得られる旨が記載されている場合（同様な表現を含む）、特に断りがない場合、当該データのみに基づいて当該結果が得られる場合や、当該データ以外の他のデータ、要因、条件及び／又は状態にも影響を受けて当該結果が得られる場合を含む。また、「データを出力する」旨が記載されている場合（同様な表現を含む）、特に断りがない場合、データそのものを出力として用いる場合や、データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、各種データの中間表現等）を出力として用いる場合を含む。
【0119】
本明細書（請求項を含む）において、「接続される（ｃｏｎｎｅｃｔｅｄ）」及び「結合される（ｃｏｕｐｌｅｄ）」との用語が用いられる場合は、直接的な接続／結合、間接的な接続／結合、電気的（ｅｌｅｃｔｒｉｃａｌｌｙ）な接続／結合、通信的（ｃｏｍｍｕｎｉｃａｔｉｖｅｌｙ）な接続／結合、機能的（ｏｐｅｒａｔｉｖｅｌｙ）な接続／結合、物理的（ｐｈｙｓｉｃａｌｌｙ）な接続／結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続／結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。
【0120】
本明細書（請求項を含む）において、「ＡがＢするよう構成される（Ａ ｃｏｎｆｉｇｕｒｅｄ ｔｏ Ｂ）」との表現が用いられる場合は、要素Ａの物理的構造が、動作Ｂを実行可能な構成を有するとともに、要素Ａの恒常的（ｐｅｒｍａｎｅｎｔ）又は一時的（ｔｅｍｐｏｒａｒｙ）な設定（ｓｅｔｔｉｎｇ／ｃｏｎｆｉｇｕｒａｔｉｏｎ）が、動作Ｂを実際に実行するように設定（ｃｏｎｆｉｇｕｒｅｄ／ｓｅｔ）されていることを含んでよい。例えば、要素Ａが汎用プロセッサである場合、当該プロセッサが動作Ｂを実行可能なハードウェア構成を有するとともに、恒常的（ｐｅｒｍａｎｅｎｔ）又は一時的（ｔｅｍｐｏｒａｒｙ）なプログラム（命令）の設定により、動作Ｂを実際に実行するように設定（ｃｏｎｆｉｇｕｒｅｄ）されていればよい。また、要素Ａが専用プロセッサ、専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造等が動作Ｂを実際に実行するように構築（ｉｍｐｌｅｍｅｎｔｅｄ）されていればよい。
【0121】
本明細書（請求項を含む）において、含有又は所有を意味する用語（例えば、「含む（ｃｏｍｐｒｉｓｉｎｇ／ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」等）が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、ｏｐｅｎ－ｅｎｄｅｄな用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現（ａ又はａｎを冠詞とする表現）である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。
【0122】
本明細書（請求項を含む）において、ある箇所において「１つ又は複数（ｏｎｅ ｏｒ ｍｏｒｅ）」、「少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ）」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現（ａ又はａｎを冠詞とする表現）が用いられているとしても、後者の表現が「１つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現（ａ又はａｎを冠詞とする表現）は、必ずしも特定の数に限定されないものとして解釈されるべきである。
【0123】
本明細書において、ある実施形態の有する特定の構成について特定の効果（ａｄｖａｎｔａｇｅ／ｒｅｓｕｌｔ）が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の１つ又は複数の実施形態についても当該効果が得られると理解されるべきである。但し当該効果の有無は、一般に種々の要因、条件及び／又は状態に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件及び／又は状態が満たされたときに実施形態に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。
【0124】
本明細書（請求項を含む）において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書（請求項を含む）において、「１又は複数のハードウェアが第１の処理を行い、前記１又は複数のハードウェアが第２の処理を行う」等の表現（同様な表現を含む）が用いられている場合、第１の処理を行うハードウェアと第２の処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第１の処理を行うハードウェア及び第２の処理を行うハードウェアが、前記１又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、電子回路を含む装置等を含んでよい。
【0125】
本明細書（請求項を含む）において、複数の記憶装置（メモリ）がデータの記憶を行う場合、複数の記憶装置のうち個々の記憶装置は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。また、複数の記憶装置のうち一部の記憶装置がデータを記憶する構成を含んでもよい。
【0126】
以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において、種々の追加、変更、置き換え、部分的削除等が可能である。例えば、前述した実施形態において、数値又は数式を説明に用いている場合、これらは例示的な目的で示されたものであり、本開示の範囲を限定するものではない。また、実施形態で示した各動作の順序も例示的なものであり、本開示の範囲を限定するものではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】