ホーム > 特許ランキング > ヤマハ発動機株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2025-3529画像処理装置、部品把持システム、画像処理方法および部品把持方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025003529
(43)【公開日】2025-01-09
(54)【発明の名称】画像処理装置、部品把持システム、画像処理方法および部品把持方法
(51)【国際特許分類】
G06T 7/70 20170101AFI20241226BHJP
G06T 7/00 20170101ALI20241226BHJP
B25J 13/08 20060101ALI20241226BHJP
【ＦＩ】
G06T7/70 Z
G06T7/00 350C
B25J13/08 A
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2024183936
(22)【出願日】2024-10-18
(62)【分割の表示】P 2023548006の分割
【原出願日】2021-09-15
(71)【出願人】
【識別番号】000010076
【氏名又は名称】ヤマハ発動機株式会社
(74)【代理人】
【識別番号】100105935
【弁理士】
【氏名又は名称】振角 正一
(74)【代理人】
【識別番号】100136836
【弁理士】
【氏名又は名称】大西 一正
(72)【発明者】
【氏名】山本 惇史
(57)【要約】
【課題】容器に収納された複数の部品のうち、比較的高い位置の部品を認識するのに有用な技術を提供する。
【解決手段】複数の部品Ｐをそれぞれ示すグレースケール画像Ｉｇ（輝度画像）および深度画像Ｉｄを合成することで合成画像Ｉｃが生成される（ステップＳ２０１）。こうして生成された合成画像Ｉｃでは、複数の部品Ｐのうち、比較的高い位置の部品Ｐの形状が残りやすく、かかる部品Ｐを認識するのに有用である。
【選択図】図４Ｂ
【解決手段】複数の部品Ｐをそれぞれ示すグレースケール画像Ｉｇ（輝度画像）および深度画像Ｉｄを合成することで合成画像Ｉｃが生成される（ステップＳ２０１）。こうして生成された合成画像Ｉｃでは、複数の部品Ｐのうち、比較的高い位置の部品Ｐの形状が残りやすく、かかる部品Ｐを認識するのに有用である。
【選択図】図４Ｂ
【特許請求の範囲】
【請求項1】
容器に収納された複数の部品を示す輝度画像と、前記複数の部品を示す深度画像とを取得する画像取得部と、
前記画像取得部が取得した前記輝度画像と前記深度画像とを合成することで合成画像を生成する画像合成部と
を備え、
前記輝度画像は、画素毎に輝度Ｖｇを示し、
前記深度画像は、画素毎に深度Ｖｄを示し、
前記合成画像は、画素毎に合成値Ｖｃを示し、
前記画像合成部は、深度Ｖｄによって輝度Ｖｇを重み付けした合成値Ｖｃを算出することで前記合成画像を生成する画像処理装置。
前記画像取得部が取得した前記輝度画像と前記深度画像とを合成することで合成画像を生成する画像合成部と
を備え、
前記輝度画像は、画素毎に輝度Ｖｇを示し、
前記深度画像は、画素毎に深度Ｖｄを示し、
前記合成画像は、画素毎に合成値Ｖｃを示し、
前記画像合成部は、深度Ｖｄによって輝度Ｖｇを重み付けした合成値Ｖｃを算出することで前記合成画像を生成する画像処理装置。
【請求項2】
前記画像合成部は、輝度Ｖｇに深度ｖｄを乗じることで重み付けを行う請求項１に記載の画像処理装置。
【請求項3】
ロボットハンドの範囲を示すハンド範囲を前記部品に対して設定して前記ハンド範囲に含まれる前記部品を示す対象部品画像を前記合成画像に基づき作成することで、それぞれ異なる前記部品を示す複数の対象部品画像を生成して、前記対象部品画像が示す前記ロボットハンドと前記部品との位置関係で前記ロボットハンドが前記部品の把持を試行した場合の把持成功確率を前記複数の対象部品画像のそれぞれについて算出する成功確率演算部をさらに備える請求項１ないし２のいずれか一項に記載の画像処理装置。
【請求項4】
前記成功確率演算部は、前記複数の対象部品画像のそれぞれについて算出した前記把持成功確率に基づき、前記複数の対象部品画像のうちから一の対象部品画像を選択して、前記一の対象部品画像が示す前記部品を前記一の対象部品画像が示す姿勢の前記ロボットハンドにより把持すると決定する請求項３に記載の画像処理装置。
【請求項5】
前記成功確率演算部は、前記複数の対象部品画像であって所定の除外条件を満たさない対象部品画像のうち、前記把持成功確率が最も高い前記対象部品画像を前記一の対象部品画像に選択する請求項４に記載の画像処理装置。
【請求項6】
前記所定の除外条件は、前記容器の端と前記対象部品画像との距離が所定値未満であるという条件である請求項５に記載の画像処理装置。
【請求項7】
前記成功確率演算部は、前記対象部品画像が示す前記ロボットハンドと前記部品との位置関係で前記ロボットハンドが前記部品の把持を試行した場合の把持の成否を教師データとして、前記対象部品画像と前記把持成功確率との関係を学習したニューラルネットワークを有し、前記ニューラルネットワークによって前記把持成功確率を前記複数の対象部品画像のそれぞれについて算出する請求項４ないし６のいずれか一項に記載の画像処理装置。
【請求項8】
前記一の対象部品画像が示す前記部品を前記一の対象部品画像が示す姿勢の前記ロボットハンドにより把持した状態を示す把持状態情報を取得して、前記把持状態情報に基づき前記ロボットハンドによる前記部品の把持の成否を判定する成否判定部をさらに備える請求項７に記載の画像処理装置。
【請求項9】
前記成否判定部は、前記ロボットハンドが前記容器から把持した前記部品を質量計に載置した際に前記質量計が計測した質量を前記把持状態情報として取得する請求項８に記載の画像処理装置。
【請求項10】
前記成否判定部は、前記ロボットハンドに把持される前記部品をカメラで撮像した画像を前記把持状態情報として取得する請求項８または９に記載の画像処理装置。
【請求項11】
前記成否判定部は、前記ロボットハンドに把持される前記部品を互いに異なる方向から前記カメラによって撮像した複数の画像を前記把持状態情報として取得する請求項１０に記載の画像処理装置。
【請求項12】
前記成功確率演算部は、前記ロボットハンドが把持する前記部品について、前記把持状態情報を取得した結果に基づき、前記ニューラルネットワークに再学習を実行させる請求項８ないし１１のいずれか一項に記載の画像処理装置。
【請求項13】
請求項４ないし１２のいずれか一項に記載の画像処理装置と、
前記複数の対象部品画像のうちから一の対象部品画像を選択して、前記一の対象部品画像が示す前記部品を前記一の対象部品画像が示す姿勢の前記ロボットハンドにより把持するとの前記画像処理装置の決定に基づき、前記部品を把持するロボットハンドと
を備える部品把持システム。
前記複数の対象部品画像のうちから一の対象部品画像を選択して、前記一の対象部品画像が示す前記部品を前記一の対象部品画像が示す姿勢の前記ロボットハンドにより把持するとの前記画像処理装置の決定に基づき、前記部品を把持するロボットハンドと
を備える部品把持システム。
【請求項14】
容器に収納された複数の部品を示す輝度画像と、前記複数の部品を示す深度画像とを取得する工程と、
前記輝度画像と前記深度画像とを合成することで合成画像を生成する工程と
を備え、
前記輝度画像は、画素毎に輝度Ｖｇを示し、
前記深度画像は、画素毎に深度Ｖｄを示し、
前記合成画像は、画素毎に合成値Ｖｃを示し、
前記合成画像を生成する工程では、深度Ｖｄによって輝度Ｖｇを重み付けした合成値Ｖｃを算出することで前記合成画像を生成する画像処理方法。
前記輝度画像と前記深度画像とを合成することで合成画像を生成する工程と
を備え、
前記輝度画像は、画素毎に輝度Ｖｇを示し、
前記深度画像は、画素毎に深度Ｖｄを示し、
前記合成画像は、画素毎に合成値Ｖｃを示し、
前記合成画像を生成する工程では、深度Ｖｄによって輝度Ｖｇを重み付けした合成値Ｖｃを算出することで前記合成画像を生成する画像処理方法。
【請求項15】
容器に収納された複数の部品を示す輝度画像と、前記複数の部品を示す深度画像とを取得する工程と、
前記輝度画像と前記深度画像とを合成することで合成画像を生成する工程と、
ロボットハンドの範囲を示すハンド範囲を前記部品に対して設定して前記ハンド範囲に含まれる前記部品を示す対象部品画像を前記合成画像に基づき作成することで、それぞれ異なる前記部品を示す複数の対象部品画像を生成して、前記対象部品画像が示す前記ロボットハンドと前記部品との位置関係で前記ロボットハンドが前記部品の把持を試行した場合の把持成功確率を前記複数の対象部品画像のそれぞれについて算出する工程と、
前記複数の対象部品画像のそれぞれについて算出した前記把持成功確率に基づき、前記複数の対象部品画像のうちから一の対象部品画像を選択して、前記一の対象部品画像が示す前記部品を前記一の対象部品画像が示す姿勢の前記ロボットハンドにより把持すると決定する工程と、
前記複数の対象部品画像のうちから一の対象部品画像を選択して、前記一の対象部品画像が示す前記部品を前記一の対象部品画像が示す姿勢の前記ロボットハンドにより把持するとの決定に基づき、前記ロボットハンドにより前記部品を把持する工程と
を備え、
前記輝度画像は、画素毎に輝度Ｖｇを示し、
前記深度画像は、画素毎に深度Ｖｄを示し、
前記合成画像は、画素毎に合成値Ｖｃを示し、
前記合成画像を生成する工程では、深度Ｖｄによって輝度Ｖｇを重み付けした合成値Ｖｃを算出することで前記合成画像を生成する部品把持方法。
前記輝度画像と前記深度画像とを合成することで合成画像を生成する工程と、
ロボットハンドの範囲を示すハンド範囲を前記部品に対して設定して前記ハンド範囲に含まれる前記部品を示す対象部品画像を前記合成画像に基づき作成することで、それぞれ異なる前記部品を示す複数の対象部品画像を生成して、前記対象部品画像が示す前記ロボットハンドと前記部品との位置関係で前記ロボットハンドが前記部品の把持を試行した場合の把持成功確率を前記複数の対象部品画像のそれぞれについて算出する工程と、
前記複数の対象部品画像のそれぞれについて算出した前記把持成功確率に基づき、前記複数の対象部品画像のうちから一の対象部品画像を選択して、前記一の対象部品画像が示す前記部品を前記一の対象部品画像が示す姿勢の前記ロボットハンドにより把持すると決定する工程と、
前記複数の対象部品画像のうちから一の対象部品画像を選択して、前記一の対象部品画像が示す前記部品を前記一の対象部品画像が示す姿勢の前記ロボットハンドにより把持するとの決定に基づき、前記ロボットハンドにより前記部品を把持する工程と
を備え、
前記輝度画像は、画素毎に輝度Ｖｇを示し、
前記深度画像は、画素毎に深度Ｖｄを示し、
前記合成画像は、画素毎に合成値Ｖｃを示し、
前記合成画像を生成する工程では、深度Ｖｄによって輝度Ｖｇを重み付けした合成値Ｖｃを算出することで前記合成画像を生成する部品把持方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、容器に収納された複数の部品をロボットハンドによって把持する技術に関し、特にビンピッキングに対して好適に適用できる。
【背景技術】
【0002】
特許文献１では、乱雑に積まれた部品をロボットハンドで把持するに際して、把持対象となる部品を認識するために、部品を撮像した画像が用いられる。具体的には、堆積された部品を撮像した撮像画像のうちから所定の閾値以上の輝度を有する領域が特定され、この領域について点群データが生成される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１５－１４７２５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、ビンピッキングにおいて、部品を確実に把持するためには、堆積された複数の部品のうち、ロボットハンドにとって手前、すなわち高い位置の部品を把持の対象とすることが好適となる。しかしながら、特許文献１の方法は、撮像画像のうちから閾値以上の輝度を有する領域に限定して点群データが生成される。そのため、撮像画像の輝度が部品の高さを的確に反映していない場合には、生成された点群データが、高い位置の部品を認識するのに有用とは必ずしも言えなかった。
【0005】
この発明は上記課題に鑑みなされたものであり、容器に収納された複数の部品のうち、比較的高い位置の部品を認識するのに有用な技術の提供を目的とする。
【課題を解決するための手段】
【0006】
本発明に係る画像処理装置は、容器に収納された複数の部品を示す輝度画像と、複数の部品を示す深度画像とを取得する画像取得部と、画像取得部が取得した輝度画像と深度画像とを合成することで合成画像を生成する画像合成部とを備える。
【0007】
本発明に係る画像処理方法は、容器に収納された複数の部品を示す輝度画像と、複数の部品を示す深度画像とを取得する工程と、輝度画像と深度画像とを合成することで合成画像を生成する工程とを備える。
【0008】
このように構成された画像処理装置および方法では、複数の部品をそれぞれ示す輝度画像と深度画像とを合成することで合成画像が生成される。こうして生成された合成画像では、複数の部品のうち、比較的高い位置の部品の形状が残りやすく、かかる部品を認識するのに有用である。
【0009】
また、輝度画像は、画素毎に輝度Ｖｇを示し、深度画像は、画素毎に深度Ｖｄを示し、合成画像は、画素毎に合成値Ｖｃを示し、画像合成部は、深度Ｖｄによって輝度Ｖｇを重み付けした合成値Ｖｃを算出することで合成画像を生成するように、画像処理装置を構成してもよい。こうして生成された合成画像は、複数の部品のうち、比較的高い位置の部品の形状が残りやすく、かかる部品を認識するのに有用である。
【0010】
また、画像合成部は、次式
Ｖｃ＝Ｖｄ×（１＋Ｖｇ／ｍａｘ（Ｖｇ））
ｍａｘ（Ｖｇ）は輝度画像に含まれる輝度Ｖｇのうちの最大値
に基づき、合成画像を生成するように、画像処理装置を構成してもよい。こうして生成された合成画像は、複数の部品のうち、比較的高い位置の部品の形状が残りやすく、かかる部品を認識するのに有用である。
Ｖｃ＝Ｖｄ×（１＋Ｖｇ／ｍａｘ（Ｖｇ））
ｍａｘ（Ｖｇ）は輝度画像に含まれる輝度Ｖｇのうちの最大値
に基づき、合成画像を生成するように、画像処理装置を構成してもよい。こうして生成された合成画像は、複数の部品のうち、比較的高い位置の部品の形状が残りやすく、かかる部品を認識するのに有用である。
【0011】
また、ロボットハンドの範囲を示すハンド範囲を部品に対して設定してハンド範囲に含まれる部品を示す対象部品画像を合成画像に基づき作成することで、それぞれ異なる部品を示す複数の対象部品画像を生成して、対象部品画像が示すロボットハンドと部品との位置関係でロボットハンドが部品の把持を試行した場合の把持成功確率を複数の対象部品画像のそれぞれについて算出する成功確率演算部をさらに備えるように、画像処理装置を構成してもよい。かかる構成では、合成画像に含まれる部品に対してロボットハンドの範囲を示すハンド範囲が設定され、ハンド範囲に含まれる部品を示す対象部品画像が合成画像に基づき作成されて、各対象部品画像について把持成功確率が算出される。この際に使用される合成画像は、上述の通り、比較的高い位置の部品の形状が残りやすい。したがって、比較的高い位置の部品、換言すれば、把持成功確率が比較的高い部品を含む対象部品画像を確実に生成することができる。
【0012】
また、成功確率演算部は、複数の対象部品画像のそれぞれについて算出した把持成功確率に基づき、複数の対象部品画像のうちから一の対象部品画像を選択して、一の対象部品画像が示す部品を一の対象部品画像が示す姿勢のロボットハンドにより把持すると決定するように、画像処理装置を構成してもよい。かかる構成では、ロボットハンドによる部品の把持の失敗頻度を抑えることが可能となる。
【0013】
また、成功確率演算部は、複数の対象部品画像であって所定の除外条件を満たさない対象部品画像のうち、把持成功確率が最も高い対象部品画像を一の対象部品画像に選択するように、画像処理装置を構成してもよい。かかる構成では、ロボットハンドによる部品の把持の失敗頻度を確実に抑えることが可能となる。
【0014】
例えば、所定の除外条件は、容器の端と対象部品画像との距離が所定値未満であるという条件である。これによって、容器の端の壁面の影響で部品の把持に失敗するといった状況の発生を抑制できる。
【0015】
また、成功確率演算部は、対象部品画像が示すロボットハンドと部品との位置関係でロボットハンドが部品の把持を試行した場合の把持の成否を教師データとして、対象部品画像と把持成功確率との関係を学習したニューラルネットワークを有し、ニューラルネットワークによって把持成功確率を複数の対象部品画像のそれぞれについて算出するように、画像処理装置を構成してもよい。かかる構成では、ニューラルネットワークの学習結果を利用して、ロボットハンドによる部品の把持の失敗頻度を確実に抑えることが可能となる。
【0016】
さらに、本発明は、このようなニューラルネットワークによる学習にとって好適と言える。つまり、ニューラルネットワークの学習方法の一例としては、ニューラルネットワークに対して輝度画像および深度画像の両方を入力して、これらの画像と把持成功確率との関係をニューラルネットワークに学習させることが考えられる。ただし、輝度画像が示す部品の輝度と深度画像が示す部品の高さとの関連付けから、ロボットハンドの把持成功確率を学習することは、ニューラルネットワークにとって難しく、演算負荷も大きい。一方、本発明では、輝度画像と深度画像とを合成した合成画像がニューラルネットワークに入力されるため、ニューラルネットワークはこの合成画像に基づき学習を行えばよい。その結果、比較的容易に学習を行うことができ、演算負荷も軽減することが可能となる。
【0017】
また、一の対象部品画像が示す部品を一の対象部品画像が示す姿勢のロボットハンドにより把持した状態を示す把持状態情報を取得して、把持状態情報に基づきロボットハンドによる部品の把持の成否を判定する成否判定部をさらに備えるように、画像処理装置を構成してもよい。かかる構成では、対象部品画像について求めた把持成功確率に基づき選択した部品の把持に成功したか否かを確認することができる。
【0018】
なお、把持状態情報の具体的な内容は種々想定できる。例えば、成否判定部は、ロボットハンドが容器から把持した部品を質量計に載置した際に質量計が計測した質量を把持状態情報として取得することができる。あるいは、成否判定部は、ロボットハンドに把持される部品をカメラで撮像した画像を把持状態情報として取得することができる。また、後者の場合には、成否判定部は、ロボットハンドに把持される部品を互いに異なる方向からカメラによって撮像した複数の画像を把持状態情報として取得してもよい。
【0019】
また、成功確率演算部は、ロボットハンドが把持する部品について、把持状態情報を取得した結果に基づき、ニューラルネットワークに再学習を実行させるように、画像処理装置を構成してもよい。かかる構成では、対象部品画像について求めた把持成功確率に基づき選択した部品の把持の成否の結果に応じて、ニューラルネットワークの再学習が実行され、ニューラルネットワークによる把持成功確率の算出精度を向上させることができる。
【0020】
本発明に係る部品把持システムは、上記の画像処理装置と、複数の対象部品画像のうちから一の対象部品画像を選択して、一の対象部品画像が示す部品を一の対象部品画像が示す姿勢のロボットハンドにより把持するとの画像処理装置の決定に基づき、部品を把持するロボットハンドとを備える。
【0021】
本発明に係る部品把持方法は、容器に収納された複数の部品を示す輝度画像と、複数の部品を示す深度画像とを取得する工程と、輝度画像と深度画像とを合成することで合成画像を生成する工程と、ロボットハンドの範囲を示すハンド範囲を部品に対して設定してハンド範囲に含まれる部品を示す対象部品画像を合成画像に基づき作成することで、それぞれ異なる部品を示す複数の対象部品画像を生成して、対象部品画像が示すロボットハンドと部品との位置関係でロボットハンドが部品の把持を試行した場合の把持成功確率を複数の対象部品画像のそれぞれについて算出する工程と、複数の対象部品画像のそれぞれについて算出した把持成功確率に基づき、複数の対象部品画像のうちから一の対象部品画像を選択して、一の対象部品画像が示す部品を一の対象部品画像が示す姿勢のロボットハンドにより把持すると決定する工程と、複数の対象部品画像のうちから一の対象部品画像を選択して、一の対象部品画像が示す部品を一の対象部品画像が示す姿勢のロボットハンドにより把持するとの決定に基づき、ロボットハンドにより部品を把持する工程とを備える。
【0022】
このように構成された部品把持システムおよび方法では、複数の部品をそれぞれ示す輝度画像と深度画像とを合成することで合成画像が生成される。こうして生成された合成画像では、複数の部品のうち、比較的高い位置の部品の形状が残りやすく、かかる部品を認識するのに有用である。さらに、このように部品を認識した結果に基づき、ロボットハンドが部品を把持する。したがって、高い成功確率でロボットハンドにより部品を把持することが可能となる。
【発明の効果】
【0023】
本発明によれば、容器に収納された複数の部品のうち、比較的高い位置の部品を認識するのに有用な画像（合成画像）を得ることができる。
【図面の簡単な説明】
【0024】
【図1】本発明に係る部品把持システムの一例を模式的に示す平面図。
【図3】制御装置が備える電気的構成の一例を示すブロック図。
【図8A】位置合わせニューラルネットワークの学習データの収集方法の一例を示すフローチャート。
【図8B】パッチ画像から生成される位置判定マスクの一例を模式的に示す図。
【図9B】損失関数の算出にマスクの使用が有利となる一例を模式的に示す図。
【図10A】把持分類ニューラルネットワークに学習を実行させるフローチャートの一例。
【図10B】把持分類ニューラルネットワークに学習を実行させるフローチャートの一例。
【図10C】把持分類ニューラルネットワークに学習を実行させるフローチャートの一例。
【図11】把持分類ネットワーク部の把持分類ニューラルネットワークの再学習方法の一例を示すフローチャート。
【図12】把持分類ネットワーク部の把持分類ニューラルネットワークの変形例。
【発明を実施するための形態】
【0025】
図１は本発明に係る部品把持システムの一例を模式的に示す平面図であり、図２は図１の部品把持システムで部品の把持に使用されるロボットハンドを模式的に示す斜視図である。これらの図および以下の図では、水平方向であるＸ方向、Ｘ方向に直交する水平方向であるＹ方向および鉛直方向であるＺ方向を適宜示す。これらＸ方向、Ｙ方向およびＺ方向はグローバル座標系を構成する。図１に示すように、部品把持システム１は、制御装置３および作業ロボット５を備え、作業ロボット５は制御装置３による制御に基づき作業（ビンピッキング）を実行する。
【0026】
具体的には、作業ロボット５の作業スペースには、部品ビン９１と、キッティングトレイ９２とが配置される。部品ビン９１は、部品を収納する複数の区画収納９１１を有し、各区画収納９１１では多数の部品が堆積している。キッティングトレイ９２は、部品を収納する複数の区画収納９２１を有し、各区画収納９２１には所定個数の部品が載置される。そして、作業ロボット５は、部品ビン９１の区画収納９１１から部品を把持して（ビンピッキング）、キッティングトレイ９２の区画収納９２１に移載する。また、部品ビン９１とキッティングトレイ９２との間には、ゴミ箱９３が配置され、不良部品が検知された場合には、作業ロボット５は、この不良部品をゴミ箱９３に廃棄する。
【0027】
作業ロボット５は、先端に設けられたロボットハンド５１を備えたスカラーロボットであり、ロボットハンド５１によって部品を掴んでロボットハンド５１を移動させることで、部品ビン９１からキッティングトレイ９２への部品の移載や、ゴミ箱９３への部品の廃棄を実行する。このロボットハンド５１は、図２に示すように、Ｘ方向、Ｙ方向、Ｚ方向およびθ方向に自由度を有する。ここで、θ方向は、Ｚ方向に平行な回転軸を中心とする回転方向である。また、ロボットハンド５１は、把持方向Ｇに配列された２本の爪５１１を有し、各爪５１１は、把持方向Ｇに直交する平板形状を有する。ロボットハンド５１は、２本の爪５１１の間隔を把持方向Ｇに拡大・縮小させることができ、これらの爪５１１によって部品を把持方向Ｇから挟むことで部品を把持する。なお、図２では、把持方向ＧがＸ方向に平行であるが、ロボットハンド５１のθ方向への位置によっては、当然のことながら、把持方向ＧはＸ方向に対して傾きうる。
【0028】
さらに、部品把持システム１は、２台のカメラ８１、８３と、質量計８５とを備える。カメラ８１は、部品ビン９１の区画収納９１１に堆積する多数の部品をＺ方向（上方）から撮像するプランビューカメラであり、作業ロボット５の作業スペースにＺ方向から対向する。このカメラ８１は、撮像対象（部品）を輝度で示すグレースケール画像（二次元画像）と、撮像対象までの距離を示す深度画像（三次元画像）とを撮像する。深度画像を取得する具体的な方法としては、位相シフト法やステレオマッチング法を用いることができる。カメラ８３は、ロボットハンド５１に把持された部品をＹ方向から撮像するサイドビューカメラであり、ロボットハンド５１の土台に水平に取り付けられている。このカメラ８３は、撮像対象（部品）を輝度で示すグレースケール画像（二次元画像）を撮像する。また、質量計８５は、キッティングトレイ９２の区画収納９２１に載置された部品の質量を計測する。
【0029】
図３は制御装置が備える電気的構成の一例を示すブロック図である。制御装置３は、演算部３１、記憶部３５およびＵＩ(User Interface)３９を備えた例えばパーソナルコンピューターである。演算部３１は、例えばＣＰＵ(Central Processing Unit)等を備えたプロセッサーであり、主制御部３１１と画像処理部４とを有する。これら主制御部３１１および画像処理部４は、所定のプログラムを実行することで演算部３１に展開される。主制御部３１１は、上述のロボットハンド５１、カメラ８１、８３および質量計８５といったハードウェアの制御を実行し、画像処理部４は、ロボットハンド５１による把持の対象となる部品を認識するための画像処理を実行する。特に画像処理部４は、画像合成部４１、パッチ画像生成部４３、位置合わせネットワーク部４５および把持分類ネットワーク部４７を有する。これらの機能は以後に詳述する。
【0030】
記憶部３５は、ＨＤＤ(Hard Disk Drive)あるいはＳＳＤ(Solid State Drive)等の記憶装置であり、例えば、演算部３１に上記の主制御部３１１あるいは画像処理部４を展開するためのプログラムやデータを記憶する。また、ＵＩ３９は、キーボードやマウスなどの入力機器と、ディスプレイ等の出力機器とを有し、入力機器によって作業者により入力された情報を演算部３１やＵＩ３９に転送したり、演算部３１からの指令に応じた画像をディスプレイに表示したりする。
【0031】
図４Ａは図１の部品把持システムで実行されるビンピッキングの一例を示すフローチャートであり、図４Ｂは図４Ａのビンピッキングで実行されるパッチ画像処理の一例を示すフローチャートであり、図４Ｃは図４Ａのビンピッキングで実行される把持推論の一例を示すフローチャートであり、図４Ｄは図４Ｃの把持推論で実行される把持対象部品の決定の一例を示すフローチャートである。
【0032】
図４ＡのビンピッキングのステップＳ１０１では、部品ビン９１の区画収納９１１で堆積する多数の部品のプランビュー画像がカメラ８１によって撮像される。このプランビュー画像としては、上述の通りグレースケール画像Ｉｇと深度画像Ｉｄとが撮像される。主制御部３１１は、カメラ８１から取得したこれらの画像Ｉｄ、Ｉｇを画像処理部４の画像合成部４１に転送し、画像合成部４１はパッチ画像処理を実行する（ステップＳ１０２）。
【0033】
図５Ａ～図５Ｅは図４Ｂのパッチ画像処理で実行される動作を模式的に示す図である。図４Ｂのパッチ画像処理のステップＳ２０１では、画像合成部４１は、グレースケール画像Ｉｇ（図５Ａ）と深度画像Ｉｄ（図５Ｂ）とを合成することで合成画像Ｉｃ（図５Ｃ）を生成する。
【0034】
図５Ａに示すように、グレースケール画像Ｉｇは、Ｘ方向およびＹ方向に二次元的に配列された複数の画素ＰＸで構成され、画素ＰＸの輝度Ｖｇを複数の画素ＰＸのそれぞれについて示す画像データである。なお、図５Ａでは、行番号を示す「ｍ」と列番号を示す「ｎ」との組み合わせ（ｍ，ｎ）によって一の画素ＰＸを特定する表記が用いられ、グレースケール画像Ｉｇの画素ＰＸ（ｍ，ｎ）は輝度Ｖｇ（ｍ，ｎ）を有する。なお、輝度Ｖｇ（ｍ，ｎ）は、対応箇所が明るいほど大きな値を有する。
【0035】
図５Ｂに示すように、深度画像Ｉｄは、グレースケール画像Ｉｇと同様に複数の画素ＰＸで構成され、画素ＰＸの深度（距離）を複数の画素ＰＸのそれぞれについて示す画像データである。図５Ｂにおいても図５Ａと同様の表記が用いられ、深度画像Ｉｄの画素ＰＸ（ｍ，ｎ）は深度Ｖｄ（ｍ，ｎ）を有する。なお、深度Ｖｄ（ｍ，ｎ）は、対応箇所の深度が浅いほど（換言すれば、対向箇所の位置が高いほど）大きな値を有する。
【0036】
図５Ｃに示すように、合成画像Ｉｃは、グレースケール画像Ｉｇと同様に複数の画素ＰＸで構成され、画素ＰＸの合成値Ｖｃを複数の画素ＰＸのそれぞれについて示す画像データである。図５Ｃにおいても図５Ａと同様の表記が用いられ、合成画像Ｉｃの画素ＰＸ（ｍ，ｎ）は合成値Ｖｃ（ｍ，ｎ）を有する。
【0037】
かかる合成値Ｖｃ（ｍ，ｎ）は、次式
Ｖｃ（ｍ，ｎ）＝Ｖｄ（ｍ，ｎ）×（１＋Ｖｇ（ｍ，ｎ）／ｍａｘ（Ｖｇ））
ｍａｘ（Ｖｇ）はグレースケール画像Ｉｇに含まれる輝度Ｖｇのうちの最大輝度
に基づき算出される。つまり、合成値Ｖｃは深度Ｖｄで重み付けした輝度Ｖｇであり、合成画像Ｉｃは、深度重み付けグレースケール画像となる。なお、上の式では、最大輝度で正規化された輝度Ｖｇに深度Ｖｄ（重み）を乗じている。ただし、正規化は必須ではなく、そのままの輝度Ｖｇに深度Ｖｄ（重み）を乗じて合成値Ｖｃを算出しても構わない。要するに、輝度Ｖｇと深度Ｖｄとの両方に依存するように合成値Ｖｃを定めればよい。
Ｖｃ（ｍ，ｎ）＝Ｖｄ（ｍ，ｎ）×（１＋Ｖｇ（ｍ，ｎ）／ｍａｘ（Ｖｇ））
ｍａｘ（Ｖｇ）はグレースケール画像Ｉｇに含まれる輝度Ｖｇのうちの最大輝度
に基づき算出される。つまり、合成値Ｖｃは深度Ｖｄで重み付けした輝度Ｖｇであり、合成画像Ｉｃは、深度重み付けグレースケール画像となる。なお、上の式では、最大輝度で正規化された輝度Ｖｇに深度Ｖｄ（重み）を乗じている。ただし、正規化は必須ではなく、そのままの輝度Ｖｇに深度Ｖｄ（重み）を乗じて合成値Ｖｃを算出しても構わない。要するに、輝度Ｖｇと深度Ｖｄとの両方に依存するように合成値Ｖｃを定めればよい。
【0038】
図５Ｄでは、グレースケール画像Ｉｇおよび深度画像Ｉｄから合成画像Ｉｃを生成した実験結果が示されている。グレースケール画像Ｉｇ（フィルター前）は、カメラ８１が取得した二次元画像データであり、グレースケール画像Ｉｇ（フィルター後）は、カメラ８１が取得した二次元画像データの所定成分（高周波成分）をフィルターにより除去した二次元画像データである。また、深度画像Ｉｄ（フィルター前）は、カメラ８１が取得した三次元画像データであり、深度画像Ｉｄ（フィルター前）は、カメラ８１が取得した三次元画像データの所定成分（高周波成分）をフィルターにより除去した三次元画像データである。そして、合成画像Ｉｃは、フィルター後のグレースケール画像Ｉｇと深度画像Ｉｄとを上記の式により合成した深度重み付きグレースケール画像となる。ここで、「グレースケール画像Ｉｇ（フィルター後）」および「合成画像Ｉｃ」の各欄において矢印で指定される範囲（楕円の範囲）に注目すると、グレースケール画像Ｉｇ（フィルター後）で明瞭に表れていた部品が、合成画像Ｉｃにおいて表れていない。これは、該当の部品は深度が深くて（換言すれば、高さが低くて）、該当の部品の輝度Ｖｇに対して小さな重み付けがなされた結果である。このように、グレースケール画像Ｉｇおよび深度画像Ｉｄの合成は、高い位置の部品を際立たせる効果がある。なお、図５Ｄで用いたフィルターは必須ではなく、適宜省略しても同様の効果を得ることができる。
【0039】
図４ＢのステップＳ２０１で生成された合成画像Ｉｃは、画像合成部４１からパッチ画像生成部４３に出力され、パッチ画像生成部４３は、合成画像Ｉｃに対してステップＳ２０２～Ｓ２０４の画像処理を実行する。この画像処理の具体的内容は、図５Ｅに例示されている。ステップＳ２０２では、所定の閾値で合成画像Ｉｃを二値化することで二値合成画像Ｉｃが得られる。この二値合成画像Ｉｃでは、高い輝度（白）を有する閉領域が部品に対応して表れ、換言すれば二値合成画像Ｉｃにおける閉領域を部品Ｐと認識することができる。ステップＳ２０３では、パッチ画像生成部４３は、二値合成画像Ｉｃの各部品Ｐ（閉領域Ｒｃ）に互いに異なるラベル（番号）を対応付けるラベリングを実行する。
【0040】
ステップＳ２０４では、二値合成画像Ｉｃから部品Ｐを含む画像を切り出すための切り出し範囲Ｒｃが設定される。特に、切り出し範囲Ｒｃは、部品Ｐを把持する際のロボットハンド５１の位置を表すように設定される。この切り出し範囲Ｒｃは、ロボットハンド５１が把持の対象とする範囲（把持対象範囲）に相当し、ロボットハンド５１は切り出し範囲Ｒｃに存在する部品Ｐを把持することができる。例えば、図５Ｅの「パッチ画像Ｉｐ」の欄では、部品Ｐの把持のために部品Ｐ（２）に上側から対向するロボットハンド５１の２個の爪５１１に対応する部分が切り出し範囲Ｒｃの白実線（Ｙ方向に平行）で表され、各爪５１１の両端が移動する軌跡が白破線（Ｘ方向に平行）で表される。この例から分かるように、爪５１１はＹ方向に平行であって、θ方向におけるロボットハンド５１の回転角度はゼロ度である。つまり、切り出し範囲Ｒｃの設定は、θ方向におけるロボットハンド５１の回転角度がゼロ度の状態で実行される。そして、パッチ画像生成部４３は、二値合成画像Ｉｃのうち、切り出し範囲Ｒｃの画像をパッチ画像Ｉｐとして取得する（パッチ画像生成）。このパッチ画像Ｉｐは、ステップＳ２０３でラベルが付された各部品Ｐについて生成される。
【0041】
図４Ａに示すように、ステップＳ１０２のパッチ画像処理が完了すると、ステップＳ１０３の把持推論（図４Ｃ）が実行される。図６Ａ～６Ｃおよび図７は、図４Ｃの把持推論で実行される動作を模式的に示す図である。図４Ｃの把持推論を開始するにあたっては、ステップＳ１０２でのパッチ画像処理で取得された複数のパッチ画像Ｉｐを示すパッチ画像情報（図６Ａ）が、画像合成部４１から位置合わせネットワーク部４５に出力される。図６Ａに示すように、パッチ画像情報は、パッチ画像Ｉｐと、当該パッチ画像Ｉｐのラベルの番号と、当該パッチ画像Ｉｐの切り出し範囲Ｒｃの位置とを対応付けて示す。切り出し範囲Ｒｃの形状は各パッチ画像Ｉｐで同一であり、切り出し範囲Ｒｃの位置（切り出し位置）は、切り出し範囲Ｒｃの幾何重心のＸ座標、Ｙ座標およびθ座標で特定される。
【0042】
これに対して、図４ＣのステップＳ３０１では、位置合わせネットワーク部４５は、パッチ画像情報が示す複数のパッチ画像Ｉｐのラベルをカウントするカウント値をゼロにリセットして（ステップＳ３０１）、当該カウント値をインクリメントする（ステップＳ３０２）。
【0043】
ステップＳ３０３では、位置合わせネットワーク部４５は、現カウント値のパッチ画像Ｉｐに含まれる物体（白閉領域）の面積が適切か否かを判定する。具体的には、下側閾値および当該下側閾値より大きい上側閾値のそれぞれと、物体面積とが比較される。そして、物体面積が下側閾値より小さいあるいは上側閾値より大きい場合には、物体面積は適切でないと判定され（ステップＳ３０３で「ＮＯ」）、ステップＳ３０２に戻る。一方、物体面積が下側閾値以上で上側閾値以下である場合には、物体面積は適切であると判定され（ステップＳ３０３で「ＹＥＳ」）、ステップＳ３０４に進む。
【0044】
ステップＳ３０４では、位置合わせネットワーク部４５は、現カウント値のパッチ画像Ｉｐに基づき、切り出し範囲Ｒｃの位置を補正する補正量を算出する。つまり、位置合わせネットワーク部４５は、位置合わせニューラルネットワークを有し、この位置合わせニューラルネットワークは、パッチ画像Ｉｐが入力されると、切り出し範囲Ｒｃの補正量（Δｘ，Δｙ，Δθ）を出力する。パッチ画像Ｉｐと切り出し範囲Ｒｃの補正量との関係について図６Ｃを用いて説明する。
【0045】
図６Ｃの「切り出し範囲Ｒｃ」の欄では、切り出し範囲Ｒｃと、当該切り出し範囲Ｒｃで切り出されたパッチ画像Ｉｐとが示され、「補正切り出し範囲Ｒｃｃ」の欄では、切り出し範囲Ｒｃの位置を補正量（Δｘ，Δｙ，Δθ）に応じて補正した補正切り出し範囲Ｒｃｃが、これらに重ねて示されている。切り出し範囲Ｒｃおよび補正切り出し範囲Ｒｃｃは同一の形状を有しており、次の各操作
・Ｘ方向に補正距離Δｘだけ平行移動…Ｘ方向平行操作
・Ｙ方向に補正距離Δｙだけ平行移動…Ｙ方向平行操作
・θ方向に補正角度Δθだけ回転移動…θ方向回転操作
が実行された切り出し範囲Ｒｃは、補正切り出し範囲Ｒｃｃに一致する。また、切り出し範囲Ｒｃの中心と部品Ｐとの位置ずれに比較して、補正切り出し範囲Ｒｃｃの中心と部品Ｐとの位置ずれは改善されている。つまり、切り出し範囲Ｒｃの補正は、切り出し範囲Ｒｃと部品Ｐとの位置ずれを改善する補正、さらに言えば、部品Ｐがセンタリングされるように切り出し範囲Ｒｃを補正切り出し範囲Ｒｃｃに変換する補正である。そして、位置合わせネットワーク部４５の位置合わせニューラルネットワークは、パッチ画像Ｉｐの入力に対して、当該パッチ画像Ｉｐの切り出し範囲Ｒｃを補正して補正切り出し範囲Ｒｃｃを算出するための補正量（Δｘ，Δｙ，Δθ）を出力する。ちなみに、切り出し範囲Ｒｃを当該補正量だけ補正して補正切り出し範囲Ｒｃｃに変換する演算は、θ方向にΔθだけ回転させる回転行列と、Ｘ方向にΔｘだけ平行移動させつつＹ方向にΔｙだけ平行移動させる平行移動行列との積により実行できる。また、画像の拡大・縮小を考慮する必要がある場合には、さらにスケーリング行列を乗じればよい。
・Ｘ方向に補正距離Δｘだけ平行移動…Ｘ方向平行操作
・Ｙ方向に補正距離Δｙだけ平行移動…Ｙ方向平行操作
・θ方向に補正角度Δθだけ回転移動…θ方向回転操作
が実行された切り出し範囲Ｒｃは、補正切り出し範囲Ｒｃｃに一致する。また、切り出し範囲Ｒｃの中心と部品Ｐとの位置ずれに比較して、補正切り出し範囲Ｒｃｃの中心と部品Ｐとの位置ずれは改善されている。つまり、切り出し範囲Ｒｃの補正は、切り出し範囲Ｒｃと部品Ｐとの位置ずれを改善する補正、さらに言えば、部品Ｐがセンタリングされるように切り出し範囲Ｒｃを補正切り出し範囲Ｒｃｃに変換する補正である。そして、位置合わせネットワーク部４５の位置合わせニューラルネットワークは、パッチ画像Ｉｐの入力に対して、当該パッチ画像Ｉｐの切り出し範囲Ｒｃを補正して補正切り出し範囲Ｒｃｃを算出するための補正量（Δｘ，Δｙ，Δθ）を出力する。ちなみに、切り出し範囲Ｒｃを当該補正量だけ補正して補正切り出し範囲Ｒｃｃに変換する演算は、θ方向にΔθだけ回転させる回転行列と、Ｘ方向にΔｘだけ平行移動させつつＹ方向にΔｙだけ平行移動させる平行移動行列との積により実行できる。また、画像の拡大・縮小を考慮する必要がある場合には、さらにスケーリング行列を乗じればよい。
【0046】
なお、図６Ｃの例のように、部品Ｐが所定方向に長い形状を有する場合には、部品Ｐの長軸方向がロボットハンド５１の把持方向Ｇに直交するように、センタリングを行うのが好適となる。これによって、部品Ｐをロボットハンド５１によって的確に把持することが可能となる。
【0047】
ステップＳ３０５では、位置合わせネットワーク部４５は、位置合わせニューラルネットワークが出力した補正量に基づき切り出し範囲Ｒｃを補正することで、補正切り出し範囲Ｒｃｃを作成して、二値合成画像Ｉｃのうち、補正切り出し範囲Ｒｃｃの画像を補正パッチ画像Ｉｐｃとして取得する（補正パッチ画像生成）。そして、パッチ画像情報に含まれる全ラベル（換言すれば、全パッチ画像Ｉｐ）についてステップＳ３０２～Ｓ３０５が完了するまで（ステップＳ３０６で「ＹＥＳ」となるまで）、ステップＳ３０２～Ｓ３０５が繰り返される。
【0048】
全ラベルについて完了すると、複数の補正パッチ画像Ｉｐｃを示す補正パッチ画像情報（図６Ｂ）が、位置合わせネットワーク部４５から把持分類ネットワーク部４７に出力される。図６Ｂに示すように、補正パッチ画像情報は、補正パッチ画像Ｉｐｃと、当該補正パッチ画像Ｉｐｃのラベルの番号と、当該補正パッチ画像Ｉｐｃの補正切り出し範囲Ｒｃｃの位置とを対応付けて示す。補正切り出し範囲Ｒｃｃの形状は各補正パッチ画像Ｉｐｃで同一であり、補正切り出し範囲Ｒｃｃの位置（切り出し位置）は、補正切り出し範囲Ｒｃｃの幾何重心のＸ座標、Ｙ座標およびθ座標で特定される。
【0049】
ステップＳ３０７では、把持分類ネットワーク部４７は、補正パッチ画像情報に示される複数の補正パッチ画像Ｉｐｃのそれぞれについて、把持成功確率を算出する。具体的には、補正切り出し範囲Ｒｃｃの位置（ｘ＋Δｘ，ｙ＋Δｙ，θ＋Δθ）にロボットハンド５１を位置させた状態で、補正切り出し範囲Ｒｃｃで切り出された補正パッチ画像Ｉｐｃが示す部品Ｐの把持を試行した場合の成功確率（把持成功確率）が算出される。つまり、把持分類ネットワーク部４７は、把持分類ニューラルネットワークを有し、この把持分類ニューラルネットワークは、補正パッチ画像Ｉｐｃが入力されると、補正パッチ画像Ｉｐｃに対応する把持成功確率を出力する。こうして、図７に示す把持成功確率情報が取得される。図７に示すように、把持成功確率情報は、補正パッチ画像Ｉｐと、当該補正パッチ画像Ｉｐｃのラベルの番号と、当該補正パッチ画像Ｉｐｃの補正切り出し範囲Ｒｃｃの位置と、当該補正パッチ画像Ｉｐｃの把持成功確率とを対応付けて示す。なお、把持成功確率は、図７の例では０～１の値により示されているが、パーセントにより示されてもよい。
【0050】
ステップＳ３０８では、主制御部３１１は、把持分類ネットワーク部４７から出力された把持成功確率情報に基づき、把持対象とする部品Ｐを決定する。図４Ｄの把持対象部品の決定では、把持成功確率情報の各補正パッチ画像Ｉｐｃが、把持成功確率に従って降順にソートされる（ステップＳ４０１）。つまり、把持成功確率が高い補正パッチ画像Ｉｐｃほど、上位にソートされる。
【0051】
また、把持成功確率が同一の補正パッチ画像Ｉｐｃについては、補正パッチ画像Ｉｐｃに含まれる物体面積に従って降順にソートされる。つまり、物体面積が大きい補正パッチ画像Ｉｐｃほど、上位にソートされる。ステップＳ４０３では、ソート順位のカウント値がゼロにリセットされ、ステップＳ４０４では、当該カウント値がインクリメントされる。
【0052】
ステップＳ４０５では、現カウント値の補正パッチ画像Ｉｐｃに含まれる部品Ｐが、部品ビン９１の区画収納９１１（容器）の端に近接しているかが判定される。具体的には、補正パッチ画像Ｉｐｃを切り出した補正切り出し範囲Ｒｃｃの位置と、区画収納９１１の壁面との距離が所定値未満であれば、容器の端に近接している（ステップＳ４０５で「ＹＥＳ」）と判定され、ステップＳ４０４に戻る。一方、当該距離が所定値以上であれば、容器の端に近接していない（ステップＳ４０５で「ＮＯ」）と判定され、ステップＳ４０６に進む。ステップＳ４０６では、現カウント値の補正パッチ画像Ｉｐｃが把持対象の部品Ｐを示す一の補正パッチ画像Ｉｐｃに選択される。そして、図４Ａのフローチャートに戻る。
【0053】
図４ＡのステップＳ１０４では、ステップＳ１０３で選択された一の補正パッチ画像Ｉｐｃに対応する補正切り出し範囲Ｒｃｃが示す位置にロボットハンド５１が移動して、一の補正パッチ画像Ｉｐｃが示す部品Ｐを把持する。ステップＳ１０５では、ロボットハンド５１に把持される部品Ｐの画像がカメラ８３によって撮像され、ステップＳ１０６では、主制御部３１１は、カメラ８３により撮像された画像から、ロボットハンド５１により把持された部品Ｐを判定する。さらに、主制御部３１１は、把持された部品Ｐの個数が１個であるかを判定し（ステップＳ１０７）、１個でない場合（ステップＳ１０７で「ＮＯ」の場合）には、ロボットハンド５１に当該部品Ｐを部品ビン９１の区画収納９１１に返却させる（ステップＳ１０８）。また、把持された部品Ｐの個数が１個である場合（ステップＳ１０７で「ＹＥＳ」の場合）には、主制御部３１１は、把持された部品Ｐが正常であるかを判定し（ステップＳ１０９）、部品Ｐを示す面積が過小である等の異常を有する場合（ステップＳ１０９で「ＮＯ」の場合）には、ロボットハンド５１に当該部品Ｐをゴミ箱９３に廃棄させる（ステップＳ１１０）。
【0054】
一方、部品Ｐが正常である場合（ステップＳ１０９で「ＹＥＳ」の場合）には、主制御部３１１は、ロボットハンド５１に当該部品Ｐをキッティングトレイ９２の区画収納９２１に載置させる（ステップＳ１１１）。続いて、主制御部３１１は、質量計８５により質量を計測して（ステップＳ１１２）、質量計８５が示す質量が適正であるかを判定する（ステップＳ１１３）。具体的には、キッティングトレイ９２に載置した部品Ｐに相当する質量が増加しているかに基づき、判定することができる。そして、質量が適正でない場合（ステップＳ１１３で「ＮＯ」の場合）には、主制御部３１１は、ＵＩ３９を用いて作業者に異常を通知する一方、質量が適正である場合（ステップＳ１１３で「ＹＥＳ」の場合）には、主制御部３１１は、ステップＳ１０１に戻る。
【0055】
以上が部品把持システム１で実行されるビンピッキングの内容である。上記の把持推論では、位置合わせネットワーク部４５が、切り出し範囲Ｒｃから切り出されたパッチ画像Ｉｐに基づき当該切り出し範囲Ｒｃを補正する補正量（Δｘ，Δｙ，Δθ）を算出する。特に、位置合わせネットワーク部４５は、位置合わせニューラルネットワークを用いて、パッチ画像Ｉｐから切り出し範囲Ｒｃの補正量を算出する。続いては、この位置合わせニューラルネットワークに、パッチ画像Ｉｐと切り出し範囲Ｒｃの補正量との関係を学習させる方法について説明する。
【0056】
図８Ａは位置合わせニューラルネットワークの学習データの収集方法の一例を示すフローチャートである。このフローチャートは、制御装置３の演算部３１によって実行される。このフローチャートの実行に際しては、演算によって仮想的に構築した部品把持システム１（以下、「仮想部品把持システム１」と適宜称する）においてビンピッキングを実行するシミュレーターが演算部３１に構成される。このシミュレーターは、重力加速度や摩擦係数等の物理的なパラメーターに基づき、ロボットハンド５１が部品ビン９１の区画収納９１１から部品Ｐを把持する動作を、演算によって仮想的に実行する。
【0057】
ステップＳ５０１では、学習に必要な数のデータが取得されたかが確認される。この必要数は、例えば作業者によって予め設定することができる。必要数のデータが取得済みの場合（ステップＳ５０１で「ＹＥＳ」の場合）には、図８Ａのフローチャートが終了する一方、取得されたデータの数が必要数未満である場合（ステップＳ５０１で「ＮＯ」の場合）には、ステップＳ５０２に進む。
【0058】
ステップＳ５０２では、仮想部品把持システム１に配置された部品ビン９１の区画収納９１１に、十分な部品Ｐが収納されているか否かが判定される。具体的には、部品Ｐの個数が所定数以上であるかに基づき判定することができる。部品ビン９１の区画収納９１１内の部品Ｐの数が所定数未満である場合（ステップＳ５０２で「ＮＯ」の場合）には、部品ビン９１の区画収納９１１内の部品Ｐの個数をリセットすることで初期値にまで増加させて（ステップＳ５０３）、ステップＳ５０１に戻る。一方、部品ビン９１の区画収納９１１内の部品Ｐの数が所定数以上である場合（ステップＳ５０２で「ＹＥＳ」の場合）には、ステップＳ５０４に進む。
【0059】
ステップＳ５０４では、上述した現実の部品把持システム１の場合と同様にして、仮想部品把持システム１において合成画像Ｉｃが生成される。続いて、この合成画像Ｉｃに対して二値化を行って二値合成画像Ｉｃが生成されて、この二値合成画像Ｉｃに含まれる各部品Ｐに対してラベリングが実行される（ステップＳ５０５）。そして、ラベリングされた各部品Ｐに対して切り出し範囲Ｒｃが設定されて、パッチ画像Ｉｐが切り出される（ステップＳ５０６）。
【0060】
ステップＳ５０７は、各パッチ画像Ｉｐをカウントするカウント値がリセットされ、ステップＳ５０８では、カウント値がインクリメントされる。そして、上記と同様にして、現カウント値のパッチ画像Ｉｐに含まれる物体（白閉領域）の面積が適切であるかが判定される（ステップＳ５０９）。物体の面積が不適切である場合（ステップＳ５０９で「ＮＯ」の場合）にはステップＳ５０８に戻る一方、物体の面積が適切である場合（ステップＳ５０９で「ＹＥＳ」の場合）には、ステップＳ５１０に進む。
【0061】
こうして物体の面積が適切である一のパッチ画像Ｉｐが選択されると、主制御部３１１は、当該一のパッチ画像Ｉｐから位置判定マスクＭｐ（図８Ｂ）を生成する（ステップＳ５１０）。図８Ｂはパッチ画像から生成される位置判定マスクの一例を模式的に示す図である。この位置判定マスクＭｐは、パッチ画像Ｉｐ（換言すれば、切り出し範囲Ｒｃ）と同一形状の輪郭を有し、位置判定マスクＭｐの中央には、パッチ画像Ｉｐに含まれる部品Ｐと同一形状の部品基準パターンＰｒが配置されている。この部品基準パターンＰｒは、パッチ画像Ｉｐに含まれる部品Ｐ（換言すれば、白閉領域）の縦・横それぞれの画素数を有するように生成される。この位置判定マスクＭｐは、部品Ｐが中央に位置する理想的なパッチ画像Ｉｐのモデルである。そして、パッチ画像Ｉｐと、当該パッチ画像Ｉｐから生成された位置判定マスクＭｐとが対応付けられて、パッチ画像リストに格納される（ステップＳ５１１）。
【0062】
こうしてステップＳ５１１までの各ステップが完了すると、ステップＳ５０１に戻る。そして、必要数のデータが取得されるまで、換言すれば、パッチ画像リストに格納されたパッチ画像Ｉｐと位置判定マスクＭｐとのペアの数が必要数に到達するまで、ステップＳ５０１～Ｓ５１１が繰り返し実行される。
【0063】
図９Ａは図８Ａで収集された学習データを位置合わせニューラルネットワークに学習させるフローチャートの一例である。このフローチャートは、制御装置３の演算部３１によって実行される。ステップＳ６０１では、学習回数が所定数に到達したかが判定される。この所定数は、例えば作業者によって予め設定することができる。
【0064】
ステップＳ６０２では、パッチ画像リストから選択した未学習のパッチ画像Ｉｐを、位置合わせネットワーク部４５の位置合わせニューラルネットワークに順伝播させる。これによって、パッチ画像Ｉｐに対応する補正量（Δｘ，Δｙ，Δθ）が、位置合わせネットワーク部４５のニューラルネットワークから出力される。さらに、位置合わせネットワーク部４５は、この補正量によって切り出し範囲Ｒｃを補正した補正切り出し範囲Ｒｃｃ内の二値合成画像Ｉｃ（ステップＳ５０５で生成）を切り出すことで、補正パッチ画像Ｉｐｃを生成する（ステップＳ６０３）。
【0065】
ステップＳ６０４では、位置合わせネットワーク部４５は、ステップＳ６０２で選択したパッチ画像Ｉｐに対応する位置判定マスクＭｐと補正パッチ画像Ｉｐｃとを、それぞれの輪郭が一致するように重ね合わせて、位置判定マスクＭｐの部品基準パターンＰｒと補正パッチ画像Ｉｐｃに含まれる部品Ｐとの平均二乗誤差を損失関数として算出する。そして、ステップＳ６０５では、位置合わせニューラルネットワークにおいてこの損失関数を逆伝播させることで（誤差逆伝播）、位置合わせニューラルネットワークのパラメーターを更新する。
【0066】
なお、損失関数の算出は、位置判定マスクＭｐを用いずとも可能である。つまり、部品Ｐの画像のモーメントから主軸角を算出して、この主軸角と所定の基準角度との平均二乗誤差を損失関数としてもよい。一方、図９Ｂに例示する場合では、位置判定マスクＭｐを用いることが有利となる。図９Ｂは損失関数の算出にマスクの使用が有利となる一例を模式的に示す図である。図９Ｂに示される補正パッチ画像Ｉｐｃに含まれる部品Ｐはジグザグの形状を有しており、この部品Ｐの画像のモーメントから主軸角を適切に求めることは困難である。したがって、多様な形状の部品Ｐに対応するという観点から、ここでは位置判定マスクＭｐが用いられている。
【0067】
ステップＳ６０６では、パッチ画像リストに格納されたパッチ画像Ｉｐうち、予めテスト用として確保されて学習に使用されないパッチ画像Ｉｐ（テストデータ）を、パラメーターが更新された位置合わせニューラルネットワークに順伝播させることで、補正量が算出される。そして、この補正量に基づき、上記のステップＳ６０３～Ｓ６０４と同じ要領で、当該テストデータに対応する位置判定マスクＭｐを用いて損失関数が計算される。
【0068】
演算部３１は、ステップＳ６０６が実行される度にステップＳ６０６で算出された損失関数を記憶するとともに、こうして記憶された複数の損失関数のうちの最小値を算出しておく。そして、演算部３１は、直近に算出された損失関数が当該最小値を更新したかを確認する。特にステップＳ６０７では、１０回連続で最小値が未更新であるか、すなわち最小値より大きな損失関数が算出されたかが判定される。そして、過去１０回のうちに最小値以下の損失関数が算出されている場合（ステップＳ６０７で「ＮＯ」の場合）には、ステップＳ６０１に戻る一方、１０回連続で最小値より大きな損失関数が算出された場合（ステップＳ６０７で「ＹＥＳ」の場合）には、図９Ａのフローチャートが終了する。なお、回数は１０回に限られず、必要に応じて適宜変更できる。
【0069】
ところで、上記の把持推論では、補正パッチ画像Ｉｐｃが把持分類ネットワーク部４７に入力されると、把持分類ネットワーク部４７は、補正パッチ画像Ｉｐｃに含まれる部品Ｐを、補正パッチ画像Ｉｐｃが示す位置のロボットハンド５１によって把持した場合の把持成功確率を算出する。特に、把持分類ネットワーク部４７は、把持分類ニューラルネットワークを用いて、補正パッチ画像Ｉｐｃから把持成功確率を算出する。続いては、この把持分類ニューラルネットワークに、補正パッチ画像Ｉｐｃと把持成功確率との関係を学習させる方法について説明する。
【0070】
図１０Ａ～図１０Ｃは把持分類ニューラルネットワークに学習を実行させるフローチャートの一例である。このフローチャートは、制御装置３の演算部３１によって実行される。把持分類ニューラルネットワークの学習においても、上記の位置合わせニューラルネットワークの学習と同様に、仮想部品把持システム１を構築するシミュレーターが用いられる。
【0071】
図１０Ａのフローチャートでは、図８Ａのそれと同様にして、学習データの収集が実行される。つまり、図１０ＡのステップＳ７０１～Ｓ７０９は、次の点を除いて、図８ＡのステップＳ５０１～Ｓ５０９と同様である。つまり、ステップＳ７０１では、データの取得数ではなく、学習回数が所定数に到達したかが判定される。この所定数は、例えば作業者によって予め設定することができる。
【0072】
そして、図１０Ａのフローチャートでは、ステップＳ７０１～Ｓ７０９の実行によって、物体の面積が適切である一のパッチ画像Ｉｐが選択されると、位置合わせネットワーク部４５が、上記の学習を完了した位置合わせニューラルネットワークを用いてパッチ画像Ｉｐに対応する補正量を算出し（ステップＳ７１０）、パッチ画像Ｉｐと補正量とを対応付けて補正量リストに格納する（ステップＳ７１１）。そして、カウント値が最大になるまで（ステップＳ７１２で「ＹＥＳ」となるまで）、ステップＳ７０８～Ｓ７１１が繰り返されて、パッチ画像Ｉｐと補正量とのペアが補正量リストに順次格納される。カウント値が最大になると（ステップＳ７１２で「ＹＥＳ」）、図１０ＢのステップＳ７１２に進む。
【0073】
ステップＳ７１２では、位置合わせネットワーク部４５は、パッチ画像Ｉｐの切り出し範囲Ｒｃを補正量に基づき補正して補正切り出し範囲Ｒｃｃを生成し、当該補正切り出し範囲Ｒｃｃに基づき補正パッチ画像Ｉｐｃを生成する処理を、補正量リストに格納されているパッチ画像Ｉｐと補正量との各ペアについて実行する。これによって、複数の補正パッチ画像Ｉｐｃが生成される。なお、補正パッチ画像Ｉｐｃを生成する具体的な手順は、上述の通りである。
【0074】
ステップＳ７１３では、学習に必要な数のデータが取得されたかが確認される。この必要数は、例えば作業者によって予め設定することができる。必要数のデータが取得済みの場合（ステップＳ７１３で「ＹＥＳ」の場合）には、後述するステップＳ７１７（図１０Ｃ）に進む一方、取得されたデータの数が必要数未満である場合（ステップＳ７１３で「ＮＯ」の場合）には、ステップＳ７１４に進む。
【0075】
ステップＳ７１４では、ステップＳ７１２で生成した複数の補正パッチ画像Ｉｐｃのうちから、一の補正パッチ画像Ｉｐｃがランダムに（例えば、乱数発生器の出力に基づき）選択される。そして、ステップＳ７１５では、仮想部品把持システム１において、当該一の補正パッチ画像Ｉｐｃに含まれる部品Ｐの把持が、当該一の補正パッチ画像Ｉｐｃの位置に位置するロボットハンド５１により試行される。なお、補正パッチ画像Ｉｐｃの位置とは、当該補正パッチ画像Ｉｐｃを切り出した補正切り出し範囲Ｒｃｃの位置に相当する。そして、把持試行の成否の結果（成功の場合は１、失敗の場合は０）が、当該一の補正パッチ画像Ｉｐｃと対応付けて、成否結果リストに格納されて（ステップＳ７１６）、図１０ＡのステップＳ７０１に戻る。
【0076】
一方、ステップＳ７１３で必要数のデータが取得済み（ＹＥＳ）と判定されると、上述の通り、図１０ＣのステップＳ７１７に進む。ステップＳ７１７では、補正パッチ画像Ｉｐｃを左右に反転させた横反転補正パッチ画像Ｉｐｃと、補正パッチ画像Ｉｐｃを上下に反転させた縦反転補正パッチ画像Ｉｐｃと、補正パッチ画像Ｉｐｃを左右上下に反転させた縦横反転補正パッチ画像Ｉｐｃとが生成される。これによって、横反転補正パッチ画像Ｉｐｃ、縦反転補正パッチ画像Ｉｐｃおよび縦横反転補正パッチ画像Ｉｐｃの３種類の画像が、成否結果リストの各補正パッチ画像Ｉｐｃについて準備される。つまり、成否結果リストに格納される補正パッチ画像Ｉｐｃの枚数の３倍の枚数の複数の補正パッチ画像Ｉｐｃが準備される。
【0077】
ステップＳ７１８では、ステップＳ７１７で生成した複数の補正パッチ画像Ｉｐｃのそれぞれが、把持分類ネットワーク部４７の把持分類ニューラルネットワークにおいて順伝播され、各補正パッチ画像Ｉｐｃについて把持成功確率が算出される。そして、ステップＳ７１９は、同一の補正パッチ画像Ｉｐｃから生成された横反転補正パッチ画像Ｉｐｃ、縦反転補正パッチ画像Ｉｐｃおよび縦横反転補正パッチ画像Ｉｐｃそれぞれの把持成功確率の平均値が算出される。これによって、成否結果リストに格納される各補正パッチ画像Ｉｐｃについて、把持成功確率の平均値が算出される。
【0078】
ステップＳ７２０では、「０」、「１」および「２」のうちの1個の値を乱数発生器により発生させる。そして、乱数発生で「０」が得られた場合には、ステップＳ７１９で把持成功確率が算出された各補正パッチ画像Ｉｐｃのうちからランダムに一の補正パッチ画像Ｉｐｃが選択され（ステップＳ７２１）、乱数発生で「１」が得られた場合には、当該各補正パッチ画像Ｉｐｃのうちから把持成功確率が「０．５」（換言すれば、５０％）に最も近い一の補正パッチ画像Ｉｐｃが選択され（ステップＳ７２２）、乱数発生で「２」が得られた場合には、当該各補正パッチ画像Ｉｐｃのうちから把持成功確率が最も高い一の補正パッチ画像Ｉｐｃが選択される（ステップＳ７２３）。
【0079】
ステップＳ７２４では、仮想部品把持システム１において、一の補正パッチ画像Ｉｐｃが示す部品Ｐの把持を、当該一の補正パッチ画像Ｉｐｃの位置に位置するロボットハンド５１によって試行する。そして、部品把持の成否結果（成功の場合は１、失敗の場合は０）と、ステップＳ７１９で当該一の補正パッチ画像Ｉｐｃについて算出された把持成功確率の平均値とに基づき損失関数が算出される。損失関数としては、例えば交差エントロピー誤差等の周知の種々の関数を使用できる。
【0080】
また、演算部３１は、ステップＳ７２５が実行される度にステップＳ７２５で算出された損失関数を記憶するとともに、こうして記憶された複数の損失関数のうちの最小値を算出しておく。そして、演算部３１は、直近に算出された損失関数が当該最小値を更新したかを確認する。特にステップＳ７２６では、１０回連続で最小値が未更新であるか、すなわち最小値より大きな損失関数が算出されたかが判定される。そして、過去１０回のうちに最小値以下の損失関数が算出されている場合（ステップＳ７２６で「ＮＯ」の場合）には、ステップＳ７２４の把持成否結果を、一の補正パッチ画像Ｉｐｃに対応付けて成否結果リストに格納する（ステップＳ７２７）。そして、ステップＳ７２８では、ステップＳ７２５で算出した損失関数を把持分類ニューラルネットワークにおいて逆伝播させることで（誤差逆伝播）、把持分類ニューラルネットワークのパラメーターを更新する。一方、ステップＳ７２６で、１０回連続で最小値より大きな損失関数が算出された場合（「ＮＯ」の場合）には、図１０ＡのステップＳ７０１に戻る。なお、回数は１０回に限られず、必要に応じて適宜変更できる。
【0081】
以上に示す実施形態では、複数の部品Ｐをそれぞれ示すグレースケール画像Ｉｇ（輝度画像）および深度画像Ｉｄを合成することで合成画像Ｉｃが生成される（ステップＳ２０１）。こうして生成された合成画像Ｉｃでは、複数の部品Ｐのうち、比較的高い位置の部品Ｐの形状が残りやすく、かかる部品Ｐを認識するのに有用である。
【0082】
さらに、このように部品Ｐを認識した結果に基づき、ロボットハンド５１が部品Ｐを把持する（ステップＳ１０４）。したがって、高い成功確率でロボットハンド５１により部品を把持することが可能となる。
【0083】
また、グレースケール画像Ｉｇは、画素ＰＸ毎に輝度Ｖｇを示し、深度画像Ｉｄは、画素ＰＸ毎に深度Ｖｄを示し、合成画像Ｉｃは、画素ＰＸ毎に合成値Ｖｃを示す。特に画像合成部４１は、深度Ｖｄによって輝度Ｖｇを重み付けした合成値Ｖｃを算出することで合成画像Ｉｃを生成する。こうして生成された合成画像Ｉｃは、複数の部品Ｐのうち、比較的高い位置の部品Ｐの形状が残りやすく、かかる部品Ｐを認識するのに有用である。
【0084】
また、画像合成部４１は、次式
Ｖｃ＝Ｖｄ×（１＋Ｖｇ／ｍａｘ（Ｖｇ））
ｍａｘ（Ｖｇ）はグレースケール画像Ｉｇに含まれる輝度Ｖｇのうちの最大値
に基づき、合成画像Ｉｃを生成する。こうして生成された合成画像Ｉｃは、複数の部品Ｐのうち、比較的高い位置の部品Ｐの形状が残りやすく、かかる部品Ｐを認識するのに有用である。
Ｖｃ＝Ｖｄ×（１＋Ｖｇ／ｍａｘ（Ｖｇ））
ｍａｘ（Ｖｇ）はグレースケール画像Ｉｇに含まれる輝度Ｖｇのうちの最大値
に基づき、合成画像Ｉｃを生成する。こうして生成された合成画像Ｉｃは、複数の部品Ｐのうち、比較的高い位置の部品Ｐの形状が残りやすく、かかる部品Ｐを認識するのに有用である。
【0085】
また、ロボットハンド５１の範囲を示す補正切り出し範囲Ｒｃｃ（ハンド範囲）を合成画像ＩＣに写る部品Ｐに対して設定して補正切り出し範囲Ｒｃｃに含まれる当該部品Ｐを示す補正パッチ画像Ｉｐｃ（対象部品画像）を合成画像Ｉｃから切り出すことで、それぞれ異なる部品Ｐを示す複数の補正パッチ画像Ｉｐｃが生成される（ステップＳ３０１～Ｓ３０６）。さらに、補正パッチ画像Ｉｐｃが示すロボットハンド５１と部品Ｐとの位置関係でロボットハンド５１が部品Ｐの把持を試行した場合の把持成功確率が複数の補正パッチ画像Ｉｐｃのそれぞれについて算出される（ステップＳ３０７）。この際に使用される合成画像Ｉｃは、上述の通り、比較的高い位置の部品Ｐの形状が残りやすい。したがって、比較的高い位置の部品Ｐ、換言すれば、把持成功確率が比較的高い部品Ｐを含む補正パッチ画像Ｉｐｃを確実に生成することができる。
【0086】
また、複数の補正パッチ画像Ｉｐｃのそれぞれについて算出した把持成功確率に基づき、複数の補正パッチ画像Ｉｐｃのうちから一の補正パッチ画像Ｉｐｃが選択され、一の補正パッチ画像Ｉｐｃが示す部品Ｐを一の補正パッチ画像Ｉｐｃが示す姿勢のロボットハンド５１により把持すると決定される（ステップＳ４０１～Ｓ４０６）。かかる構成では、ロボットハンド５１による部品Ｐの把持の失敗頻度を抑えることが可能となる。
【0087】
また、複数の補正パッチ画像Ｉｐｃであって所定の除外条件（ステップＳ４０５）を満たさない補正パッチ画像Ｉｐｃのうち、把持成功確率が最も高い補正パッチ画像Ｉｐｃが一の補正パッチ画像Ｉｐｃに選択される（ステップＳ４０１～Ｓ４０６）。かかる構成では、ロボットハンド５１による部品Ｐの把持の失敗頻度を確実に抑えることが可能となる。
【0088】
具体的には、所定の除外条件は、部品ビン９１の区画収納９１１（容器）の端と補正パッチ画像Ｉｐｃの位置との距離が所定値未満であるという条件である（ステップＳ４０６）。これによって、区画収納９１１の端の壁面の影響で部品Ｐの把持に失敗するといった状況の発生を抑制できる。
【0089】
また、把持分類ネットワーク部４７は、補正パッチ画像Ｉｐｃが示すロボットハンド５１と部品Ｐとの位置関係でロボットハンド５１が部品Ｐの把持を試行した場合の把持の成否を教師データとして、補正パッチ画像Ｉｐｃと把持成功確率との関係を学習した把持分類ニューラルネットワークを有する。そして、この把持分類ニューラルネットワークによって、複数の補正パッチ画像Ｉｐｃのそれぞれについて把持成功確率が算出される。かかる構成では、把持分類ニューラルネットワークの学習結果を利用して、ロボットハンド５１による部品Ｐの把持の失敗頻度を確実に抑えることが可能となる。
【0090】
さらに、本実施形態は、このような把持分類ニューラルネットワークによる学習にとって好適と言える。つまり、把持分類ニューラルネットワークの学習方法の一例としては、把持分類ニューラルネットワークに対してグレースケール画像Ｉｇおよび深度画像Ｉｄの両方を入力して、これらの画像Ｉｇ、Ｉｄと把持成功確率との関係を把持分類ニューラルネットワークに学習させることが考えられる。ただし、グレースケール画像Ｉｇが示す部品Ｐの輝度と深度画像Ｉｄが示す部品Ｐの高さとの関連付けから、ロボットハンド５１の把持成功確率を学習することは、把持分類ニューラルネットワークにとって難しく、演算負荷も大きい。一方、本実施形態では、グレースケール画像Ｉｇと深度画像Ｉｄとを合成した合成画像Ｉｃ（補正パッチ画像Ｉｐｃ）が把持分類ニューラルネットワークに入力されるため、把持分類ニューラルネットワークはこの合成画像Ｉｃに基づき学習を行えばよい。その結果、比較的容易に学習を行うことができ、演算負荷も軽減することが可能となる。
【0091】
また、一の補正パッチ画像Ｉｐｃが示す部品Ｐを、当該一の補正パッチ画像Ｉｐｃが示す姿勢のロボットハンド５１により実際に把持した状態を示す把持状態情報（部品Ｐのサイドビュー画像および質量）が取得される（ステップＳ１０５、Ｓ１１２）。そして、この把持状態情報に基づき、ロボットハンド５１による部品Ｐの把持の成否が判定される（ステップＳ１０７、Ｓ１０９、Ｓ１１３）。かかる構成では、補正パッチ画像Ｉｐｃについて求めた把持成功確率に基づき選択した部品Ｐの把持に実際に成功したか否かを確認することができる。
【0092】
このように上記の実施形態では、部品把持システム１が本発明の「部品把持システム」の一例に相当し、制御装置３が本発明の「画像処理装置」の一例に相当し、主制御部３１１が本発明の「画像取得部」および「成否判定部」それぞれの一例に相当し、画像合成部４１が本発明の「画像合成部」の一例に相当し、パッチ画像生成部４３、位置合わせネットワーク部４５および把持分類ネットワーク部４７が協働して本発明の「成功確率演算部」の一例として機能し、ロボットハンド５１が本発明の「ロボットハンド」の一例に相当し、カメラ８３が本発明の「カメラ」の一例に相当し、部品ビン９１の区画収納９１１が本発明の「容器」の一例に相当し、深度画像Ｉｄが本発明の「深度画像」の一例に相当し、グレースケール画像Ｉｇが本発明の「輝度画像」の一例に相当し、合成画像Ｉｃが本発明の「合成画像」の一例に相当し、補正パッチ画像Ｉｐｃが本発明の「対象部品画像」の一例に相当し、補正切り出し範囲Ｒｃｃが本発明の「ハンド範囲」の一例に相当する。
【0093】
なお、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したものに対して種々の変更を加えることが可能である。例えば、ステップＳ１０５において、ロボットハンド５１に把持される部品Ｐを、互いに異なる方向からカメラ８３によって撮像して複数のサイドビュー画像を取得してもよい。これらサイドビュー画像は、例えば、部品Ｐを把持するロボットハンド５１をθ方向に回転させつつ部品Ｐを撮像することで、取得できる。これによって、ステップＳ１０７における部品Ｐの個数の確認や、ステップＳ１０９における部品Ｐの異常（面積の過小）の確認を、複数の方向から実行することができる。
【0094】
また、把持分類ニューラルネットワークの学習に関して、図１１のフローチャートを実行してもよい。ここで、図１１は把持分類ネットワーク部の把持分類ニューラルネットワークの再学習方法の一例を示すフローチャートである。このフローチャートは、例えば、計画していたビンピッキングが終了したタイミング等に、主制御部３１１によって実行される。
【0095】
ステップＳ８０１では、主制御部３１１は、過去に実行したビンピッキングにおいて、サイドビュー画像に基づく異常（ステップＳ１０７、Ｓ１０８で「ＮＯ」）や、質量計測に基づく異常（ステップＳ１１３で「ＮＯ」）が検知された履歴を確認する。そして、異常が検知された回数が所定回数以上であると（ステップＳ８０２で「ＹＥＳ」）、把持分類ネットワーク部４７の把持分類ニューラルネットワークの再学習が実行される（ステップＳ８０３）。この再学習では、異常が検知された部品Ｐを示す補正パッチ画像Ｉｐｃと把持成否結果（すなわち、失敗）とが教師データとして使用される。具体的には、補正パッチ画像Ｉｐｃを把持分類ニューラルネットワークで順伝播して求められる把持成否確率と把持成否結果（失敗）とに基づき誤差関数が算出されて、把持分類ニューラルネットワークにおいてこの誤差関数を逆伝播させることで、把持分類ニューラルネットワークのパラメーターが更新される（再学習）。
【0096】
つまり、図１１の例では、ロボットハンド５１が把持する部品Ｐについて、把持状態情報（サイドビュー画像、質量）を取得した結果に基づき、把持分類ニューラルネットワークに再学習を実行させる。かかる構成では、補正パッチ画像Ｉｐｃについて求めた把持成功確率に基づき選択した部品Ｐの把持の実際の成否結果に応じて、把持分類ニューラルネットワークの再学習が実行され、把持分類ニューラルネットワークによる把持成功確率の算出精度を向上させることができる。
【0097】
図１２は把持分類ネットワーク部の把持分類ニューラルネットワークの変形例である。この把持分類ニューラルネットワーク４７１では、多層の畳み込みニューラルネットワーク４７２と、全結合層４７３とが直列に配列されている。また、各畳み込みニューラルネットワーク４７２の出力側には、空間アテンションモジュール４７４と、チャネルアテンションモジュール４７５とが設けられており、畳み込みニューラルネットワーク４７２から出力された特徴量マップは、空間アテンションモジュール４７４およびチャネルアテンションモジュール４７５による重み付けを経て、次段の畳み込みニューラルネットワーク４７２あるいは全結合層４７３に入力される。
【0098】
特に空間アテンションモジュール４７４が特徴量マップに加えるアテンションマスクＭａは、補正パッチ画像Ｉｐｃ（換言すれば、補正切り出し範囲Ｒｃｃ）の中心位置を通る２本の注目領域Ｐｇ、Ｐｐを有する。つまり、アテンションマスクＭａのうち、注目領域Ｐｇおよび注目領域Ｐｐの重みは、その他の領域の重みよりも大きく、これらの重みが特徴量マップに加えられる。ここで、注目領域Ｐｇは把持方向Ｇに平行であり、注目領域Ｐｐは把持方向Ｇに直交する。特に、上記の例の様に、部品Ｐの長軸方向が把持方向Ｇに直交する場合には、注目領域Ｐｐは部品Ｐの長軸方向に平行となる。つまり、このアテンションマスクＭａは、補正パッチ画像Ｉｐｃにおける部品Ｐの理想位置に対応する注目領域Ｐｐと、当該部品Ｐに対してロボットハンド５１の爪５１１がアプローチする経路に対応する注目領域Ｐｇとに注目する。
【0099】
把持分類ニューラルネットワークでは、かかる構成のアテンションマスクＭａが、畳み込みニューラルネットワーク４７２から出力される特徴量マップに加えられて、特徴量マップに重み付けが行われる。したがって、把持方向Ｇに対する部品Ｐの長軸方向の角度や、部品Ｐを把持するロボットハンド５１の移動経路の状況（他の部品の有無）を、把持分類ニューラルネットワークによる判断に的確に反映させることができる。
【0100】
また、合成画像Ｉｃの生成方法は、上記の式を用いた例に限られず、深度画像Ｉｄの深度Ｖｄによってグレースケール画像Ｉｇの輝度Ｖｇを重み付けすることで合成画像Ｉｃの合成値Ｖｃを算出する他の式によって合成画像Ｉｃを生成してもよい。
【0101】
また、上記の例では、グレースケール画像Ｉｇと深度画像Ｉｄとを合成して、合成画像Ｉｃを生成している。この際、グレースケール画像Ｉｇの輝度を反転させた反転グレースケール画像Ｉｇ（輝度画像）と深度画像Ｉｄとを合成して、合成画像Ｉｃを生成してもよい。特に黒メッキ処理が施された表面を有する部品Ｐを把持する場合には、反転グレースケール画像Ｉｇを用いて合成画像Ｉｃを生成するのが好適となる。
【0102】
また、二値化された合成画像Ｉｃからパッチ画像Ｉｐを切り出す必要はなく、二値化を実行せずに合成画像Ｉｃからパッチ画像Ｉｐを切り出してもよい。補正パッチ画像Ｉｐｃについても同様である。
【0103】
また、パッチ画像処理における部品Ｐに対する切り出し範囲Ｒｃの設定態様については、種々想定できる。例えば、切り出し範囲Ｒｃの設定は、切り出し範囲Ｒｃの幾何重心が部品Ｐの幾何重心に一致するように行うことができる。ただし、この例に限られず、要するに、対象の部品Ｐを含むように切り出し範囲Ｒｃを設定すればよい。
【0104】
また、ロボットハンド５１の具体的な構成は、上記の例に限られない。例えば、ロボットハンド５１の爪５１１の本数は２本に限られず、３本以上でもよい。また、負圧あるいは磁力によって吸着するロボットハンド５１を用いることもできる。これらの場合であっても、ロボットハンド５１が把持の対象とする範囲に切り出し範囲Ｒｃを設定して、パッチ画像Ｉｐを切り出し範囲Ｒｃから切り出すことができる。
【0105】
また、上記実施形態では、パッチ画像Ｉｐを切り出した切り出し範囲Ｒｃの補正量（Δｘ，Δｙ，Δθ）を位置合わせネットワーク部４５により算出して、当該補正量（Δｘ，Δｙ，Δθ）で切り出し範囲Ｒｃを補正した補正切り出し範囲Ｒｃｃで切り出した補正パッチ画像Ｉｐｃを把持分類ネットワーク部４７に入力している。しかしながら、補正量（Δｘ，Δｙ，Δθ）による補正を行わずにパッチ画像Ｉｐをそのまま把持分類ネットワーク部４７に入力して、把持分類ネットワーク部４７がパッチ画像Ｉｐから直接に把持成功確率を算出するように構成してもよい。
【符号の説明】
【0106】
１…部品把持システム
３…制御装置（画像処理装置）
３１１…主制御部（画像取得部、成否判定部）
４１…画像合成部
４３…パッチ画像生成部（成功確率演算部）
４５…位置合わせネットワーク部（成功確率演算部）
４７…把持分類ネットワーク部（成功確率演算部）
５１…ロボットハンド
８３…カメラ
９１…部品ビン
９１１…区画収納（容器）
Ｉｄ…深度画像
Ｉｇ…グレースケール画像（輝度画像）
Ｉｃ…合成画像
Ｉｐｃ…補正パッチ画像（対象部品画像）
Ｒｃｃ…補正切り出し範囲（ハンド範囲）
３…制御装置（画像処理装置）
３１１…主制御部（画像取得部、成否判定部）
４１…画像合成部
４３…パッチ画像生成部（成功確率演算部）
４５…位置合わせネットワーク部（成功確率演算部）
４７…把持分類ネットワーク部（成功確率演算部）
５１…ロボットハンド
８３…カメラ
９１…部品ビン
９１１…区画収納（容器）
Ｉｄ…深度画像
Ｉｇ…グレースケール画像（輝度画像）
Ｉｃ…合成画像
Ｉｐｃ…補正パッチ画像（対象部品画像）
Ｒｃｃ…補正切り出し範囲（ハンド範囲）
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図6A】
【図6B】
【図6C】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10A】
【図10B】
【図10C】
【図11】
【図12】