特許 7178889 安定度判定装置及び安定度判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-17

(45)【発行日】2022-11-28

(54)【発明の名称】安定度判定装置及び安定度判定方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20221118BHJP

   G06T 7/00 20170101ALI20221118BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 350C

【請求項の数】 6

(21)【出願番号】P 2018229675

(22)【出願日】2018-12-07

(65)【公開番号】P2020091773

(43)【公開日】2020-06-11

【審査請求日】2021-09-24

(73)【特許権者】

【識別番号】000006666

【氏名又は名称】アズビル株式会社

(74)【代理人】

【識別番号】110003166

【氏名又は名称】弁理士法人山王内外特許事務所

(74)【代理人】

【識別番号】100101133

【弁理士】

【氏名又は名称】濱田 初音

(74)【代理人】

【識別番号】100199749

【弁理士】

【氏名又は名称】中島 成

(74)【代理人】

【識別番号】100188880

【弁理士】

【氏名又は名称】坂元 辰哉

(74)【代理人】

【識別番号】100197767

【弁理士】

【氏名又は名称】辻岡 将昭

(74)【代理人】

【識別番号】100201743

【弁理士】

【氏名又は名称】井上 和真

(72)【発明者】

【氏名】山中 將暢

(72)【発明者】

【氏名】田中 雅人

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０１８－０８８９７９（ＪＰ，Ａ）

【文献】特開２０１６－１４７３３０（ＪＰ，Ａ）

【文献】特開２０１５－１０６８４９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ａ６３Ｂ ６９／００

(57)【特許請求の範囲】

【請求項1】

搬送路により供給された物体に対して作業を行うロボットシステムに設けられる安定度判定装置であって、
供給される物体毎に得られる画像から複数の物体の位置及び姿勢のうちの少なくとも一方である位置姿勢を推定し、複数の物体毎に対応する複数の推定結果から物体の位置姿勢の安定度を評価するための指標を取得する指標取得部と、
前記指標取得部により取得された指標から、物体の位置姿勢の安定度を算出する安定度算出部と、
前記安定度算出部により算出された安定度を示す情報を提示する安定度提示部とを備え、
前記指標取得部は、
画像を取得する画像取得部と、
前記画像取得部により取得された画像から、物体を示す領域である物体領域を抽出する領域抽出部と、
前記領域抽出部により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体の位置及び再現性のある一意の方向に基づく当該物体の姿勢のうちの少なくとも一方を推定する位置姿勢推定部と、
前記位置姿勢推定部による複数の推定結果から、物体の位置姿勢の安定度を評価するための指標を算出する指標算出部とを有し、
前記領域抽出部は、閾値処理によって画像から前記搬送路を示す領域を抽出し、当該領域に対して領域の穴埋めを行った領域を抽出し、両領域の差分をとることで物体領域を抽出する
ことを特徴とする安定度判定装置。

【請求項2】

前記指標算出部は、物体の位置の安定度を評価するための指標として、物体毎の位置と基準位置との間の距離である乖離距離の平均値、及び、複数の物体の位置の分散のうちの少なくとも一方を算出する
ことを特徴とする請求項１記載の安定度判定装置。

【請求項3】

前記指標算出部は、物体の姿勢の安定度を評価するための指標として、物体毎の姿勢を示す方向と基準方向との間の角度である乖離角度の平均値、及び、複数の物体の姿勢を示す方向の分散のうちの少なくとも一方を算出する
ことを特徴とする請求項１記載の安定度判定装置。

【請求項4】

前記安定度算出部は、前記指標取得部により取得された指標に係数を乗じた多項式によって安定度を算出する
ことを特徴とする請求項１から請求項３のうちの何れか１項記載の安定度判定装置。

【請求項5】

前記安定度算出部は、機械学習を行った学習済みの学習器を用いて安定度を算出する
ことを特徴とする請求項１から請求項３のうちの何れか１項記載の安定度判定装置。

【請求項6】

搬送路により供給された物体に対して作業を行うロボットシステムに設けられる安定度判定装置による安定度判定方法であって、
指標取得部が、供給される物体毎に得られる画像から複数の物体の位置及び姿勢のうちの少なくとも一方である位置姿勢を推定し、複数の物体毎に対応する複数の推定結果から物体の位置姿勢の安定度を評価するための指標を取得するステップと、
安定度算出部が、前記指標取得部により取得された指標から、物体の位置姿勢の安定度を算出するステップと、
安定度提示部が、前記安定度算出部により算出された安定度を示す情報を提示するステップとを有し、
前記指標取得部は、
画像を取得する画像取得部と、
前記画像取得部により取得された画像から、物体を示す領域である物体領域を抽出する領域抽出部と、
前記領域抽出部により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体の位置及び再現性のある一意の方向に基づく当該物体の姿勢のうちの少なくとも一方を推定する位置姿勢推定部と、
前記位置姿勢推定部による複数の推定結果から、物体の位置姿勢の安定度を評価するための指標を算出する指標算出部とを有し、
前記領域抽出部は、閾値処理によって画像から前記搬送路を示す領域を抽出し、当該領域に対して領域の穴埋めを行った領域を抽出し、両領域の差分をとることで物体領域を抽出する
ことを特徴とする安定度判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、物体の位置姿勢の安定度を判定する安定度判定装置及び安定度判定方法に関する。

【背景技術】

【0002】

従来から、テンプレートマッチングという手法を用いて、画像から、対象である物体の位置（ｘ、ｙ）及び姿勢（θ）を推定する２次元位置姿勢推定装置が知られている（例えば特許文献１参照）。この２次元位置姿勢推定装置では、物体のモデル（テンプレート）を予め登録し、画像とテンプレートとの間の画像特徴の一致度を評価することで、画像上での物体の位置及び姿勢を推定する。
そして、ロボットシステムでは、２次元位置姿勢推定装置により推定された物体の位置及び姿勢に基づいて、コンベア等の搬送路により供給された物体に対して各種作業を行う。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－２０７１４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一方、搬送路への物体の供給は、例えば箱詰めで送られた物体を作業員が手で搬送路に移すことで行う場合が多い。この場合、物体の位置及び姿勢にバラつきが生じる。
これに対し、上記のロボットシステムでは、物体の位置及び姿勢の多少のバラつきに対してロバストな動作が可能である。一方で、徹底的な合理化を促進するためには、物体の位置姿勢の安定度を検出し、物体の位置姿勢のバラつきを可能な限り少なくすることが望ましい。なお、物体の位置姿勢とは、物体の位置及び姿勢のうちの少なくとも一方を意味する。

【0005】

この発明は、上記のような課題を解決するためになされたもので、物体の位置姿勢の安定度を判定可能な安定度判定装置を提供することを目的としている。

【課題を解決するための手段】

【0006】

この発明に係る安定度判定装置は、搬送路により供給された物体に対して作業を行うロボットシステムに設けられる安定度判定装置であって、供給される物体毎に得られる画像から複数の物体の位置及び姿勢のうちの少なくとも一方である位置姿勢を推定し、複数の物体毎に対応する複数の推定結果から物体の位置姿勢の安定度を評価するための指標を取得する指標取得部と、指標取得部により取得された指標から、物体の位置姿勢の安定度を算出する安定度算出部と、安定度算出部により算出された安定度を示す情報を提示する安定度提示部とを備え、指標取得部は、画像を取得する画像取得部と、画像取得部により取得された画像から、物体を示す領域である物体領域を抽出する領域抽出部と、領域抽出部により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体の位置及び再現性のある一意の方向に基づく当該物体の姿勢のうちの少なくとも一方を推定する位置姿勢推定部と、位置姿勢推定部による複数の推定結果から、物体の位置姿勢の安定度を評価するための指標を算出する指標算出部とを有し、領域抽出部は、閾値処理によって画像から搬送路を示す領域を抽出し、当該領域に対して領域の穴埋めを行った領域を抽出し、両領域の差分をとることで物体領域を抽出することを特徴とする。

【発明の効果】

【0007】

この発明によれば、上記のように構成したので、物体の位置姿勢の安定度を判定可能である。

【図面の簡単な説明】

【0008】

【図1】実施の形態１に係る安定度判定装置を備えロボットピッキングシステムの構成例を示す図である。

【図2】実施の形態１に係る安定度判定装置の構成例を示す図である。

【図3】実施の形態１に係る安定度判定装置の動作例を示すフローチャートである。

【図4】実施の形態１における画像取得部により取得された画像の一例を示す図である。

【図5】図５Ａ～図５Ｃは、実施の形態１における領域抽出部による動作を説明するための図である。

【図6】図６Ａ、図６Ｂは、実施の形態１における位置推定部及び姿勢推定部による動作を説明するための図である。

【図7】実施の形態１における位置指標算出部により算出される指標を説明するための図である。

【図8】実施の形態１における姿勢指標算出部により算出される指標を説明するための図である。

【発明を実施するための形態】

【0009】

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１は実施の形態１に係る安定度判定装置３を備えたロボットピッキングシステムの構成例を示す図である。
安定度判定装置３は、例えば、ＦＡ（ファクトリーオートメーション）等における物体１１のピッキング動作等の各種作業を行うロボットシステムに設けられる。以下では、一例として、安定度判定装置３をロボットピッキングシステムに搭載した場合を示す。

【0010】

ロボットピッキングシステムは、例えば、工場の生産ライン等に配置され、搬送路１２により供給された物体１１のピッキングを行う。なお、搬送路１２により供給される物体１１は重ならずに配置されているものとする。このロボットピッキングシステムは、図１に示すように、ロボット１、カメラ（撮像装置）２及び安定度判定装置３を備えている。

【0011】

ロボット１は、アームの先端にエンドエフェクタ１０１（図１ではハンド）を有し、このエンドエフェクタ１０１を用いて物体１１のピッキングを行う。

【0012】

カメラ２は、例えばエンドエフェクタ１０１に取付けられ、撮像領域を撮像して画像を得る。このカメラ２により得られた画像を示すデータ（画像データ）は安定度判定装置３に出力される。また、カメラ２の取付け位置は、エンドエフェクタ１０１に限られない。
なお、カメラ２により得られる画像は、撮像領域に物体１１が存在する場合に、その物体１１を示す領域（物体領域）とその他の領域（背景領域）とを判別可能な画像であればよく、その形式は問わない。カメラ２は、例えば２次元画像を得てもよい。この２次元画像としては、一般的にはカラー又はモノクロの可視画像が挙げられるが、これに限らず、可視画像では上記の判別が容易ではない場合には、近赤外線画像又はマルチスペクトル画像等の特殊な２次元画像を用いてもよい。また、カメラ２は、物体１１にある程度の奥行きがある場合には、距離画像を得てもよい。

【0013】

安定度判定装置３は、カメラ２により得られた複数の画像から、搬送路１２により供給される物体１１の位置姿勢の安定度を判定する。この安定度判定装置３は、図２に示すように、指標取得部３０１、安定度算出部３０２及び安定度提示部３０３を備えている。なお、安定度判定装置３は、システムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路、又はメモリ等に記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により実現される。

【0014】

指標取得部３０１は、カメラ２により得られた複数の画像から複数の物体１１の位置姿勢を推定し、推定結果から物体１１の位置姿勢の安定度を評価するための指標を取得する。この指標取得部３０１は、図２に示すように、画像取得部３０４、領域抽出部３０５、位置推定部３０６、姿勢推定部３０７、位置指標算出部３０８及び姿勢指標算出部３０９を有している。

【0015】

画像取得部３０４は、カメラ２により得られた画像を取得する。

【0016】

領域抽出部３０５は、画像取得部３０４により取得された画像から、画像処理によって物体領域を抽出する。すなわち、領域抽出部３０５は、上記画像から、コントラストの変化の度合いに基づいて、物体領域を抽出する。領域抽出部３０５による物体領域の抽出手法としては、例えば閾値処理又は背景差分法等が考えられるが、物体領域と背景領域とを判別して物体領域を抽出可能な手法であれば特に制限はない。

【0017】

位置推定部３０６は、領域抽出部３０５により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体１１の位置を推定する。なお、領域抽出部３０５により抽出された物体領域に基づく領域は、当該物体領域、当該物体領域を凸包した領域、当該物体領域を幾何学形状で近似した領域、当該物体領域を幾何学形状で包含した最小の領域、又は、当該物体領域を幾何学形状で外接した最小の領域のうちの１つ以上の領域を含む。幾何学形状としては、矩形又は楕円等が挙げられる。また、再現性のある一意の点とは、物体１１の姿勢に依存せずに一意に定まる点である。
位置推定部３０６は、例えば、再現性のある一意の点として領域抽出部３０５により抽出された物体領域に基づく領域の図心を用い、当該図心と任意に設定した画像上の基準点との相対関係に基づいて物体１１の位置を推定する。画像上の基準点としては、例えば画像の中心点が挙げられる。

【0018】

姿勢推定部３０７は、領域抽出部３０５により抽出された物体領域に基づく領域から、再現性のある一意の方向に基づく物体１１の姿勢を推定する。
姿勢推定部３０７は、例えば、再現性のある一意の方向として領域抽出部３０５により抽出された物体領域に基づく領域の長軸方向を用い、当該長軸方向と任意に設定した基準方向との相対関係に基づいて、物体１１の姿勢を推定する。基準方向としては、例えば画像の水平方向が挙げられる。

【0019】

なお図２では、指標取得部３０１が、位置推定部３０６及び姿勢推定部３０７の両方を有する場合を示した。しかしながら、これに限らず、指標取得部３０１は、位置推定部３０６及び姿勢推定部３０７のうちの少なくとも一方を有していればよい。

【0020】

また、位置推定部３０６及び姿勢推定部３０７は、「領域抽出部３０５により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体１１の位置及び再現性のある一意の方向に基づく物体１１の姿勢のうちの少なくとも一方を推定する位置姿勢推定部」を構成する。

【0021】

位置指標算出部３０８は、位置推定部３０６による複数の推定結果から、物体１１の位置の安定度を評価するための指標を算出する。位置指標算出部３０８は、上記指標として、例えば、物体１１毎の乖離距離の平均値及び複数の物体１１の位置の分散のうちの少なくとも一方を算出する。乖離距離は、物体１１の位置と基準位置との間の距離である。基準位置としては、例えば基準となる図心（基準図心）が用いられる。

【0022】

なお、指標取得部３０１が位置推定部３０６を有していない場合には、位置指標算出部３０８は不要である。

【0023】

姿勢指標算出部３０９は、姿勢推定部３０７による複数の推定結果から、物体１１の姿勢の安定度を評価するための指標を算出する。姿勢指標算出部３０９は、上記指標として、例えば、物体１１毎の乖離角度の平均値及び複数の物体１１の姿勢を示す方向の分散のうちの少なくとも一方を算出する。乖離角度は、物体１１の姿勢を示す方向と基準方向との間の角度である。基準方向としては、例えば基準となる長軸方向（基準長軸方向）が用いられる。

【0024】

なお、指標取得部３０１が姿勢推定部３０７を有していない場合には、姿勢指標算出部３０９は不要である。

【0025】

また、位置指標算出部３０８及び姿勢指標算出部３０９は、「位置姿勢推定部による複数の推定結果から、物体１１の位置姿勢の安定度を評価するための指標を算出する指標算出部」を構成する。

【0026】

なお、指標取得部３０１は、取得する指標として、物体１１の位置の安定度を評価するための指標及び物体１１の姿勢の安定度を評価するための指標に加え、更に別の指標を含めてもよい。例えば、指標取得部３０１は、取得する指標として、物体１１の３次元的な向きの安定度を評価するための指標を含めてもよい。すなわち、指標取得部３０１は、領域抽出部３０５により抽出された物体領域に基づく領域が、搬送路１２に物体１１が正しい向きに置かれた場合での物体領域に基づく領域のサイズに対して大きく異なる場合、搬送路１２に置かれた向きが異なると判定でき、その判定結果から指標を得てもよい。

【0027】

安定度算出部３０２は、指標取得部３０１により取得された指標から、搬送路１２により供給される物体１１の位置姿勢の安定度を算出する。
なお、安定度算出部３０２は、例えば、指標取得部３０１により取得された指標に係数を乗じた多項式によって安定度を算出する。又は、安定度算出部３０２は、機械学習を行った学習済みの学習器を用いて安定度を算出する。

【0028】

安定度提示部３０３は、安定度算出部３０２により算出された安定度を示す情報を、モニタ（不図示）に提示する。

【0029】

次に、図２に示す安定度判定装置３の動作例について、図３を参照しながら説明する。
一般的に、物体１１の姿勢を表現する場合、オイラー角（α，β，γ）及び四元数（ｗ，ｘ，ｙ，ｚ）に代表されるように、ある基準からの回転量（角度）で表現する場合が多い。この場合、物体１１自体はその基準を持っていないため、ユーザは、任意に基準を設定する必要がある。また、基準の設定に関しては特に制限はない。よって、姿勢推定部３０７は、物体領域に基づく領域から再現性のある一意の方向を導出することで、基準となるテンプレートを用いずに物体１１の姿勢が表現可能である。
また、画像上で物体１１の姿勢を表現する場合、主にＺ軸（カメラ２の光軸方向）周りの回転量で表現する場合が多い。よって、Ｚ軸周りに回転対称な形状を有する物体１１に対しては、姿勢の表現が不可能（不必要）である。このことから、画像上での姿勢推定が必要な物体１１は、形状に何らかの幾何学的特徴を有するものに限定される。そして、物体１１として形状に何らかの幾何学的特徴を有するものを想定した場合、その物体領域に基づく領域の長軸方向は一意に定まる。そこで、以下では、姿勢推定部３０７は長軸方向を用いることで物体１１の姿勢を表現する。
また、物体１１の位置に関しても同様であり、位置推定部３０６は、物体領域に基づく領域から再現性のある一意の点を導出することで、基準となるテンプレートを用いずに物体１１の位置を表現可能となる。また、物体領域に基づく領域の図心は一意に定まる特徴点であるため、以下では、位置推定部３０６は図心を用いることで物体１１の位置を表現する。

【0030】

そして、実施の形態１に係る安定度判定装置３では、上記のように表現された物体１１の位置姿勢を入力情報として用いることで、搬送路１２により供給される物体１１の位置姿勢の安定度を判定する。

【0031】

この実施の形態１に係る安定度判定装置３の動作例では、図３に示すように、まず、画像取得部３０４は、カメラ２により得られた画像を取得する（ステップＳＴ１）。

【0032】

次いで、領域抽出部３０５は、画像取得部３０４により取得された画像から、画像処理によって物体領域を抽出する（ステップＳＴ２）。ここでは、領域抽出部３０５は、閾値処理によって画像から物体領域を抽出するものとする。画像取得部３０４により例えば図４に示すような画像が取得されたとする。この画像には、物体１１、搬送路１２及びその他の背景が含まれている。実施の形態１に係る安定度判定装置３では、テンプレートを用意しないため、画像から物体領域を直接抽出することは容易ではない。そこで、領域抽出部３０５は、まず、例えば図５Ａに示すように、閾値処理によって画像から搬送路１２を示す領域（図５Ａに示すグレーの領域）５０１を抽出することが望ましい。そして、領域抽出部３０５は、搬送路１２を示す領域５０１と、当該領域に対してクロージング処理等で領域の穴埋めを行った領域（図５Ｂに示すグレーの領域）５０２との差分をとることで、物体領域（図５Ｃに示すグレーの領域）５０３が抽出可能である。

【0033】

次いで、位置推定部３０６は、領域抽出部３０５により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体１１の位置を推定する（ステップＳＴ３）。ここでは、位置推定部３０６は、再現性のある一意の点として上記領域の図心を用い、当該図心と任意に設定した画像上の基準点との相対関係に基づいて物体１１の位置を推定する。

【0034】

具体的には、位置推定部３０６は、まず、再現性のある一意の点として領域抽出部３０５により抽出された物体領域に基づく領域の図心を導出する。ここで、上記領域を構成する点の座標が（ｕ_ｉ，ｖ_ｉ）（ｉ，ｊ＝１，・・・，Ｎ）で表される場合、位置推定部３０６は、当該領域の０次モーメント及び１次モーメントを用いて、下式（１）～（４）から、当該領域の図心を導出する。なお、Ｎは上記領域を構成する点の個数である。また、式（１）～（４）において、ｍ_００は上記領域の０次モーメントを表し、（ｍ_１０，ｍ_０１）は当該領域の１次モーメントを表し、（ｕ（バー），ｖ（バー））は当該領域の図心を表す。

【0035】

そして、位置推定部３０６は、導出した領域の図心及び基準点に基づいて、下式（５）から物体１１の位置を推定する。なお、式（５）において、（ｕ_０，ｖ_０）は基準点を表し、（ｘ，ｙ）は物体１１の位置を表す。

【0036】

また、姿勢推定部３０７は、領域抽出部３０５により抽出された物体領域に基づく領域から、再現性のある一意の方向に基づく物体１１の姿勢を推定する（ステップＳＴ４）。ここでは、姿勢推定部３０７は、再現性のある一意の方向として上記領域の長軸方向を用い、当該長軸方向と任意に設定した基準方向との相対関係に基づいて物体１１の姿勢を推定する。

【0037】

具体的には、基準方向が画像上の水平方向である場合、姿勢推定部３０７は、上記領域の２次モーメント及び当該領域の図心に基づいて、下式（６）～（９）から、長軸方向の水平方向からの回転角度を導出することで物体１１の姿勢を推定する。式（６）～（９）において、（ｍ_２０，ｍ_０２，ｍ_１１）は上記領域の２次モーメントを表し、θは回転角度を表す。

【0038】

例えば、領域抽出部３０５が図５Ｃに示すような物体領域５０３を抽出したとする。また、位置推定部３０６及び姿勢推定部３０７が用いる領域が、図６Ａに示すように物体領域５０３を包含する最小の矩形領域６０１であるとする。この場合、位置推定部３０６により導出される図心６０２及び姿勢推定部３０７により導出される長軸方向６０３は図６Ｂに示すようになる。

【0039】

また、位置推定部３０６は、例えば図５Ｃに示す物体領域５０３及び図６Ａに示す矩形領域６０１等のように複数の領域を用いてそれぞれに対して物体１１の位置の推定を行い、それらの推定結果に基づいて物体１１の位置を推定してもよい。これにより、位置推定部３０６は、位置推定の精度の向上を図ることができる。姿勢推定部３０７についても同様である。

【0040】

また上記では、位置推定部３０６が、上記領域の図心を導出する場合を示した。しかしながら、これに限らず、位置推定部３０６は、例えば上記領域の外郭の特徴点（例えば図５Ｃに示す物体領域の直角部分５０４）を用いて、物体１１の位置を推定してもよい。
また上記では、姿勢推定部３０７が、上記領域の長軸方向を導出する場合を示した。しかしながら、これに限らず、姿勢推定部３０７は、例えば、上記領域の図心と当該領域の外郭の特徴点とを結ぶ線分を用いて、物体１１の姿勢を推定してもよい。

【0041】

なお、ステップＳＴ１～ＳＴ４までの処理は、カメラ２から指標取得部３０１に画像データが入力される度に実施される。

【0042】

次いで、位置指標算出部３０８は、位置推定部３０６による複数の推定結果から、物体１１の位置の安定度を評価するための指標を算出する（ステップＳＴ５）。すなわち、位置指標算出部３０８は、まず、位置推定部３０６により推定された複数の物体１１の位置（図心）を取得する。そして、図７に示すように、位置指標算出部３０８は、この位置（図心）から、物体１１毎の乖離距離の平均値又は複数の物体１１の位置の分散等を算出する。図７において、黒三角は位置推定部３０６により推定された位置を示し、黒丸は基準位置（基準図心）を示している。また図７において、符号７０１はある物体１１での乖離距離を示し、符号７０２，７０３は複数の物体１１の位置のｘ軸方向及びｙ軸方向の分散を示している。

【0043】

ロボットシステムでは、ロボット１を撮像位置に移動して物体１１の位置を自動認識した後に、その認識結果に基づいてロボット１を作業位置に移動する。この際、搬送路１２により供給される物体１１が、カメラ２による撮像領域内の基準位置付近に位置していれば、ロボット１が物体１１を認識不能（発見不可）となる認識ミスは発生しない。よって、位置指標算出部３０８により算出される指標は、物体１１の供給状態が良好であり安定していることを評価するための因子として技術的な意義がある。なお、カメラ２の撮像領域は光軸を中心に決まるため、基準位置として、例えばカメラ２により得られる画像の中心点（カメラ２の光軸延長上の座標）等を用いる。

【0044】

また、姿勢指標算出部３０９は、姿勢推定部３０７による複数の推定結果から、物体１１の姿勢の安定度を評価するための指標を算出する（ステップＳＴ６）。すなわち、姿勢指標算出部３０９は、まず、姿勢推定部３０７により推定された複数の物体１１の姿勢を示す方向を取得する。そして、図８に示すように、姿勢指標算出部３０９は、この姿勢を示す方向から、物体１１毎の乖離角度の平均値又は複数の物体１１の姿勢を示す方向の分散等を算出する。図８において、実線は姿勢推定部３０７により推定された姿勢を示す方向を示し、破線は基準方向を示している。また図８において、符号８０１はある物体１１での乖離角度を示し、符号８０２は複数の物体１１の姿勢を示す方向の分散を示している。

【0045】

ロボットシステムが物体１１の方向を自動認識して作業方向にロボット１を回転させる場合に、推奨方向があるとすれば、その推奨方向を基準方向として予め規定することが合理的である。推奨方向としては、例えば、照明光の都合で物体１１を認識し易い方向又はロボット１の回転量が少ない方向が挙げられる。よって、姿勢指標算出部３０９により算出される指標は、物体１１の供給状態が良好であり安定していることを評価するための因子として技術的な意義がある。

【0046】

次いで、安定度算出部３０２は、指標取得部３０１により取得された指標から、搬送路１２により供給される物体１１の位置姿勢の安定度を算出する（ステップＳＴ７）。

【0047】

安定度は、基本的に、物体１１毎の乖離距離の平均値、複数の物体１１の位置の分散、物体１１毎の乖離角度の平均値及び複数の物体１１の姿勢を示す方向の分散のうちの何れか１つを用いれば成り立ち、また、これらと等価な技術的な意義を有する指標を用いてもよい。

【0048】

なお、物体１１毎の乖離距離の平均値、複数の物体１１の位置の分散、物体１１毎の乖離角度の平均値及び複数の物体１１の姿勢を示す方向の分散は、数値が小さい程（０．０に近づく程）、安定度が高くなる。そこで、安定度算出部３０２は、例えば下式（１０）又は下式（１１）のような多項式を用いて安定度を算出してもよい。なお、式（１０），（１１）において、Ｘは物体１１毎の乖離距離の平均値を示し、Ｙは複数の物体１１の位置の分散を示し、Ｚは物体１１毎の乖離角度の平均値を示し、Ｗは複数の物体１１の姿勢を示す方向の分散を示している。また、Ａ，Ｂ，Ｃ，Ｄは係数であり、Ａ≦０．０であり、Ｂ≦０．０であり、Ｃ≦０．０であり、Ｄ≦０．０である。また、Ａ，Ｂ，Ｃ，Ｄは、オペレータの経験又は実験データに基づく統計処理（回帰分析）等により決定される。
Ｆ＝ＡＸ＋ＢＹ＋ＣＺ＋ＤＷ（１０）
Ｆ＝ＡＸ^２＋ＢＹ^２＋ＣＺ^２＋ＤＷ^２ （１１）

【0049】

また、安定度としては、物体１１毎の乖離距離の平均値、複数の物体１１の位置の分散、物体１１毎の乖離角度の平均値及び複数の物体１１の姿勢を示す方向の分散以外にも、物体１１の位置姿勢の安定度の評価因子として技術的な意義のある指標を取り込むことが可能である。この場合、回帰分析等で得られる多項式では不十分になるくらいに、安定度との関係が複雑になる可能性がある。よって、安定度算出部３０２は、ディープラーニング等のＡＩ（人工知能）によって機械学習を行った学習済みの学習器を用いて安定度を算出してもよい。

【0050】

次いで、安定度提示部３０３は、安定度算出部３０２により算出された安定度を示す情報をモニタに提示する（ステップＳＴ８）。

【0051】

ここで、上述したように、例えば箱詰めで送られる物体１１を作業員が手で搬送路１２に移す作業が行なわれている場合、搬送路１２に移された物体１１の位置及び姿勢にバラつきが生じる。このバラつきの要因としては、例えば作業員の疲労及び熟練度が挙げられる。そして、このバラつきによってロボット１が物体１１の位置及び姿勢を自動認識できない場合、生産ラインを一旦停止せざるを得ない。そこで、実施の形態１では、安定度判定装置３が物体１１の位置姿勢の安定度を判定する。これにより、生産ラインの監督者は、物体１１の位置姿勢の安定度から物体１１を搬送路１２に移す作業を行う作業員の状態を判定可能となる。そして、監督者は、例えば、物体１１の位置姿勢にバラつきが生じ易い作業員に対する注意喚起又は作業員の配置変更を行う。その結果、生産ラインにおいて協働する作業員を効率よく配置可能となり、また、生産ラインが一時停止する時間を合理的に削減可能となる。

【0052】

以上のように、この実施の形態１によれば、安定度判定装置３は、複数の画像から複数の物体１１の位置及び姿勢のうちの少なくとも一方である位置姿勢を推定し、推定結果から物体１１の位置姿勢の安定度を評価するための指標を取得する指標取得部３０１と、指標取得部３０１により取得された指標から、物体１１の位置姿勢の安定度を算出する安定度算出部３０２と、安定度算出部３０２により算出された安定度を示す情報を提示する安定度提示部３０３とを備えた。これにより、実施の形態１に係る安定度判定装置３は、物体１１の位置姿勢の安定度を判定可能である。

【0053】

また、実施の形態１における指標取得部３０１は、画像を取得する画像取得部３０４と、画像取得部３０４により取得された画像から、物体１１を示す領域である物体領域を抽出する領域抽出部３０５と、領域抽出部３０５により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体１１の位置及び再現性のある一意の方向に基づく当該物体１１の姿勢のうちの少なくとも一方を推定する位置姿勢推定部と、位置姿勢推定部による複数の推定結果から、物体１１の位置姿勢の安定度を評価するための指標を算出する指標算出部とを有する。これにより、実施の形態１における指標取得部３０１は、テンプレートを用いずに多様な物体１１に対して画像上での位置姿勢が検出可能となり、その位置姿勢から上記指標を算出可能となる。

【0054】

なお上記では、指標取得部３０１は、テンプレートを用いずに物体１１の位置姿勢を検出する場合を示した。しかしながら、これに限らず、指標取得部３０１は、テンプレートを用いて物体１１の位置姿勢を検出してもよい。

【0055】

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、若しくは実施の形態の任意の構成要素の省略が可能である。

【符号の説明】

【0056】

１ ロボット
２ カメラ（撮像装置）
３ 安定度判定装置
１１ 物体
１２ 搬送路
１０１ エンドエフェクタ
３０１ 指標取得部
３０２ 安定度算出部
３０３ 安定度提示部
３０４ 画像取得部
３０５ 領域抽出部
３０６ 位置推定部
３０７ 姿勢推定部
３０８ 位置指標算出部
３０９ 姿勢指標算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】