特許 7688123 ワーク検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-26

(45)【発行日】2025-06-03

(54)【発明の名称】ワーク検出システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250527BHJP

   G06V 10/22 20220101ALI20250527BHJP

【ＦＩ】

G06T7/00 300D

G06V10/22

【請求項の数】 11

(21)【出願番号】P 2023525341

(86)(22)【出願日】2021-06-04

(86)【国際出願番号】 JP2021021454

(87)【国際公開番号】W WO2022254725

(87)【国際公開日】2022-12-08

【審査請求日】2024-01-12

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100165157

【弁理士】

【氏名又は名称】芝 哲央

(74)【代理人】

【識別番号】100160794

【弁理士】

【氏名又は名称】星野 寛明

(72)【発明者】

【氏名】和田 潤

【審査官】橋爪 正樹

(56)【参考文献】

【文献】特開２０１８－１４４１６３（ＪＰ，Ａ）

【文献】特開２０１８－１４４１６７（ＪＰ，Ａ）

【文献】特開２０１８－１９５０７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

視野内の物体の三次元形状を測定する三次元センサと、
三次元モデルの各視点における１又は複数の視認可能形状を探索目的形状とし、前記三次元センサが測定した前記三次元形状の中から前記探索目的形状と一致する一致部分形状を探索し、発見された１又は複数の前記一致部分形状を探索結果として出力する情報処理装置と、
を備え、
前記情報処理装置は、前記１又は複数の視認可能形状の中で、前記１又は複数の視認可能形状の全体の視線方向に垂直な面への投影面積に対する前記視認可能形状の平面領域の前記視線方向に垂直な面への投影面積の割合が所定の基準値より大きくなる前記視認可能形状を、その視点における前記探索目的形状から除外する、ワーク検出システム。

【請求項2】

視野内の物体の三次元形状を測定する三次元センサと、
三次元モデルの各視点における１又は複数の視認可能形状を探索目的形状とし、前記三次元センサが測定した前記三次元形状の中から前記探索目的形状と一致する一致部分形状を探索し、発見された１又は複数の前記一致部分形状を探索結果として出力する情報処理装置と、
を備え、
前記情報処理装置は、前記１又は複数の視認可能形状の中で、前記１又は複数の視認可能形状の全体の視線方向に垂直な面への投影面積に対する前記視認可能形状の平面領域の前記視線方向に垂直な面への投影面積の割合が所定の基準値より大きくなり、かつ前記視認可能形状の輪郭が前記視認可能形状の外縁における曲率及び前記視認可能形状の外縁近傍における視線方向位置の変化の少なくともいずれかについて予め定められる指標に基づいて明確でないと判定される前記視認可能形状を、その視点における前記探索目的形状から除外する、ワーク検出システム。

【請求項3】

前記視認可能形状の前記平面領域の前記視線方向に垂直な面への投影面積の割合は、１又は複数の前記平面領域の中で面積が最大の前記平面領域についてのみ算出される、請求項１又は２に記載のワーク検出システム。

【請求項4】

前記情報処理装置は、前記探索目的形状から除外する前記視認可能形状についての情報を出力可能に構成される、請求項１から３のいずれかに記載のワーク検出システム。

【請求項5】

視野内の物体の三次元形状を測定する三次元センサと、
三次元モデルの各視点における１又は複数の視認可能形状を探索目的形状とし、前記三次元センサが測定した前記三次元形状の中から前記探索目的形状と一致する一致部分形状を探索し、発見された１又は複数の前記一致部分形状を探索結果として出力する情報処理装置と、
を備え、
前記情報処理装置は、前記探索目的形状と一致した前記１又は複数の前記一致部分形状の中で、前記１又は複数の前記一致部分形状の全体の視線方向に垂直な面への投影面積に対する前記一致部分形状の平面領域の前記視線方向に垂直な面への投影面積の割合が所定の基準値より大きい前記一致部分形状を、その視点における前記探索結果から除外する結果除外処理部を有する、ワーク検出システム。

【請求項6】

視野内の物体の三次元形状を測定する三次元センサと、
三次元モデルの各視点における１又は複数の視認可能形状を探索目的形状とし、前記三次元センサが測定した前記三次元形状の中から前記探索目的形状と一致する一致部分形状を探索し、発見された１又は複数の前記一致部分形状を探索結果として出力する情報処理装置と、
を備え、
前記情報処理装置は、前記探索目的形状と一致した前記１又は複数の前記一致部分形状の中で、前記１又は複数の前記一致部分形状の全体の視線方向に垂直な面への投影面積に対する前記一致部分形状の平面領域の前記視線方向に垂直な面への投影面積の割合が所定の基準値より大きく、かつその輪郭領域の前記探索目的形状との一致度が基準値に満たない前記一致部分形状を、その視点における前記探索結果から除外する結果除外処理部を有する、ワーク検出システム。

【請求項7】

前記一致部分形状の前記平面領域の前記視線方向に垂直な面への投影面積の割合は、面積が最大の前記平面領域についてのみ算出される、請求項５又は６に記載のワーク検出システム。

【請求項8】

前記結果除外処理部は、前記探索結果から除外した前記一致部分形状についての情報を出力可能に構成される、請求項５から７のいずれかに記載のワーク検出システム。

【請求項9】

視野内の物体の三次元形状を測定する三次元センサと、
三次元モデルの各視点における１又は複数の視認可能形状を探索目的形状とし、前記三次元センサが測定した前記三次元形状の中から前記探索目的形状と一致する一致部分形状を探索し、発見された１又は複数の前記一致部分形状を探索結果として出力する情報処理装置と、
を備え、
前記情報処理装置は、前記三次元モデルの形状が単位形状を対称軸の周りに複数有する場合、互いに対称な複数の前記単位形状のうちの１つだけを残して他の前記単位形状を前記探索目的形状の前記視認可能形状から除外する単位形状除外処理部を有する、ワーク検出システム。

【請求項10】

前記単位形状除外処理部は、前記三次元モデルの全体形状を表示するとともに、前記対称軸を含む２つの平面をユーザが前記対称軸の周りに回転可能表示し、前記２つの平面の一方と前記三次元モデルとの交点を前記単位形状の始点、前記２つの平面の他方と前記三次元モデルとの交点を前記単位形状の終点とするよう構成される、請求項９に記載のワーク検出システム。

【請求項11】

三次元モデルの各視点における１又は複数の視認可能形状を探索目的形状とし、三次元センサが測定した三次元形状の中から前記探索目的形状と一致する一致部分形状を探索するマッチング処理部と、
前記１又は複数の視認可能形状の中で、前記１又は複数の視認可能形状の視線方向に垂直な面への投影面積に対する前記視認可能形状の前記視線方向に垂直な面への投影面積の割合が所定の基準値より大きくなる前記視認可能形状を、その視点における前記探索目的形状から除外する視点除外処理部と、
発見された１又は複数の前記一致部分形状を探索結果として出力する検出結果出力部と、
を備える情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ワーク検出システムに関する。

【背景技術】

【0002】

例えばランダムに供給されるワークを取り出すロボットハンドリングシステム等において、三次元センサを用いて対象領域の三次元形状を取得し、三次元モデルと形状が一致する一致部分形状を特定するマッチング処理により、ワークの位置及び向きを特定するワーク検出システムが利用されている。

【0003】

このような三次元形状のマッチング処理は、演算負荷が非常に大きく、高性能な演算装置を用いなければ処理に時間がかかるおそれがある。そこで、対象の三次元形状の中から平面部分を抽出し、抽出した平面部分の形状をワークの平面の形状との一致度を確認することで、ワークを検出することが提案されている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－９７８８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

三次元モデルの探索目的形状の特徴が乏しい場合又は不適切な場合、誤った一致部分形状を探索結果として出力することがある。また、特徴が乏しい探索目的形状又は不適切な探索目的形状を用いて誤った一致部分形状を探索結果として計算した場合、この探索結果はその後の処理に活用できないため、結果として、無駄な処理時間を要してしまうことになる。また、三次元センサの計測の誤りや計測漏れ、探索目的形状やその特徴の状態等の単一又は複合的な要因により探索結果の一致部分形状の特徴が乏しい場合があり、その場合は誤った探索結果であることが多い。

【課題を解決するための手段】

【0006】

本開示の一態様に係るワーク検出システムは、視野内の物体の三次元形状を測定する三次元センサと、三次元モデルの各視点における視認可能形状を探索目的形状とし、前記三次元センサが測定した前記三次元形状の中から前記探索目的形状と一致する一致部分形状を探索し、発見された前記一致部分形状を探索結果として出力する情報処理装置と、を備え、前記情報処理装置は、予め設定される条件に基づいて、前記探索目的形状の一部又は探索結果の一部を除外する。

【発明の効果】

【0007】

本開示に係るワーク検出システムによれば、正確且つ迅速にワークを検出できる。

【図面の簡単な説明】

【0008】

【図1】本開示の第１実施形態に係るワーク検出システムの構成を示すブロック図である。

【図2】円柱状の三次元モデルの視認可能形状を示す模式図である。

【図3】図２の三次元モデルのＺ方向からの視認可能形状を示す模式図である。

【図4】図２の三次元モデルのＸ方向からの視認可能形状を示す模式図である。

【発明を実施するための形態】

【0009】

以下、本開示の実施形態について、図面を参照しながら説明する。図１は、本開示の第１実施形態に係るワーク検出システム１の構成を示すブロック図である。ワーク検出システム１は、ワークの位置及び姿勢を検出し、例えばロボット制御装置等にワークの位置及び姿勢を出力する。

【0010】

ワーク検出システム１は、視野内の物体の三次元形状を測定する三次元センサ１０と、予め設定される三次元モデルの各視点における視認可能形状を探索目的形状とし、三次元センサ１０が測定した三次元形状の中か探索目的形状と一致する一致部分形状を探索し、発見された一致部分形状を探索結果として出力する情報処理装置２０と、を備える。

【0011】

三次元センサ１０は、視野内に存在する物体（ワークだけでなく、ワーク以外の物品、ワーク等が載置されるテーブル、ベルトコンベア等を含み得る）までの距離をその視野における２次元位置つまり測定範囲の中心軸に垂直な平面方向の位置ごとに検出する。つまり、三次元センサ１０は、視野内の物体の三次元センサ１０から視認できる側の表面の三次元形状を測定する。三次元センサ１０としては、例えばステレオカメラ、レーザスキャナ等を用いることができる。測定した三次元形状は、例えば距離画像データ、点群データ等の３次元イメージを作成可能な情報として、情報処理装置２０に伝達される。

【0012】

情報処理装置２０は、予め設定される条件に基づいて、探索目的形状の一部又は探索結果の一部を除外する。探索目的形状の一部又は探索結果の一部の除外に関する条件としては、例えば、三次元モデルの視認可能形状又は測定結果の一致部分形状における平面領域の大きさ、三次元モデルの形状の対象性などが挙げられる。

【0013】

情報処理装置２０は、例えばメモリ、プロセッサ（ＣＰＵ）、入出力インターフェイス等を有するコンピュータ装置に適切な情報処理プログラムを実行させることにより実現できる。情報処理装置２０は、さらにディスプレイパネル等の表示装置、キーボード、タッチパッド等の入力装置などを備えてもよく、入出力インターフェイスを介して外部の表示装置を用いた情報表示及び外部の入力装置を用いた情報入力が可能に構成されてもよい。また、情報処理装置２０は、ワーク検出システム１を利用する例えばハンドリングシステム、加工システム等の設備全体を管理するコンピュータ装置又は設備内の他の構成要素を制御するコンピュータ装置と一体に構成されてもよい。

【0014】

具体的には、情報処理装置２０は、三次元モデル設定部２１、三次元形状取得部２２、マッチング処理部２３、検出結果出力部２４、視点除外処理部２５、単位形状除外処理部２６及び結果除外処理部２７を備える構成とされ得る。これらの構成要素は、情報処理装置２０の機能を類別したものであって、物理構成及びプログラム構成において明確に区別できるものでなくてもよい。

【0015】

三次元モデル設定部２１は、検出すべきワークの三次元形状を特定する三次元モデルを設定する。ワークの三次元モデルは、例えばＣＡＤデータ等によって特定され得る。このため、三次元モデル設定部２１は、ＣＡＤから通信又は記録媒体を介して三次元モデルの情報を取得するよう構成され得る。また、三次元モデル設定部２１は、三次元モデルをモデリング又は修正する機能を備えてもよい。

【0016】

三次元形状取得部２２は、三次元センサ１０が測定した三次元センサ１０の視野内の物体の三次元形状のデータを取得する。

【0017】

マッチング処理部２３は、三次元形状取得部２２が取得した三次元形状の中から、探索目的形状、つまり三次元モデル設定部２１に設定されたワークの三次元モデルの各視点における視認可能形状、つまり三次元モデルの表面形状のうち視点から視認可能な領域の形状と一致する一致部分形状を探索し、探索目的形状と一致する一致部分形状の位置及び向きを特定するマッチング処理を行う。例として、円柱状の三次元モデルの径方向から見た場合の視認可能形状は、ハーフパイプ状の曲面となる。

【0018】

マッチング処理は、三次元形状取得部２２が取得した三次元形状の所定の大きさの一致部分形状について探索目的形状との一致度を算出し、一致度が閾値を超える場合に探索目的形状と一致すると判断する演算を、三次元に走査するよう少しずつ位置をずらして繰り返し行う方法によって行われ得る。マッチング処理部２３は、探索処理により視認可能形状に一致する一致部分形状を発見した場合に、例えばＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズム等を用いて一致部分形状の位置及び向きを正確に特定してもよい。

【0019】

検出結果出力部２４は、マッチング処理部２３によって探索目的形状と一致すると判断された一致部分形状の位置及びその向きを探索結果としてロボット制御装置等に出力する。三次元形状取得部２２が取得した１つの三次元形状について、探索結果は、複数の一致部分形状を含み得る。また、探索結果は、一致部分形状が発見されなかった旨の情報を含み得る。検出結果出力部２４は、探索結果が得られたときに直ちに探索結果を出力するものに限られず、探索結果を記憶し、要求に応じて探索結果を出力するものであってもよい。

【0020】

視点除外処理部２５は、視認可能形状の全体の投影面積に対する平面領域の投影面積の割合が所定の基準値より大きくなる視点における視認可能形状を探索目的形状から除外する。平面領域は、完全な平面に限られず、例えば仮想平面からの離間距離が設定値以下である領域、曲率が設定値以上である領域等とすることができる。

【0021】

例として、図２に示すようにＸＹＺ空間（直交座標空間）にモデリングされたワークの三次元モデルがＺ方向に延びる円柱状である場合について考える。三次元モデルをＺ軸方向から見た場合、図３に示すように、平面である端面のみが視認可能である。この場合、視認可能形状の全体の投影面積に対する平面領域の投影面積の割合は１００％である。このため、この視点における視認可能形状は、探索目的形状から除外される。また、図４に示すようにＸ方向又はＸＹ平面に平行な任意の方向から三次元モデルを見た場合、その端面は視認できず、円筒面のみが視認されるので、完全な平面である領域の投影面積割合は０％である（上述の仮想平面からの離間距離等により定義される平面領域の投影面積は有値となり得る）。三次元モデルをＸＹ平面に対して傾斜する方向から見た場合、その傾斜角度に応じて、平面領域の投影面積割合が０％と１００％との間の値となる。視点除外処理部２５は、平面領域の投影面積の割合が基準値以上となる視点、つまり視線方向のＸＹ平面に対する傾斜角度が一定の角度以上となる視点における視認可能形状を探索目的形状から除外するよう構成され得る。

【0022】

視点除外処理部２５は、三次元モデルの視認可能形状における平面領域の投影面積の割合を、最大の平面についてのみ算出してもよい。視認可能形状が複数の平面領域を有する場合、三次元センサ１０の測定の誤りに複数の平面領域が存在し、かつこれらの複数の平面領域の位置関係が視認可能形状の複数の平面領域の位置関係に一致する可能性は極めて小さい。このため、最大の平面領域の投影面積の割合が基準値以上である視認可能形状だけを探索目的形状から除外すれば、実際に存在するワークを検出できる確率（検出率）を不必要に低下させることなく、処理速度を向上できる。

【0023】

視点除外処理部２５は、平面領域の投影面積の割合の基準値、平面と判断する指標（下層平面からの許容離間距離等）の設定値などをユーザが任意に設定できるインターフェイスを提供するよう構成されることが好ましい。この場合、ユーザが適切な設定を行いやすくするために、視点除外処理部２５は、探索目的形状から除外する視認可能形状についての情報を出力可能に構成されること、例えば画像、視点の座標位置、除外する視認可能形状の割合等をディスプレイ等に表示できるよう構成されることがより好ましい。

【0024】

また、視点除外処理部２５は、平面領域の投影面積の割合が所定の基準値より大きいことに加え、その視点における三次元モデルの視認可能形状の輪郭が明確でないものだけを探索目的形状から除外するよう構成されてもよい。視認可能形状の輪郭の明確性は、例えば視認可能形状の外縁における曲率、視認可能形状の外縁近傍における視線方向位置の変化などの予め定められる指標に基づいて判断することができる。視認可能形状の輪郭の明確性が高い場合、三次元センサ１０の測定結果において視認可能形状の外縁に対応する部分における測定誤差が小さくなるため、マッチング処理部２３における一致度の閾値を高く設定することができる。これにより、平面領域の測定誤差等により一致度が高くなったとしても、これを探索目的形状に一致するものとして誤検出することがないようにできるので、探索目的形状から除外しなくてもよい。

【0025】

例として、ワークの三次元モデルが正確な立方体である場合、最大の平面領域だけでも投影面積割合が１／３以上となる。しかながら、視認可能形状の外縁は、面と面の間の稜線であるため、視認可能形状の外縁近傍における曲率が無限大であり、視認可能形状の外縁近傍における視線方向位置の変化率が一定である。このような視認可能形状は、輪郭が明確であると評価することができるので、探索目的形状から除外しなくても誤検出の可能性は小さい。一方、ワークの三次元モデルが立方体の稜線及び角を丸く面取りした形状である場合、面取りの曲率が小さくなると、視認可能形状の外縁に対応する部分における測定誤差が大きくなる可能性があるため、一致度の閾値を高く設定することが好ましくない。このような三次元モデルでは、視認可能形状の外縁における曲率がある程度小さい値となり、視認可能形状の外縁近傍における視線方向位置の変化率が変化する（二階微分値が有値となる）。このため、このような視認可能形状の外縁又は外縁近傍の特徴を数値化した指標に基づいて、視認可能形状の輪郭が明確でないものを特定し、同時に平面領域の投影面積割合が大きいものだけを探索目的形状から除外する対象に加えることによって、検出処理を迅速化しつつ、検出率の確保と誤検出の抑制とを両立できる。

【0026】

単位形状除外処理部２６は、三次元モデルの形状が単位形状を対称軸の周りに複数有する場合、一部の単位形状を探索目的形状の視認可能形状から除外、典型的には、対称軸の周りに配置される互いに対称な複数の単位形状のうちの１つだけを残して他の単位形状を除外する。このように、視認可能形状から単位形状を除外して情報量を圧縮した探索目的形状を用いることにより、探索目的形状に一致する一致部分形状を発見するための演算負荷を抑制できる。また、重複する単位形状を削除することによって、同じ形状部分が始点の異なる複数の視認可能形状と重複して認識されることを防止できる。

【0027】

単位形状除外処理部２６は、対称軸を含む２つの平面により単位形状の始点及び終点をそれぞれユーザが指定可能に構成されることが好ましい。具体的には、単位形状除外処理部２６は、三次元モデルの全体形状を表示するとともに、単位形状の始点及び終点を示す２つの平面を表示し、ユーザが例えばドラッグ操作等により各平面を対称軸の周りに回転させられるユーザインターフェイスを提供するよう構成され得る。三次元モデルが例えば円柱のような回転体形状を有する場合、任意の数の単位形状に分割することができる。このため、単位形状の大きさを適切に選択することによって、十分な検出精度を確保しつつ、探索目的形状と一致する一致部分形状を迅速に検出できる。

【0028】

結果除外処理部２７は、探索目的形状と一致した一致部分形状の中で、一致部分形状の全体の投影面積に対する平面領域の投影面積の割合が所定の基準値より大きい一致部分形状を探索結果から除外する。つまり、結果除外処理部２７は、マッチング処理部２３が探索目的形状と一致すると判断した一致部分の形状を再確認し、平面領域の投影面積割合が大きい場合にはこれを探索結果から除外する。このため、検出結果出力部３４は、結果除外処理部２７が除外しなかった探索結果のみを最終的な検出結果として出力する。

【0029】

例として、角柱状の物体が存在する場合、三次元センサ１０が物体の形状を正しく測定できなかったためにマッチング処理部２３が円柱状の三次元モデルの視認可能形状と一致すると判定したときであっても、平面領域の投影面積割合は円柱状のワークを測定した場合と比べて有意に大きくなり得る。このため、結果除外処理部２７によって平面領域の投影面積割合が大きい一致部分形状を探索結果から除外することで誤検出を防止できる。なお、結果除外処理部２７においても、視点除外処理部２５と同様に、平面領域の投影面積の割合を最大の平面についてのみ算出してもよい。

【0030】

結果除外処理部２７は、平面領域の投影面積が大きい一致部分形状のうち、その輪郭又は輪郭領域の探索目的形状との一致度が基準値に満たないものだけを前記探索結果から除外してもよい。平面領域の割合が大きくても、輪郭領域の一致度が高い場合には、実際にワークが存在している可能性が高いものと考えられる。輪郭領域は、適宜設定可能であるが、例えば探索目的形状の外縁に対応する位置から一定の距離範囲内にある領域とすることができる。

【0031】

結果除外処理部２７は、探索結果から除外する一致部分形状の平面領域の投影面積の割合、輪郭領域の一致度等をユーザが設定可能なインターフェイスを提供するよう構成されてもよい。また、結果除外処理部２７は、探索結果から除外した一致部分形状についての情報を出力、典型的には画面表示可能なインターフェイスを提供できるよう構成されることが好ましい。ユーザが実際に除外された一致部分形状を確認できることにより、探索結果から除外するための設定値を容易に最適化できる。

【0032】

以上、本開示の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、前述した実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、前述した実施形態に記載されたものに限定されるものではない。

【0033】

本開示に係るワーク検出システムにおいて、情報処理装置は、予め設定される条件に基づいて、探索目的形状の一部又は探索結果の一部を除外することができればよく、上述の実施形態における視点除外処理部、単位形状除外処理部及び結果除外処理部の一部又は全部を有しないものであってよい。

【符号の説明】

【0034】

１ ワーク検出システム
１０ 三次元センサ
２０ 情報処理装置
２１ 三次元モデル設定部
２２ 三次元形状取得部
２３ マッチング処理部
２４ 検出結果出力部
２５ 視点除外処理部
２６ 単位形状除外処理部
２７ 結果除外処理部

【図1】

【図2】

【図3】

【図4】